3.6.4 · Graders: código e modelo como juiz

Escolhendo o grader

A quarta linha merece destaque porque quase sempre é tratada como subjetiva sem ser: verificar se uma citação existe no documento é uma busca de substring. Boa parte do que parece exigir juiz é, na verdade, verificação mecânica disfarçada.

Grader determinístico

def grader_exato(saida: dict, esperado: str) -> bool:
    return saida.get("rotulo", "").strip().upper() == esperado.strip().upper()


def avaliar(casos, classificar):
    resultados = []
    for caso in casos:
        saida = classificar(caso["ticket"])
        resultados.append({
            "id": caso["id"],
            "tipo": caso["tipo"],
            "acertou": grader_exato(saida, caso["esperado"]),
            "obtido": saida.get("rotulo"),
            "esperado": caso["esperado"],
        })
    return resultados


def relatorio(resultados):
    total = len(resultados)
    acertos = sum(r["acertou"] for r in resultados)
    print(f"Geral: {acertos}/{total} = {acertos / total:.1%}")
    for tipo in sorted({r["tipo"] for r in resultados}):
        fatia = [r for r in resultados if r["tipo"] == tipo]
        print(f"  {tipo}: {sum(r['acertou'] for r in fatia)}/{len(fatia)}")

A função relatorio faz o que a aula 3.6.2 pediu: além do número agregado, a leitura por fatia. É a diferença entre "78%" e "91% nos típicos, 43% nos ambíguos".

Modelo como juiz

RUBRICA = """Você avalia resumos de reunião de projeto SAP.

Compare o resumo com a transcrição e atribua uma nota de 1 a 5:

5 — Registra todas as decisões tomadas, cada uma com responsável e prazo quando
    mencionados na transcrição. Não afirma nada que não esteja na transcrição.
4 — Registra todas as decisões, mas omite responsável ou prazo em alguma delas.
3 — Omite uma decisão, ou registra todas sem responsáveis.
2 — Omite mais de uma decisão, ou inclui uma afirmação que não está na transcrição.
1 — Não registra as decisões, ou contradiz a transcrição.

Penalize em um nível se o resumo tiver mais de 300 palavras: extensão não é qualidade.

Responda apenas com o número."""


def grader_juiz(transcricao: str, resumo: str) -> int:
    r = client.messages.create(
        model="claude-opus-5",          # modelo diferente do que gerou o resumo
        max_tokens=16,
        system=RUBRICA,
        messages=[{
            "role": "user",
            "content": f"<transcricao>{transcricao}</transcricao>\n<resumo>{resumo}</resumo>",
        }],
    )
    texto = next(b.text for b in r.content if b.type == "text")
    return int(texto.strip())

Três coisas nesse código não são decorativas:

• O modelo do juiz é diferente do gerador. É a recomendação explícita da documentação, e mitiga a autopreferência.
• A penalidade por extensão está escrita na rubrica. É o contrapeso do viés de verbosidade — sem ela, o juiz premia o resumo mais longo.
• max_tokens=16. O juiz devolve um número. Espaço para explicação convida o juiz a redigir, e você paga por isso em cada caso.

O que faz uma rubrica funcionar

O teste de uma rubrica: dê a mesma saída para duas pessoas diferentes com a rubrica na mão. Se elas divergirem em mais de um nível, o modelo juiz também vai divergir — e a variância dele vai parecer variância do prompt.

Os três vieses, e o que fazer

Some a isso uma prática barata: calibre o juiz uma vez. Pegue vinte casos, dê nota humana, rode o juiz nos mesmos vinte e compare. Se ele concordar razoavelmente, você pode confiar nos outros duzentos. Se ele discordar de forma sistemática, o problema é a rubrica — não o juiz.

Regra Wayon Em avaliação de entregável que vai ao cliente, o modelo juiz não é o modelo gerador e a rubrica é revisada por alguém que não escreveu o prompt. Para regra de negócio — alçada, condição de pagamento, cálculo de imposto — não existe grader automático aceitável: vale a revisão humana e a segunda opinião fria da aula 3.4.3.

📖 Criar avaliações empíricas · Testes como portão e segunda opinião — aula 3.4.3