Objetivo: ao final, o consultor percorre o ciclo completo prompt → avaliação → melhoria num caso real de AMS, e sabe transformar o resultado medido em argumento de proposta comercial defensável.
| Passo | O que fazer | Erro comum |
|---|---|---|
| 1 | Rodar a avaliação e ler por fatia | Olhar só o agregado |
| 2 | Ler os casos que falharam, um a um, uns vinte | Pular direto para o ajuste |
| 3 | Formular a hipótese do erro em uma frase | Mudar cinco coisas ao mesmo tempo |
| 4 | Fazer a menor mudança que testa a hipótese | Reescrever o prompt inteiro |
| 5 | Rodar a avaliação inteira | Rodar só na fatia que você mexeu |
| 6 | Comparar todas as fatias com a rodada anterior | Comemorar o agregado |
O passo 4 é onde a disciplina paga: mudando uma coisa por vez, quando o número se move você sabe o que o moveu. Mudando cinco, você tem um número melhor e nenhum aprendizado.
| Fatia | Casos | Antes | Depois | Δ |
|---|---|---|---|---|
| Típicos | 210 | 91% | 89% | −2 |
| Entrada vazia | 22 | 82% | 82% | 0 |
| Entrada longa | 31 | 79% | 81% | +2 |
| Ambíguos | 37 | 31% | 77% | +46 |
| Agregado | 300 | 74% | 86% | +12 |
A mudança que produziu isso:
<desempate>
Um chamado pode tocar mais de uma área. Quando isso acontecer, classifique pela
área onde a AÇÃO DE CORREÇÃO precisa ser feita, não pela área onde o sintoma
aparece, e use confianca "baixa". Chamado com confiança baixa vai para triagem
humana antes do roteamento — errar para baixa confiança custa minutos; errar de
fila custa horas.
</desempate>
Mais um quarto exemplo em <examples>, ambíguo, com confianca: baixa.
Note que a regra de desempate dá o motivo — a assimetria de custo entre os dois erros — em vez de só mandar. É a técnica da aula 3.6.1 aplicada ao problema que a avaliação encontrou.
Duas leituras erradas aparecem com frequência:
| Frase que não se sustenta | Frase auditável |
|---|---|
| "Classificação automática inteligente de chamados" | "Roteamento automático com 86% de acerto medido em 300 chamados históricos do próprio cliente" |
| "Reduz drasticamente o tempo de triagem" | "Elimina a triagem manual dos chamados classificados com alta confiança — 74% do volume da amostra" |
| "Aprende com o tempo" | "A avaliação é reexecutável; a cada trimestre o dataset é reamostrado e o prompt reajustado se houver queda" |
A coluna da direita tem três características que a esquerda não tem: um número, a origem do número, e o escopo do que não está incluído. As três aparecem em qualquer entregável defensável — e as três só existem porque a avaliação existe.
E há um efeito comercial lateral que vale registrar: propor com a avaliação junto muda o que se vende. Não se vende "uma automação"; vende-se "uma automação com uma régua, reexecutável, que avisa quando degradar". A régua é parte do entregável.
Regra Wayon Proposta comercial que afirma taxa de acerto, redução de tempo ou volume automatizado precisa citar o número, a origem do número e o que fica fora. E automação de triagem entregue a cliente vai desenhada com caminho de exceção humano para os casos de baixa confiança — a taxa de acerto do modelo nunca é o único portão. O ciclo de avaliação é reexecutado quando o processo do cliente mudar, e o resultado da reexecução fica registrado no projeto.
📖 Definir critérios de sucesso · Faixa por perfil — BASIS, módulo 2.8
Com o mesmo dataset e o mesmo grader determinístico, a diferença é reprodutível — não é ruído.
Correto. Ajustar uma fatia frequentemente custa em outra; só a rodada completa revela.
A decisão depende do volume e do custo do erro em cada fatia — aqui o ganho compensa, e reverter jogaria fora 46 pontos.
Sem número, sem origem e sem escopo — é adjetivo, e vira compromisso do mesmo jeito.
Correto. Traz número, origem e o que fica fora — as três coisas que tornam a afirmação auditável.
Benchmark de mercado não é medição no dado do cliente; a origem do número está errada.
Correto. Sem o desenho com revisão humana nos de baixa confiança, 86% é a taxa de retrabalho.
Não existe limiar universal; o que decide é o custo do erro e a existência de caminho de exceção.
Também é um limiar inventado, e ignora que o caso de baixa confiança pode ser desviado antes de virar retrabalho.