Evals, graders e red teaming
Qualidade mensurada em resultado, trajetória, risco, custo e variação. - Capítulo: Score first, depois construir Aplicação: Caderno de campo operacional.
Score first, depois construir
Avaliar um produto de IA não é perguntar ao próprio modelo se a resposta ficou boa. É definir, antes da mudança, casos representativos, critérios observáveis e uma comparação com o sistema mais simples que já funciona. Este capítulo distingue avaliação de modelo e de sistema; explica dataset, caso, trial, rubrica, oracle, grader, golden set e holdout; combina verificadores determinísticos, resultados no ambiente, juízes por modelo e revisão humana; e mostra como calibrar falsos positivos e falsos negativos. Trajetórias, segmentos de risco, custo e latência entram no gate ao lado da qualidade. Red teaming procura falhas, mas não prova ausência delas. A conclusão prática é uma regra de promoção: complexidade só entra quando supera a baseline sem violar limites duros.
Caderno de campo: gate comparativo de avaliação
Este laboratório implementa, sem API externa, um gate de release para um assistente de ordens de serviço. O estudante compara uma baseline simples com duas candidatas sobre oito casos nominais, sem evidência e adversariais. O script verifica ação, fato esperado, tenant, ferramenta, custo e segmentos de risco; calcula falsos positivos e falsos negativos; e grava um relatório auditável. A primeira candidata melhora a média global, mas falha em solicitações de alto risco e deve ser rejeitada. A segunda corrige a trajetória e pode ser promovida. Uma calibração separada mostra um model grader enviesado por comprimento e prova por que juízes sem amostra humana não devem controlar o gate sozinhos.