Causa: Gerador responde quando recuperação falha
Melhoria: Defina abstenção, citação verificável e limiar testado.
RAG: recuperar antes de responder
Ingestão, busca, reranking, citação e ACL
Objetivo
Construir mentalmente um pipeline RAG e diagnosticar quando o erro vem da recuperação, não da geração.
História
O assistente precisa responder usando manuais de equipamentos. Antes de pedir uma resposta ao modelo, o sistema encontra trechos permitidos e registra suas origens.
Hipótese a testar
Aumentar top-k eleva cobertura, mas pode reduzir precisão e atenção; reranking só ajuda se os candidatos relevantes foram recuperados.
Pré-requisitos
- vetores
- busca
- permissões
Simulador
Altere uma variável, antecipe o efeito e compare com o indicador. A escala mostra pressão relativa, não uma garantia de segurança.
Faixa controladaReveja o contrato e os testes antes de concluir.
Fluxo observado
- fonte
- ingestão
- chunks + metadados
- busca
- ACL
- reranking
- resposta citada
O que observar
- Embedding aproxima significados; não garante verdade ou permissão.
- ACL precisa filtrar antes que conteúdo proibido alcance o modelo.
- Eval se separa em retrieval e answer para localizar a falha.
Erros comuns e melhoria
Causa: Filtro aplicado depois da recuperação
Melhoria: Propague identidade e ACL na consulta ao índice.
Exercício guiado
- Crie cinco perguntas com trecho dourado.
- Meça recall@k antes de avaliar a redação.
- Teste atualização e remoção de um documento.
Desafio independente
Explique como impedir que uma instrução maliciosa dentro do manual vire autoridade do agente.
Evidência exigida
Dataset pequeno com pergunta, fonte esperada, candidatos, resposta, citação e classificação da falha.