Causa: Proveniência perdida
Melhoria: Rotule conteúdo, mantenha instruções separadas e não execute sua linguagem.
Threat modeling e prompt injection
Ativos, fronteiras, abuso e controles testáveis
Objetivo
Criar um modelo de ameaças para aplicação com IA e provar controles contra instrução não confiável e excesso de agência.
História
Um manual enviado pelo fornecedor contém texto dizendo ao assistente para revelar credenciais. O documento é dado, não autoridade.
Hipótese a testar
Filtro de palavras não resolve prompt injection; isolamento, proveniência, permissões e validação de efeito reduzem o impacto.
Pré-requisitos
- arquitetura
- autorização
- agentes
Simulador
Altere uma variável, antecipe o efeito e compare com o indicador. A escala mostra pressão relativa, não uma garantia de segurança.
Faixa controladaReveja o contrato e os testes antes de concluir.
Fluxo observado
- ativos
- fronteiras
- ameaças
- controles
- testes
- risco residual
O que observar
- Threat model é um modelo para decidir, não uma lista decorativa.
- Prompt injection explora a mistura entre instrução e conteúdo.
- A defesa decisiva fica fora do texto do prompt: ferramenta estreita, autorização e confirmação.
Erros comuns e melhoria
Causa: Sem casos adversariais
Melhoria: Crie corpus de ataques e avalie impacto, não apenas detecção textual.
Exercício guiado
- Liste ativos e atores.
- Desenhe fronteiras de confiança.
- Crie três abusos e um teste por controle.
Desafio independente
Modele ameaça de exfiltração por tool call indireta e desenhe confirmação que realmente informe a pessoa.
Evidência exigida
Diagrama de ameaças, registro de riscos e testes negativos executados com resultado antes/depois do controle.