Testes, qualidade e confiabilidade: modelo mental e decisões

O problema e por que importa

Teste é experimento automatizado sobre comportamento; qualidade inclui adequação, segurança, legibilidade e operação; confiabilidade mede a capacidade de manter resultados corretos ao longo do tempo. Quantidade de testes não compensa ausência nas interfaces de risco.

Para concluir a OS 742, a pergunta é: qual menor conjunto de testes demonstra regra, contrato com o ERP, fluxo do usuário e recuperação quando a dependência falha?

Vocabulário antes das siglas

unidade: teste de uma unidade de comportamento com dependências controladas e diagnóstico rápido.
integração: teste da colaboração real entre componentes como banco, filesystem, fila ou serviço.
contrato: teste que verifica expectativas compartilhadas numa interface entre produtor e consumidor.
end-to-end: teste da jornada através das principais superfícies do sistema em ambiente representativo.
propriedade: regra geral verificada sobre muitas entradas geradas, em vez de poucos exemplos escolhidos.
mutation test: teste de mutação; altera deliberadamente o código para verificar se a suíte detecta a mudança.
fixture: estado ou conjunto de dados controlado usado na preparação de um teste.
flake: teste não determinístico que alterna resultado sem mudança relevante no produto.
pirâmide: heurística com muitos testes rápidos embaixo e poucos testes amplos no topo.
troféu: heurística que enfatiza testes de integração e mantém testes unitários e ponta a ponta onde agregam confiança.

Pirâmide e troféu são heurísticas, não metas de contagem. A fronteira estável e o risco determinam o tipo: regra pura favorece unidade; integração com banco pede integração; jornada crítica merece ponta a ponta.

Modelo mental

teste é um sensor de comportamento: deve falhar por uma mudança relevante e explicar o contrato rompido. A analogia ajuda a localizar responsabilidades; ela deixa de valer quando esconde concorrência, falhas parciais ou atores maliciosos. Software distribuído não tem uma única percepção de tempo nem sucesso: uma resposta pode se perder depois de um efeito ter ocorrido.

Ler o fluxo em texto

1. Especificação
2. Teste no limite estável
3. Implementação
4. Falha injetada
5. Evidência de regressão

Fronteira e responsabilidade

Cada teste declara comportamento, entrada, resultado observável e ambiente mínimo fiel. Dependências são reais quando seu contrato é parte do risco; dublês são usados para controlar casos difíceis, sem apenas confirmar a implementação atual.

Flakes são defeitos da suíte e exigem owner, reprodução e correção. Cobertura mostra código executado, não requisito atendido. Revisão independente compara primeiro com a especificação e depois com padrões de engenharia.

Decisão orientada por risco

Pergunta de projeto	Decisão inicial	Evidência exigida
Onde testar?	Na interface mais estável que captura o risco	Falha traz diagnóstico localizado
Real ou dublê?	Real para contrato arriscado; dublê para controle	Teste não repete implementação
Como cobrir falha?	Injetar timeout, concorrência, permissão e dado inválido	Teste falha antes do controle
O que fazer com flake?	Quarentena curta com owner e correção	Taxa de flake é acompanhada

A alternativa mais complexa só é promovida quando essa evidência mostra que a solução atual não atende ao risco. A decisão registra também custo operacional, forma de reversão e responsável.

Caso real: manutenção conectada ao ERP

O eletricista conclui a OS 742. O sistema valida identidade, unidade, estado atual e evidências; persiste a mudança; registra auditoria; publica a integração; informa “sincronização pendente” se o ERP não responder. A decisão deste livro aparece ao converter expectativas em evidências rápidas, relevantes e resistentes a regressão. O sucesso não é apenas HTTP 200: banco, usuário, fila, ERP e telemetria precisam convergir para um estado conhecido.

Falha orientadora

mil mocks passam enquanto banco, relógio e concorrência reais quebram produção. Trate a falha como cenário de projeto, não exceção improvável. O controle principal é camadas de teste, contract tests, casos negativos, dados realistas, quarentena curta e análise de flake. Seu teste deve falhar antes do controle e passar depois dele.

Segurança, privacidade e custo

Inclua testes negativos de autorização por objeto, validação e abuso de recursos.
Não use credenciais ou dados pessoais reais em fixtures e snapshots.
Isole testes destrutivos e valide o alvo antes de apagar ou migrar dados.
Trate código gerado por IA como não confiável até passar por testes e revisão humana.

O manual de Cybersecurity aprofunda threat modeling, identidade, proteção de dados, supply chain e resposta a incidentes; os controles acima são a aplicação específica nesta disciplina.

Erros frequentes e diagnóstico

Tecnologia antes do problema: registre hipótese e atributo de qualidade que justificam a escolha.
Caminho feliz apenas: injete timeout, duplicata, concorrência, permissão negada e dado inválido.
Métrica de vaidade: acompanhe tempo de feedback, cobertura de risco, mutantes sobreviventes, flakes e escape de defeitos e ligue o sinal a uma decisão.
Automação sem condição de parada: limite tentativas e torne o estado pendente visível.
Documentação sem prova: execute exemplos e conecte diagramas a arquivos, owners e testes.

Critérios de aceite

Fronteira, dono, entradas, saídas e dependências estão diagramados.
Caminho feliz e falha parcial possuem testes reproduzíveis.
O controle “camadas de teste, contract tests, casos negativos, dados realistas, quarentena curta e análise de flake” tem evidência observável.
Segurança, privacidade, acessibilidade, custo e operação foram avaliados.
A métrica “tempo de feedback, cobertura de risco, mutantes sobreviventes, flakes e escape de defeitos” possui unidade, janela e responsável.
Runbook informa diagnóstico, mitigação, recuperação e escalonamento.

Prática e recuperação ativa

Desenhe a jornada da OS 742 e marque onde esta camada começa e termina.
Explique a diferença entre ocultar uma ação e negar sua autorização no servidor.
Injete a falha “mil mocks passam enquanto banco, relógio e concorrência reais quebram produção” e capture evidência antes/depois do controle.
Transfira o raciocínio para um pedido de e-commerce: o que permanece e o que muda?

Entregável verificável: matriz risco–teste, suíte mínima da OS 742, falha injetada reproduzível e relatório de um flake diagnosticado. A entrega só é aceita quando outra pessoa consegue repetir a verificação.

Fontes primárias e oficiais

Revisão editorial: 2 de agosto de 2026. Confirme versões antes de implementar configuração volátil.

Da compreensão à execução

O modelo anterior explica o que precisa permanecer verdadeiro. Agora o caderno transforma essa compreensão em um experimento. Antes de executar, escreva sua previsão; depois compare o observado com o esperado e registre a primeira fronteira onde o estado divergiu.

Objetivo, hipótese e ambiente

Objetivo: demonstrar converter expectativas em evidências rápidas, relevantes e resistentes a regressão em uma fatia da jornada de manutenção. Hipótese: o controle “camadas de teste, contract tests, casos negativos, dados realistas, quarentena curta e análise de flake” reduz a falha escolhida sem violar o contrato das camadas vizinhas.

Pré-requisitos: Git, terminal, TypeScript ou a tecnologia indicada no exemplo, ambiente local isolado e dados sintéticos. Duração orientativa: 90–180 minutos; depende de prática, não de leitura. Não use credenciais reais nem produção.

sequenceDiagram
  actor E as Eletricista
  participant W as Aplicativo
  participant A as API de manutenção
  participant D as Estado canônico
  participant R as ERP
  E->>W: conclui OS 742
  W->>A: intenção + identidade + idempotency-key
  A->>D: valida e persiste
  A-->>W: estado confirmado ou pendente
  A->>R: integração controlada
  R-->>A: confirmação, rejeição ou timeout

Passo 1 — registre o contrato antes do código

Escreva pré-condição, pós-condição, erros esperados, timeout e política de repetição. Separe “aceito para processamento” de “confirmado pelo ERP”. Defina o que a pessoa verá durante incerteza. O contrato deve caber em uma tabela e ser revisado por negócio, desenvolvimento, segurança e operação.

Situação	Resultado público	Estado interno	Próxima ação
Entrada válida	confirmado ou 202 pendente	registrado	processar/observar
Sem permissão	negação estável	nenhuma mutação	auditar
Duplicata	mesmo resultado lógico	um efeito	responder idempotente
Dependência lenta	timeout controlado	pendente conhecido	retry com limite
Dado incompatível	erro de contrato	quarentena	corrigir/reprocessar

Passo 2 — implemente a menor fatia vertical

O trecho é didático e precisa ser adaptado ao runtime indicado. Ele ilustra a decisão central, não constitui aplicação completa.

it("não duplica conclusão com a mesma chave", async () => {
  await Promise.all([complete(key), complete(key)]);
  expect(await countEvents("OrderCompleted")).toBe(1);
});

Mantenha a mudança pequena: interface, regra, persistência, teste e sinal operacional no mesmo ticket. Evite construir “toda a infraestrutura” antes de uma jornada observável.

Passo 3 — prove o caminho feliz e o negativo

Execute uma OS válida e capture resposta, estado persistido e correlation ID.
Repita a mesma intenção; o efeito lógico deve continuar único.
Remova a permissão; nenhum estado deve mudar.
Force timeout do ERP; a UI deve mostrar estado honesto e a fila não pode crescer sem limite.
Corrompa um campo do contrato; rejeite-o com erro útil, sem stack trace nem segredo.

O teste negativo é parte do produto. Sem ele, o controle pode existir apenas no diagrama.

Passo 4 — instrumente a decisão

Registre duração, resultado, dependência, versão do contrato e correlação. Não use nome, e-mail, token, payload completo nem user_id como dimensão ilimitada de métrica. Para este livro, acompanhe tempo de feedback, cobertura de risco, mutantes sobreviventes, flakes e escape de defeitos. Defina SLI, janela, limiar e ação humana associada.

Exemplo de evento estruturado conceitual:

{
  "event": "work_order.transition",
  "order_id": "742",
  "result": "pending_erp",
  "contract_version": "v1",
  "correlation_id": "demo-01",
  "duration_ms": 184
}

Passo 5 — injete falha e recupere

Falha-alvo: mil mocks passam enquanto banco, relógio e concorrência reais quebram produção.

Detectar: qual sinal diferencia falha real de tráfego normal?
Conter: como impedir propagação, repetição ilimitada ou perda de dados?
Mitigar: qual recurso pode ser desativado ou degradado com segurança?
Recuperar: como reprocessar sem duplicar efeito?
Aprender: qual teste, alerta, ADR ou limite impedirá recorrência?

Use timeout curto no laboratório e retry limitado com atraso e jitter. Um retry não é recuperação quando a operação não é idempotente. Registre itens que exigem intervenção humana em fila consultável; não esconda exceções em log.

Segurança e abuso

Faça uma mini análise: ativo, ator, fronteira, ameaça, impacto, controle e teste. Teste acesso horizontal entre unidades, elevação de perfil, payload grande, repetição rápida, dado fora de ordem e indisponibilidade. O controle esperado é camadas de teste, contract tests, casos negativos, dados realistas, quarentena curta e análise de flake. Valide no servidor e preserve evidência sem expor segredos.

Troubleshooting

Sintoma	Hipótese	Verificação	Correção segura
Estado diverge do ERP	efeito parcial	correlação + outbox/inbox	reconciliar idempotentemente
Latência cresce	fila ou dependência saturada	p95/p99, lag, pool	backpressure e capacidade
Só um tenant falha	escopo, dado ou quota	dimensão de tenant controlada	corrigir política/dado
Retry aumenta erro	operação não idempotente	contar efeitos por chave	deduplicar e limitar
Dashboard “verde”	SLI não representa jornada	teste sintético E2E	medir resultado do usuário

Critérios de aceite verificáveis

Caminho feliz, entrada inválida, negação, duplicata e timeout foram executados.
O segundo envio com a mesma chave não produz segundo efeito.
Nenhum segredo ou dado pessoal aparece em saída, log ou fixture.
A falha é detectada por sinal antes da reclamação do usuário.
Existe estado explícito para pendência e procedimento de reconciliação.
O resultado inclui teste, captura de telemetria, ADR e atualização do runbook.

Evidência, limpeza e solução comentada

Guarde: comandos, versões, saída dos testes, screenshot do fluxo, consulta de estado e gráfico do sinal. Remova ambiente e dados sintéticos; revogue qualquer credencial de laboratório. A solução adequada não é uma ferramenta específica: é a menor composição que satisfaz o contrato e demonstra recuperação.

Exercícios de transferência

Troque ERP por gateway de pagamento. Quais garantias ficam mais rígidas?
Troque OS por leitura de sensor offline. Onde ordenar e deduplicar?
Reduza o RTO pela metade. Qual custo e complexidade aparecem?
Explique em voz alta por que teste é um sensor de comportamento: deve falhar por uma mudança relevante e explicar o contrato rompido é útil e onde a analogia quebra.

Fontes

Consulte as fontes oficiais do capítulo conceitual e registre versão/data no relatório do laboratório. Para observabilidade, use OpenTelemetry; para segurança, use o manual canônico.

Testes, qualidade e confiabilidade: fundamentos, prática e diagnóstico