Filas, eventos e integrações assíncronas: fundamentos, prática e diagnóstico
Este capítulo integra o modelo mental e a prática de filas, eventos e integrações assíncronas em uma única jornada didática. O leitor começa pelo problema operacional, aprende o vocabulário — incluindo fila, tópico, evento, comando, consumidor — e localiza responsabilidades e fronteiras antes de comparar decisões. Em seguida aplica o conceito ao sistema de manutenção conectado ao ERP, executa a menor fatia verificável e provoca falhas de permissão, timeout, duplicata, concorrência ou dado inválido. O caderno operacional mostra como observar o resultado, diagnosticar a primeira divergência e produzir evidência reproduzível. Segurança, custo, critérios de aceite e perguntas de recuperação encerram a unidade sem separar teoria de operação.
Filas, eventos e integrações assíncronas: modelo mental e decisões
O problema e por que importa
Mensageria desacopla o momento de produzir do momento de processar, mas introduz duplicatas, atraso, reordenação e estado intermediário. Fila, tópico, comando e evento não são sinônimos: cada um comunica intenção e cardinalidade diferentes.
Após concluir a OS 742, a pergunta é: se a mensagem chegar duas vezes, fora de ordem ou depois de horas, o consumidor preservará o estado correto e o usuário verá que a sincronização ainda está pendente?
Vocabulário antes das siglas
- fila: canal no qual cada mensagem é normalmente entregue para processamento por um consumidor do grupo.
- tópico: canal de publicação que permite a vários grupos receberem o mesmo registro.
- evento: registro imutável de algo que ocorreu no domínio, formulado no passado.
- comando: pedido dirigido para que um destinatário tente executar uma ação.
- consumidor: processo que lê mensagens, aplica lógica e confirma ou rejeita o processamento.
- offset: posição de leitura mantida em um log particionado.
- ack: confirmação de que uma mensagem foi processada segundo o contrato do broker.
- retry: nova tentativa planejada após falha transitória, com limite e atraso.
- dead-letter: destino de mensagens que excederam a política de processamento e precisam de análise ou ação.
- at-least-once: garantia em que a mensagem não deve ser perdida, mas pode ser entregue mais de uma vez.
- saga: coordenação de etapas distribuídas por ações locais e compensações explícitas.
O broker confirma entrega, não o efeito de negócio. Em at-least-once, duplicata é comportamento normal; o consumidor precisa reconhecer a identidade lógica da operação.
Modelo mental
a fila é uma caixa postal: desacopla remetente e destinatário, mas exige identidade, recibo e tratamento de duplicatas. A analogia ajuda a localizar responsabilidades; ela deixa de valer quando esconde concorrência, falhas parciais ou atores maliciosos. Software distribuído não tem uma única percepção de tempo nem sucesso: uma resposta pode se perder depois de um efeito ter ocorrido.
Ler o fluxo em texto
- 1. Outbox da OS
- 2. Tópico
- 3. Consumidor idempotente
- 4. ERP em timeout
- 5. Reconciliação
Fronteira e responsabilidade
O produtor publica um contrato versionado com identificador, tipo, tempo do evento e correlação, evitando copiar todo o banco. O consumidor valida o envelope, decide idempotência e confirma somente depois de preservar o efeito necessário.
Retries tratam falhas transitórias; dead-letter torna falhas persistentes visíveis; reconciliação encontra mensagens ausentes ou efeitos divergentes. Saga não cria transação global: ela explicita o que compensar e quais efeitos não podem ser desfeitos.
Decisão orientada por risco
| Pergunta de projeto | Decisão inicial | Evidência exigida |
|---|---|---|
| Comando ou evento? | Intenção dirigida versus fato publicado | Nome e consumidores refletem a semântica |
| Quando confirmar? | Após efeito local durável | Worker cai antes e depois do ack |
| Como repetir? | Inbox ou chave idempotente | Duplicata não altera o resultado |
| Como recuperar? | Retry limitado, dead-letter e reconciliação | Operador consegue reprocessar com segurança |
A alternativa mais complexa só é promovida quando essa evidência mostra que a solução atual não atende ao risco. A decisão registra também custo operacional, forma de reversão e responsável.
Caso real: manutenção conectada ao ERP
O eletricista conclui a OS 742. O sistema valida identidade, unidade, estado atual e evidências; persiste a mudança; registra auditoria; publica a integração; informa “sincronização pendente” se o ERP não responder. A decisão deste livro aparece ao desacoplar tempo e disponibilidade sem perder rastreabilidade nem duplicar efeitos. O sucesso não é apenas HTTP 200: banco, usuário, fila, ERP e telemetria precisam convergir para um estado conhecido.
Falha orientadora
evento é entregue duas vezes, fora de ordem ou fica eternamente na dead-letter queue. Trate a falha como cenário de projeto, não exceção improvável. O controle principal é idempotência, schema, correlação, retry com jitter, DLQ operada e replay ensaiado. Seu teste deve falhar antes do controle e passar depois dele.
Segurança, privacidade e custo
- Autentique produtores e consumidores e limite cada identidade aos canais necessários.
- Não confie no payload por vir de uma fila interna; valide esquema, tamanho e autorização contextual.
- Evite dados pessoais e segredos em mensagens duráveis; aplique retenção e criptografia adequadas.
- Proteja reprocessamento e dead-letter com autorização e auditoria, pois repetem efeitos reais.
O manual de Cybersecurity aprofunda threat modeling, identidade, proteção de dados, supply chain e resposta a incidentes; os controles acima são a aplicação específica nesta disciplina.
Erros frequentes e diagnóstico
- Tecnologia antes do problema: registre hipótese e atributo de qualidade que justificam a escolha.
- Caminho feliz apenas: injete timeout, duplicata, concorrência, permissão negada e dado inválido.
- Métrica de vaidade: acompanhe idade da mensagem, lag, tentativas, DLQ, throughput e tempo fim a fim e ligue o sinal a uma decisão.
- Automação sem condição de parada: limite tentativas e torne o estado pendente visível.
- Documentação sem prova: execute exemplos e conecte diagramas a arquivos, owners e testes.
Critérios de aceite
- Fronteira, dono, entradas, saídas e dependências estão diagramados.
- Caminho feliz e falha parcial possuem testes reproduzíveis.
- O controle “idempotência, schema, correlação, retry com jitter, DLQ operada e replay ensaiado” tem evidência observável.
- Segurança, privacidade, acessibilidade, custo e operação foram avaliados.
- A métrica “idade da mensagem, lag, tentativas, DLQ, throughput e tempo fim a fim” possui unidade, janela e responsável.
- Runbook informa diagnóstico, mitigação, recuperação e escalonamento.
Prática e recuperação ativa
- Desenhe a jornada da OS 742 e marque onde esta camada começa e termina.
- Explique a diferença entre ocultar uma ação e negar sua autorização no servidor.
- Injete a falha “evento é entregue duas vezes, fora de ordem ou fica eternamente na dead-letter queue” e capture evidência antes/depois do controle.
- Transfira o raciocínio para um pedido de e-commerce: o que permanece e o que muda?
Entregável verificável: contrato de evento, teste de duplicata e reordenação, política de retry/dead-letter e procedimento de reconciliação. A entrega só é aceita quando outra pessoa consegue repetir a verificação.
Fontes primárias e oficiais
Revisão editorial: 2 de agosto de 2026. Confirme versões antes de implementar configuração volátil.
Da compreensão à execução
O modelo anterior explica o que precisa permanecer verdadeiro. Agora o caderno transforma essa compreensão em um experimento. Antes de executar, escreva sua previsão; depois compare o observado com o esperado e registre a primeira fronteira onde o estado divergiu.
Objetivo, hipótese e ambiente
Objetivo: demonstrar desacoplar tempo e disponibilidade sem perder rastreabilidade nem duplicar efeitos em uma fatia da jornada de manutenção. Hipótese: o controle “idempotência, schema, correlação, retry com jitter, DLQ operada e replay ensaiado” reduz a falha escolhida sem violar o contrato das camadas vizinhas.
Pré-requisitos: Git, terminal, TypeScript ou a tecnologia indicada no exemplo, ambiente local isolado e dados sintéticos. Duração orientativa: 90–180 minutos; depende de prática, não de leitura. Não use credenciais reais nem produção.
sequenceDiagram
actor E as Eletricista
participant W as Aplicativo
participant A as API de manutenção
participant D as Estado canônico
participant R as ERP
E->>W: conclui OS 742
W->>A: intenção + identidade + idempotency-key
A->>D: valida e persiste
A-->>W: estado confirmado ou pendente
A->>R: integração controlada
R-->>A: confirmação, rejeição ou timeoutPasso 1 — registre o contrato antes do código
Escreva pré-condição, pós-condição, erros esperados, timeout e política de repetição. Separe “aceito para processamento” de “confirmado pelo ERP”. Defina o que a pessoa verá durante incerteza. O contrato deve caber em uma tabela e ser revisado por negócio, desenvolvimento, segurança e operação.
| Situação | Resultado público | Estado interno | Próxima ação |
|---|---|---|---|
| Entrada válida | confirmado ou 202 pendente | registrado | processar/observar |
| Sem permissão | negação estável | nenhuma mutação | auditar |
| Duplicata | mesmo resultado lógico | um efeito | responder idempotente |
| Dependência lenta | timeout controlado | pendente conhecido | retry com limite |
| Dado incompatível | erro de contrato | quarentena | corrigir/reprocessar |
Passo 2 — implemente a menor fatia vertical
O trecho é didático e precisa ser adaptado ao runtime indicado. Ele ilustra a decisão central, não constitui aplicação completa.
const inserted = await inbox.tryInsert(message.id);
if (!inserted) return;
await handlers[message.type](message.payload);Mantenha a mudança pequena: interface, regra, persistência, teste e sinal operacional no mesmo ticket. Evite construir “toda a infraestrutura” antes de uma jornada observável.
Passo 3 — prove o caminho feliz e o negativo
- Execute uma OS válida e capture resposta, estado persistido e correlation ID.
- Repita a mesma intenção; o efeito lógico deve continuar único.
- Remova a permissão; nenhum estado deve mudar.
- Force timeout do ERP; a UI deve mostrar estado honesto e a fila não pode crescer sem limite.
- Corrompa um campo do contrato; rejeite-o com erro útil, sem stack trace nem segredo.
O teste negativo é parte do produto. Sem ele, o controle pode existir apenas no diagrama.
Passo 4 — instrumente a decisão
Registre duração, resultado, dependência, versão do contrato e correlação. Não use nome, e-mail, token, payload completo nem user_id como dimensão ilimitada de métrica. Para este livro, acompanhe idade da mensagem, lag, tentativas, DLQ, throughput e tempo fim a fim. Defina SLI, janela, limiar e ação humana associada.
Exemplo de evento estruturado conceitual:
{
"event": "work_order.transition",
"order_id": "742",
"result": "pending_erp",
"contract_version": "v1",
"correlation_id": "demo-01",
"duration_ms": 184
}Passo 5 — injete falha e recupere
Falha-alvo: evento é entregue duas vezes, fora de ordem ou fica eternamente na dead-letter queue.
- Detectar: qual sinal diferencia falha real de tráfego normal?
- Conter: como impedir propagação, repetição ilimitada ou perda de dados?
- Mitigar: qual recurso pode ser desativado ou degradado com segurança?
- Recuperar: como reprocessar sem duplicar efeito?
- Aprender: qual teste, alerta, ADR ou limite impedirá recorrência?
Use timeout curto no laboratório e retry limitado com atraso e jitter. Um retry não é recuperação quando a operação não é idempotente. Registre itens que exigem intervenção humana em fila consultável; não esconda exceções em log.
Segurança e abuso
Faça uma mini análise: ativo, ator, fronteira, ameaça, impacto, controle e teste. Teste acesso horizontal entre unidades, elevação de perfil, payload grande, repetição rápida, dado fora de ordem e indisponibilidade. O controle esperado é idempotência, schema, correlação, retry com jitter, DLQ operada e replay ensaiado. Valide no servidor e preserve evidência sem expor segredos.
Troubleshooting
| Sintoma | Hipótese | Verificação | Correção segura |
|---|---|---|---|
| Estado diverge do ERP | efeito parcial | correlação + outbox/inbox | reconciliar idempotentemente |
| Latência cresce | fila ou dependência saturada | p95/p99, lag, pool | backpressure e capacidade |
| Só um tenant falha | escopo, dado ou quota | dimensão de tenant controlada | corrigir política/dado |
| Retry aumenta erro | operação não idempotente | contar efeitos por chave | deduplicar e limitar |
| Dashboard “verde” | SLI não representa jornada | teste sintético E2E | medir resultado do usuário |
Critérios de aceite verificáveis
- Caminho feliz, entrada inválida, negação, duplicata e timeout foram executados.
- O segundo envio com a mesma chave não produz segundo efeito.
- Nenhum segredo ou dado pessoal aparece em saída, log ou fixture.
- A falha é detectada por sinal antes da reclamação do usuário.
- Existe estado explícito para pendência e procedimento de reconciliação.
- O resultado inclui teste, captura de telemetria, ADR e atualização do runbook.
Evidência, limpeza e solução comentada
Guarde: comandos, versões, saída dos testes, screenshot do fluxo, consulta de estado e gráfico do sinal. Remova ambiente e dados sintéticos; revogue qualquer credencial de laboratório. A solução adequada não é uma ferramenta específica: é a menor composição que satisfaz o contrato e demonstra recuperação.
Exercícios de transferência
- Troque ERP por gateway de pagamento. Quais garantias ficam mais rígidas?
- Troque OS por leitura de sensor offline. Onde ordenar e deduplicar?
- Reduza o RTO pela metade. Qual custo e complexidade aparecem?
- Explique em voz alta por que
a fila é uma caixa postal: desacopla remetente e destinatário, mas exige identidade, recibo e tratamento de duplicatasé útil e onde a analogia quebra.
Fontes
Consulte as fontes oficiais do capítulo conceitual e registre versão/data no relatório do laboratório. Para observabilidade, use OpenTelemetry; para segurança, use o manual canônico.
Comprove o que você aprendeu
Responda todas as questões. O gabarito comentado só aparece depois do envio.