Messejing de transação

O messejing transacional é um conjunto de técnicas arquitetônicas que garantem a coerência entre as alterações de estado local (BD/cash) e as mensagens do corretor/pneu. O objectivo é: «O estado da mensagem não foi perdido nem duplicado» em falhas, retraias, escala e multi-tenência.

1) Semântica de entrega

At-matt-once, rápido e barato, possível perda, sem duplicação.
At-least-once: Não perde a mensagem, pode haver duplicações → precisa de idempotidade.
(Efetivo) Exactly-once: sem perdas e sem duplicações visíveis para efeitos empresariais, é alcançado por uma combinação de tecnologia (outbox/inbox, transação de processador/portador, deadup).

2) Por que é perigoso o «duplex»

A lógica ingênua de «primeiro gravamos em um banco de dados, depois enviamos para o pneu» (ou vice-versa) é desejada ao cair entre os passos: os dados são registrados e o evento está perdido; ou o evento desapareceu e não há dados. O messejing de transação elimina esta quebra.

3) Pattern básicos

3. 1 Outbox (fabricante)

Em uma transação local, gravamos uma alteração de negócio e uma linha na tabela 'outbox'; um pabliser separado lê outbox e publica em um corretor com retais e backoff. Perdas excluídas; As duplicações estão a ser cortadas pela idimpotência dos consumidores.

3. 2 Inbox/Idempotent Consumer (consumidor)

Antes de executar o efeito, faz «INSERT» em 'inbox (consumer, event _ id)' como uma chave primária. Conflito de chave = o evento já foi processado → ignorado. É assim que se consegue «exactly-once eficiente».

3. 3 Read-Processo-Write com transação off-set

Modelo de pneus orientados logicamente: O consultor lê o batch, na mesma transação capta a alteração do negócio e o «offset passado». Após a comitiva, o corretor considera as mensagens consumidas. Isso elimina o «lido → caído → repetido» sem as tiragens do efeito.

3. 4 SS/Sagas para efeitos interservidos

Quando você precisa de um processo de multishag compatível, use o TCC ou a saga; as mensagens são o transporte de comandos/eventos e a transacção, ao nível de passos e compensações.

4) Provedores e consoadores Idempotentes

Vendedor: estável 'mensagem _ id '/' idempotency _ key', o envio de novo com a mesma chave não cria novos efeitos nos seguidores; suporte a seqüência (sequence) à chave.
Consumer: 'inbox' + idempotação de negócios (upsert/merge, verificação da última versão/revisão).

5) Ordem e causalidade

Particione a chave de negócio (por exemplo, 'agregate _ id', 'tenant _ id') para garantir que os eventos de um único objeto apareçam em ordem.
Dentro de uma partição, mantenha números ou marcas de tempo consistentes; em Redwave DLQ, cumpra «por chave e sequência».
Se a ordem global não for crítica, garanta a ordem local da chave e instale os invariantes do domínio.

6) Offsets e fixação de efeitos

Opção A: «Offset in BD»

Insira «último off processado (partition, offset)» na mesma transação em que você altera os dados de domínio. No restarte, continue a partir do próximo off-set, evitando o efeito de novo.

Opção B: Transação corretora

Alguns corretores suportam a gravação atômica de mensagens e offsets em uma única transação do provedor/consoador. Use se você estiver disponível, mas complete sempre com idumpotência no consumidor.

7) Retrai, backoff, DLQ

Repita apenas os erros de retraible (temporizadores, 5xx), com backoff exponencial e jitter.
Não-retraible (schema/validação) - imediatamente no DLQ com metadados (tenant, key, offset, causa).
Redrave do DLQ dosar (batch, rate limit), verificar o padrão antes da repetição, manter a ordem da chave.

8) Multi-tenência e regiões

Inclua 'tenant _ id', 'place', 'region' nos metadados de mensagem e nas chaves de partilha.
Per-tenant fairness: limite a publicação/processamento para que o cliente «barulhento» não retire o orçamento dos outros.
Residency: armazene mensagens e outbox na mesma região que os dados de domínio; Replicação interregional - unidades asincrônicas.

9) Observação e auditoria

Tracing: correlação 'event _ id '/' agregate _ id '/' saga _ id', span 'read → processo → write/commit'.
Métricas: barra de publicação/processamento (p95/p99), proporção de sucesso, DLQ-rate, sucesso de redwave, «duplicados».
Logi: curto para o sucesso; detalhadamente para erros (causa, tentativa, chave, off).
Auditoria: Quem é Redreivil/Reviu, que tipo de batch e com que resultado.

10) Segurança e conformidade

Minimize o PII no payload; disfarçe quando for transferido para DLQ/logs.
Assine/criptografe mensagens para pneus externos; use o mTLS entre os serviços.
Gere o prazo de armazenamento e «direito ao esquecimento» per tenant/region.

11) Esquemas típicos de integração

1. Serviço-fonte (write-side)

Transação local: gravação de domínio + outbox.
Pablicher: batch, 'SKIP LOCKED', backoff, limites per tenant.
Monitoramento da laje 'now - occurred _ at'.

2. Serviço-consumidor (read-side)

Leitura de batch → tentativa de 'INSERT inbox (consumer, event _ id)' → com sucesso.
Na mesma transação, registramos «off» (opção A) ou dependemos da transação do corretor (opção B).
No erro, retrai ou DLQ de política.

3. Exibição/Aparência materializada

Apenas updates idumpotentes (upsert), chaves compactas de dedução, compactação periódica de quantias de controle.

12) Modelos de configuração (exemplo)

yaml producer:
idempotency_key: event_id partition_key: "{tenant_id}:{aggregate_id}"
retry:
max_attempts: 8 initial_ms: 200 max_ms: 8000 strategy: exponential_full_jitter

consumer:
batch: 500 offset_commit: "with_domain_tx"  # или "broker_tx"
inbox_enabled: true concurrency_per_partition: 4 dlq:
enabled: true batch_redrive: 200 rate_limit_per_sec: 50 order_by_key: true

observability:
metrics:
- processing_lag_ms
- publish_success_ratio
- dlq_rate
- redrive_success_ratio tracing_tags: [event_id, tenant_id, aggregate_id, partition, offset]

13) Folha de cheque antes de vender

• Foi eliminado o «duplex»: outbox no produtor ou a fixação de um off-set e efeito em uma transação em um consoante.
• Consoante Idempotent: 'inbox '/Diário de Dados, Idempotação de Negócios.
• Particionamento por chave de negócio, ordem local respeitada.
• Retraí com backoff + jitter, classificação de erros, DLQ com metadados ricos.
• Redrave dosado, seguro; Tenho playbooks.
• Limites e prioridades multi-tenentes; tags 'tenant _ id/place/region'.
• Telemetria: laje, taxa de sucesso, «duplicados suprimidos», alertas p95/p99.
• As políticas PII/Retensh/criptografia foram cumpridas.
• Testes: queda entre os passos, duplicação, ordem na chave, redrave em massa.

14) Erros típicos

Enviar para o pneu e gravar no banco de dados em passos separados sem outbox/transação off-set.
Consumer sem idempotidade → duplica efeitos secundários.
A ordem global de «o que quer que seja» é estranha e raramente justificada; Há ordem suficiente para a chave.
Uma redrave em massa sem limites → um incidente secundário.
Falta de trailing/blitmétrica → «degradação oculta».
Mistura de PII em DLQ/logs.

15) Receitas rápidas

Eventos SaaS: Outbox + Consumer Idumpotente (inbox), particionamento por 'tenant _ id: agregate _ id'.
ETL/projeções: read-processo-write com fixação de offsets em uma transação, batch 500-1000, upsert.
Alta carga de trabalho: pablishers, 'SKIP LOCKED', WFQ per tenant, controle de laje.
Área de compliance rigorosa: outbox regional, criptografia payload, retenções e auditoria de redwabs.

Conclusão

O messejing transacional é uma disciplina de comunicação de dados e mensagens. Combinando outbox/inbox, idempotidade, fixação de off com efeitos e retais controlados com DLQ, você recebe um comportamento exactly-once prático sem bloqueios globais e mantém o SLO mesmo com falhas, picos e complexas operações multi-tenentes.