Messejing transazionale

Il messejing transazionale è un insieme di tecniche architettoniche che garantiscono la coerenza tra le modifiche locali dello stato (database/cache) e i messaggi del broker/bus. Obiettivo: «lo stato registrato non è perduto né replicato» in caso di guasti, retrai, ridimensionamento e multi-tenenza.

1) Semantica di consegna

At-just-once: veloce e economico, possibile perdita, nessuna ripresa.
At-least-once - Non perde il messaggio, è possibile che sia necessaria un'idempotazione.
(Efficace) Exactly-once: nessuna perdita e nessuna ripresa visibile per gli effetti aziendali, ottenuta con una combinazione di tecnica (outbox/inbox, transazioni producer/consumer, dedop).

2) Perché il «doppio scrivo» è pericoloso

La logica ingenua dì prima scriviamo in un database, poi lo mandiamo in un pneumatico "(o viceversa) precipita in caso di caduta tra i passaggi: i dati sono registrati e l'evento è perduto; O l'evento è andato e non ci sono dati. Il messejing transazionale elimina questo divario.

3) Pattern di base

3. 1 Outbox (produttore)

In una transazione locale, scriviamo la modifica aziendale e la stringa nella tabella outbox; un singolo pabliser legge outbox e pubblica in un broker con retrai e backoff. Perdite escluse; prendiamo l'idipotenza dei consumatori.

3. 2 Inbox/Idempotent Consumer (consumatore)

Prima di eseguire l'effetto, fa «INSERT» in «inbox (consumer, event _ id)» come chiave primaria. Conflitto chiave = evento già elaborato. In questo modo si ottiene un'efficiente exactly-once ".

3. 3 Read-Process-Write con transazione offset

Modello per pneumatici orientati ai loghi: il consumatore legge il batch, nella stessa transazione registra la modifica aziendale e l'offset superato. Dopo la commessa, il broker pensa che i messaggi siano consumati. Questo elimina il «letto» che è caduto e che è stato ripetuto senza essere ripreso nell'effetto.

3. 4 SS/Saghe per gli effetti interserver

Quando è necessario un processo multi-shag coerente, usiamo TCC o saghe; i messaggi sono il trasporto di comandi/eventi e la transazione a livello di passo e compensazione.

4) Costruttori Idempotent e notebook

Venditore: stabile «messaggino _ id »/« idempotency _ key», ripetersi con la stessa chiave non crea nuovi effetti negli abbonati; supporta la sequenza (sequence) in base alla chiave.
Consumer: «inbox» + idampotenza aziendale (upsert/merge, convalida dell'ultima versione/revisione).

5) Ordine e causalità

Partizionare la chiave aziendale (ad esempio, «aggregate _ id», «tenant _ id») in modo che gli eventi di un oggetto vengano corretti.
All'interno della partitura, conservare i numeri seriali o le etichette temporali; in caso di ridriva del DLQ, attenersi a «chiave e sequenza».
Se l'ordine globale non è critico, mantenere l'ordine locale sulla chiave e fissare gli invarianti di dominio.

6) Offset e fissazione degli effetti

Opzione A: Offset in database

Scrivere «ultimo offset elaborato» nella stessa transazione in cui si cambiano i dati di dominio. Durante il restart, continuare con il successivo offset, evitando di ripetere l'effetto.

Opzione B: Transazione broker

Alcuni broker supportano la registrazione atomatica di messaggi e off-set all'interno di una singola transazione di venditore/consumer. Utilizzare se disponibile, ma sempre integrare l'idopotenza sul consumatore.

7) Retrai, backoff, DLQ

Ripetere solo gli errori retraibili (timeout, 5xx), con backoff esponenziale e jitter.
No-retraible (schema/validazione) - direttamente in DLQ con metadati (tenant, key, offset, causa).
Ridrave del DLQ dosare (batch, rate limit), controllare lo schema prima della ripetizione, mantenere l'ordine della chiave.

8) Multi-tenenza e regioni

Includere «tenant _ id», «plan», «region» nei metadati dei messaggi e nelle chiavi di partizionamento.
Per-tenant fairness: limitare la pubblicazione/elaborazione in modo che il client «rumoroso» non abbia un budget per gli altri.
Residency: memorizza i messaggi e gli outbox nella stessa regione dei dati di dominio. Replica interregionale - unità asincrona.

9) Osservazione e verifica

Tracing: correlazione "event _ id "/" aggregate _ id "/" saga _ id", span "read n'process" write/commit ".
Metriche: layout di pubblicazione/elaborazione (p95/p99), percentuale di successo, DLQ-rate, successo di ready, «duplicati soppressi».
Loghi: breve per il successo; dettagli su errori (causa, tentativo, chiave, offset).
L'ispezione è su chi è redryville/retrocesso, che tipo di batch e con quale risultato.

10) Sicurezza e conformità

Minimizzare il PII in payload; maschera durante il trasferimento in DLQ/login.
Firmare/crittografare i messaggi per gli pneumatici esterni; Usa il mTLS tra i servizi.
Gestisci la conservazione e il «diritto all'oblio» per tenant/region.

11) Schemi tipici di integrazione

1. Strumenti di origine (write-side)

Transazione locale: record di dominio + outbox.
Pabliser: batch, «SKIP LOCKED», backoff, limiti per tenant.
Monitoraggio lag'now - occurred _ at '.

2. Servizi-consumer (read-side)

La lettura del battello è stata tentata con «INSERT inbox (consumer, event _ id)» quando l'effetto è riuscito.
Nella stessa transazione, registriamo «offset superato» (opzione A) o ci affidiamo alla transazione del broker (opzione B).
Su errore: retrai o DLQ per criteri.

3. Proiezione/vista materializzata

Solo upsert idipotenti, chiavi di deduplo compatte, compressione periodica degli importi di controllo.

12) Modelli di configurazione (esempio)

yaml producer:
idempotency_key: event_id partition_key: "{tenant_id}:{aggregate_id}"
retry:
max_attempts: 8 initial_ms: 200 max_ms: 8000 strategy: exponential_full_jitter

consumer:
batch: 500 offset_commit: "with_domain_tx"  # или "broker_tx"
inbox_enabled: true concurrency_per_partition: 4 dlq:
enabled: true batch_redrive: 200 rate_limit_per_sec: 50 order_by_key: true

observability:
metrics:
- processing_lag_ms
- publish_success_ratio
- dlq_rate
- redrive_success_ratio tracing_tags: [event_id, tenant_id, aggregate_id, partition, offset]

13) Foglio di assegno prima di vendere

• È stato eliminato l'outbox sul produttore o la fissazione dell'offset e dell'effetto in una singola transazione da parte del consumer.
• Consumer Idempotent: «inbox »/registro di deduzioni, Idampotenza aziendale delle operazioni.
• Partizionamento in chiave aziendale, ordine locale rispettato.
• Retrai con backoff + jitter, classificazione degli errori, DLQ con metadati ricchi.
• Redrave dosato, sicuro; Ci sono delle playbook.
• Limiti e priorità multi-tenanti; tag «tenant _ id/plan/region».
• Telemetria: lagi, percentuale di successo, «duplicati soppressi», alert p95/p99.
• I criteri PII/Ritensh/Crittografia sono stati rispettati.
• Test: caduta tra i passaggi, duplicati, ordine della chiave, ridrave di massa.

14) Errori tipici

Invio a bus e scrittura in database con passaggi separati senza outbox/transazione offset.
Il consumatore senza idampotenza duplica gli effetti collaterali.
L'ordine globale «qualunque cosa accada» è costoso e raramente giustificato; Basta con la chiave.
Un redrave di massa senza limiti ha causato un incidente secondario.
La mancanza di tracking/latticini è «degrado nascosto».
Miscelazione PII in DLQ/Logi.

15) Ricette veloci

Eventi SaaS: Outbox + Idempotent Consoomer (inbox), partizionamento per «tenant _ id: aggregate _ id».
ETL/proiezioni: read-process-write con fissazione offset in una transazione, batch 500-1000, upsert.
Carico elevato: Scharding dei pub, «SKIP LOCKED», WFQ per tenant, controllo della laga.
Area di compilazione rigorosa: outbox regionale, crittografia payload, ritensh e controllo dei redwave.

Conclusione

Il messejing transazionale è la disciplina della connessione tra dati e messaggi. Combinando outbox/inbox, idampotenza, fissazione offset con effetti e retrai controllati con DLQ, si ottiene un comportamento effettivo exactly-once senza blocchi globali e conserva lo SLO anche in caso di guasti, picchi e uso multi-tenante complesso.