Cozi de mesaje: Kafka și RabbitMQ

Cozi de mesaje: Kafka, RabbitMQ

(Secțiunea: Tehnologie și infrastructură)

Scurt rezumat

• Apache Kafka este un jurnal de evenimente distribuit (jurnal) axat pe streaming, replicare și scalare orizontală prin părți.
• RabbitMQ este un broker de coadă AMQP cu rutare flexibilă (schimburi/legături), priorități, TTL, confirmări și sarcini clasice de coadă.

Ambele instrumente sunt mature, dar rezolvă diferite probleme: Kafka - pentru fluxuri și analize scalabile, RabbitMQ - pentru orchestrarea sarcinilor operaționale, RPC și rutare diversă.

Unde este potrivit în iGaming

• Avem nevoie de evenimente TPS ridicate (pariuri, evenimente de joc, telemetrie) și scară orizontală prin intermediul părților.
• Rece/fierbinte re-consuma (re-citire date bandă), retenție și compactare pentru agregate (echilibru, starea jucătorului) sunt importante.
• Avem nevoie de procese în flux (Kafka Streams/ksqlDB/Flink) pentru agregate în timp real: lideri de turnee, limite de joc responsabile, semnale antifraudă.

• Avem nevoie de cozi de sarcini clasice: verificare KYC, plăți amânate/repetate, trimiterea de e-mail/SMS/push, cărți web către PSP.
• Rutare flexibilă (topic/direct/fanout), priorități, TTL, întârziere, modele de litere moarte și RPC.
• Sunt necesare restricții stricte pentru fiecare consumator (prefetch/QoS), gestionarea simplă a încărcăturii și retribuții rapide.

Rezultat frecvent: Kafka pentru evenimente și analize + RabbitMQ pentru orchestrare și integrare.

Model de date și rutare

Kafka

Subiectele sunt → împărțite în părți, fiecare este un jurnal ordonat.
Tasta mesaj definește lotul → comandă în cadrul tastei.
Consumatorii citesc offset, grupuri de consumatori la scară de prelucrare.
Reținerea în funcție de timp/volum; log compactare stochează cea mai recentă versiune a tastei.

RabbitMQ

Schimburi (direct/fanout/topic/headers) + legături → mesaje intra în cozi.
Confirmări (ack/nack/request), confirmări ale editorului, priorități, TTL, literă moartă (DLX/DLQ).
Cozi de cvorum (plută) pentru disponibilitate ridicată; cozi leneș pentru a salva RAM.

Garanții de livrare și idempotență

At-most-once: fără retraverse; risc de pierdere, întârziere minimă.
Cel puțin o dată: duplicatele standard implicite ale → → manipulanții idempotenți (cheia de solicitare/tranzacție, upsert, tabelul dedup, outbox) sunt posibile.
Exact o dată: în Kafka, un producător idempotent + subiecte de tranzacție + consum convenit este atins în combinație, dar mai des este mai scump și mai dificil; în RabbitMQ - limitat și cu oase. În fluxurile reale de plată/pariu, se aplică cel puțin o dată + idempotență strictă.

• Chei de idempotenţă unice (UUID/ULID) per eveniment/comandă.
• Modelul Outbox din baza de date + Change Data Capture (Debezium) → prevenirea scrierii duble.
• Dedup de (cheie, created_at) într-un rând separat cu TTL.

Comanda/Comanda mesajului

Kafka garantează ordinea în cadrul partidului. Alegeți cheia astfel încât întreaga "viață" a entității (de exemplu, "player _ id' pentru echilibru) să fie într-o singură cheie.
Comanda RabbitMQ nu este strict garantată cu livrări repetate/consumatori multipli; conducte critice pentru a comanda - mai bine în Kafka sau prin consumator unic activ și serializarea fluxului.

Proiectarea topicalurilor și cozilor

• Granularitate: 'domeniu. eveniment „(de exemplu,” plăți. depozit. creat ").
• Chei: 'player _ id',' account _ id', 'bet _ id' pentru comandă.
• Loturi = N după țintă TPS (regulă: 1 lot ≈ X mesaje/sec/consumator); să pună stoc pentru creștere.
• Retentie: evenimente - ore/zile; compactare - pentru „state”.

• Schimburi după domeniu: "plăți. direct „,” risc. subiect ".
• Cozi pentru consumatori: "kyc. checker. q ',' psp. cârlige web. încercați din nou. q ".
• DLQ per întârziere coadă de lucru pentru backoff.
• Prefetch specifică concurența, cozile de cvorum pentru HA.

Erori, Retrase și DLQs

Clasificați erorile: retroactive temporare (rețea/PSP 5xx) →; fatal (validare, schemă) → imediat DLQ.
Backoff exponențial + jitter, limita de retray, detectarea pilulelor otrăvitoare.
Cozi de încercare separate pe trepte (5s, 1m, 5m, 1h).
Manipulator DLQ: alertă, urmă, parsare manuală, re-injectare cu plasture.

Contract de date și scheme

Utilizați Avro/Protobuf + Schema Registry (pentru Kafka - standard de facto).
Versioning: modificări compatibile înapoi (adăugarea de câmpuri opționale), interzicerea ruperii migrațiilor.
Câmpuri PII - criptare/tokenizare; respectă GDPR și reglementările locale.

Monitorizare, observabilitate și SLO

Valorile producătorilor/consumatorilor: lag, debit, erori, retrai, timp de procesare.
Jurnale + urmărire (ID de corelare: 'trace _ id',' message _ id').
SLO: p99-latența publicării/livrării, întârzierea admisă a consumatorilor, timpul de recuperare după fișiere.
Alerte pentru creșterea DLQ, excesul de întârziere, scăderea partidelor/cvorum.

Siguranță și conformitate

TLS în tranzit, criptare secretă (SOPS/Vault), ACL/RBAC limitat.
Subiecte/cozi separate pentru domenii sensibile (plăți, KYC).
Jurnalul de audit al publicațiilor/abonamentelor, stocarea cheilor în afara codului.
Cerințe regionale (UE/Turcia/LatAm): retenție, localizare depozitare, mascare.

Disponibilitate ridicată, toleranță la erori și DR

• Cluster de 3-5 brokeri cel puțin; replicare. factorul ≥ 3.
• min. insync. replici și acks = toate pentru înregistrări durabile.
• Replicarea regională încrucișată (MirrorMaker-2) pentru DR

• Cozi de cvorum pentru HA, număr par/impar de noduri cu cvorum.
• Federația/Lopată pentru replicare inter-data center, scripturi DR.
• Suport rece/cald, teste de comutare.

Performanță și tuning

• "linger. lot ms 'и'. dimensiunea „pentru măcelărit;” compresie. tip "(lz4/zstd).
• "hacks = all', dar uita-te pentru latență; tune 'max. în. zbor. cereri. conexiune cu idempotenţa.

• Destule petreceri; Unităţi NVMe 10/25G grilă; Setări JVM GC.

• Managementul corect al grupului, "max. poll. interval. ms', pauză partidele de la backoff.

• Editorul confirmă în butches; canale reutilizare.

• „prefetch” (ex. 50-300) în funcție de timpul tratamentului; cozi leneș pentru restanțe mari.
• Postați cozi fierbinți la noduri; TCP tune/file descriptors.

Modele tipice pentru iGaming

Outbox + Kafka pentru publicarea de încredere a evenimentelor de domeniu (pariu plasat, depozit creditat).
RabbitMQ RPC pentru cereri sincrone la integrări (verificarea documentelor KYC, calculul rabatului).
Model Saga: orchestrare prin evenimente (Kafka) și echipe (RabbitMQ) cu pași compensatorii.
Notificări fan-out: de la un singur eveniment → CRM, antifraudă, analiză.
Carti web PSP smart-retry cu intarzieri progresive si DLQ.

Migrație și arhitecturi hibride

Începeți cu RabbitMQ pentru „sistem de operare”, adăugați Kafka pentru evenimente și analize.
Publicații duplicate: service → outbox → conector în ambele direcții (Kafka + RabbitMQ) până la stabilizarea completă.
Migrează treptat abonații de analytics/stream la Kafka Streams/ksqlDB.

Lista de verificare a selecției mini

1. Încărcare/TPS> zeci de mii/sec? → Kafka.
2. Aveți nevoie de retenție și de re-lectură ca dintr-o revistă? → Kafka.
3. Rutare flexibilă, priorități, livrare întârziată, RPC? → RabbitMQ.
4. Ordine cheie strictă și scară orizontală → Kafka (cheie/părți).
5. Sarcini simple/work-kew cu controlul concurenței → RabbitMQ.
6. În mod ideal, o combinație: Kafka (evenimente) + RabbitMQ (orchestrație).

Exemple de configurații minime

Exemplu: retrai întârziat și DLQ în RabbitMQ (prin intermediul politicii)

Coadă de lucru: "psp. cârlige web. î "

Coadă retras: "psp. cârlige web. încercați din nou. 1m. q '(TTL = 60, punctele DLX înapoi la operațional)

DLQ: "psp. cârlige web. dlq '

• "PSP. cârlige web. q '→' x-dead-letter-exchange = psp. încercați din nou. schimb "
• "PSP. cârlige web. încercați din nou. 1m. q '→' x-message-ttl = 60000 ',' x-dead-letter-exchange = psp. locul de muncă. schimb "
• "PSP. cârlige web. dlq '→ monitorizare și depanare manuală.

Exemplu: Subiectul pariurilor lui Kafka

Subiect: 'pariuri. plasat. v1 ', parties: 24, RF = 3, retenție 7 zile.
Cheia mesajului este 'player _ id' or' bet _ id' (alegeți care este mai important pentru comandă).
Схема: Protobuf/Avro с 'bet _ id',' player _ id', 'miză', 'cote', 'ts',' idempotency _ key '.

Testarea și calitatea

Testele contractuale producător/consumator + Registrul Schemei.
Teste de haos: picături de nod, întârzieri de rețea, split-creier.
Sarcină rulează cu țintă TPS, p99 verifica, lag de creștere și de recuperare.

Rezumat

Kafka - autostrada evenimentului și streaming: comandă cheie, retenție/compresie, TPS ridicat, analiză în timp real.
RabbitMQ - coadă de sarcini operaționale: rutare flexibilă, confirmări, priorități, retroys/DLQ, RPC.
În iGaming, cele mai bune practici sunt utilizarea complementară: evenimente și analize în Kafka, sarcini de integrare/orchestrare în RabbitMQ, cu standarde uniforme de schemă, idempotență, monitorizare și SLO-uri stricte.