Xabar navbatlari: Kafka va RabbitMQ

Xabar navbatlari: Kafka, RabbitMQ

(Bo’lim: Texnologiyalar va infratuzilma)

Qisqacha xulosa

Xabarlar navbati - iGaming’dagi voqealarga yo’naltirilgan arxitekturaning (EDA) asosi. Ular stavkalar, to’lovlar, antifrod, CRM, notifikatsiyalar va tahlillarning mikroservislarini bog’laydi. Amalda ko’pincha ikki xil yechimlar mavjud:

Apache Kafka - taqsimlangan voqealar jurnali (log), partiyalar orqali oqim bilan ishlov berish, replikatsiya qilish va gorizontal skeylingga qaratilgan.
RabbitMQ - moslashuvchan marshrutlash (exchanges/bindings), ustuvorlik, TTL, tasdiq va klassik vazifalarga ega bo’lgan AMQP navbat brokeri.

Ikkala asbob ham yetuk, lekin turli vazifalarni hal qiladi: Kafka - ko’paytiriladigan strimlar va tahlillar uchun, RabbitMQ - vazifalarni tezkor orkestrlash, RPC va rang-barang marshrutlash uchun.

iGaming’da nima mos keladi

Kafka - qachon tanlaymiz:

Bizga yuqori TPS hodisalar (stavkalar, o’yin tadbirlari, telemetriya) va partiyalar orqali gorizontal skayl kerak.
Agregatlar uchun sovuq/issiq re-konsum (lenta ma’lumotlarini qayta o’qish), retenshn va kompakshn (balans, o’yinchining holati) muhimdir.
Realtime-agregatlar uchun strim-jarayonlar (Kafka Streams/ksqlDB/Flink) kerak: turnirlar yetakchilari, mas’uliyatli o’yin limitlari, frodga qarshi signallar.

RabbitMQ - qachon tanlaymiz:

Vazifalarning klassik navbatlari kerak: KYC-tekshirish, kechiktirilgan/qayta to’lovlar, e-mail/SMS/push, webhooks PSPga yuborish.
Moslashuvchan marshrutlash (topic/direct/fanout), ustuvorliklar, TTL, delay, dead-letter va RPC-patternlar.
Qattiq per-consumer cheklovlari (prefetch/QoS), yukni boshqarish va tezkor retrajlar talab etiladi.

Tez-tez xulosa: Voqealar va tahlillar uchun Kafka + Orkestr va integratsiyalar uchun RabbitMQ.

Ma’lumotlar modeli va yo’nalishi

Kafka

Topiklar partiyaga bo’linadi, har biri tartibli log.
Xabar kaliti kalit ichidagi tartibni aniqlaydi.
Konsumerlar offset orqali oʻqiydi, konsumerlar guruhlari ishlov berishni kengaytiradi.
Vaqt/hajm bo’yicha Retenshn; log compaction kalitning oxirgi versiyasini saqlaydi.

RabbitMQ

Exchanges (direct/fanout/topic/headers) + bindings → xatlar queuesga tushadi.
Tasdiqlash (ack/nack/requeue), publisher confirms, priorities, TTL, dead-letter (DLX/DLQ).
Quorum queues (Raft) yuqori foydalanish uchun; RAM tejash uchun lazy queues.

Yetkazib berish kafolatlari va idempotentlik

At-most-once: retrajsiz; yo’qotish xavfi, eng kam kechikish.
At-least-once: andoza standart → dublikatlar → idempotent xendlerlar (so’rov/tranzaksiya kaliti, upsert, dedup-jadval, outbox).
Exactly-once: Kafkada bir bog’lamda idempotent prodyuser + tranzaksion topiklar + kelishilgan iste’molga erishiladi, lekin ko’pincha qimmatroq va murakkabroq; RabbitMQ - cheklangan va suyakli. Real to’lov/stavka oqimlarida at-least-once + qat’iy idempotentlik qo’llaniladi.

Idempotentlik amaliyoti:

Hodisa/buyruq uchun noyob idempotency-keys (UUID/ULID).
Service + Change Data Capture (Debezium) DBdagi Outbox-pattern → «ikki marta yozib olish» ning oldini olish.
Detup po (key, created_at) TTL bilan alohida storada.

Xabar buyurtmasi/tartibi

Kafka partiya ichidagi tartibni kafolatlaydi. Kalitni tanlang, shunda butun «hayot» bitta kalitda boʻladi (masalan, balans uchun’player _ id’).
RabbitMQ qayta yetkazib berishda/bir nechta konsumerlarda tartib qat’iy kafolatlanmagan; buyurtma uchun tanqidiy payplaynlar - Kafka yoki single-active consumer va oqimni seriallashtirish orqali yaxshiroq.

Topiklar va navbatlarni loyihalash

Kafka:

Chegaralanganlik:’domain. event’(masalan,’payments. deposit. created`).
Kalitlar:’player _ id’,’account _ id’,’bet _ id’.
Partitsiy = N maqsadli TPS bo’yicha (qoida: 1 partiya ≈ X xabar/sek/konsumer); o’sish zaxirasini qo’yish.
Retenshn: voqealar - soat/kun; kompakshn - «holatlar» uchun.

RabbitMQ:

Exchanges’payments. direct`, `risk. topic`.
Isteʼmolchilar uchun navbatlar:’kyc. checker. q`, `psp. webhooks. retry. q`.
har bir ish navbati uchun DLQ; backoff uchun delay.
Prefetch parallellikni belgilaydi, quorum navbatlari esa HA uchun.

Xatolar, retralar va DLQ

Xatolarni tasniflang: vaqtinchalik (tarmoq/PSP 5xx) → retralar; halokatli (validatsiya, sxema) → darhol DLQ.
Exponential backoff + jitter, retraylar limiti, «poison-pill» detektivlash.
Alohida retry-queues qadamlar bo’yicha (5s, 1m, 5m, 1h).
DLQ-ishlov beruvchi: alert, treys, qo’lda tahlil, patch bilan re-injekt.

Ma’lumotlar kontrakti va sxemalar

Euro/Protobuf + Schema Registry dan foydalaning (Kafka uchun - de-fakto standarti).
Version: backward-compatible oʻzgarishlar (ixtiyoriy maydonlarni qoʻshish), buzuvchi migratsiyalarni taqiqlash.
PII maydonlari - shifrlash/tokenlashtirish; GDPR va mahalliy me’yorlarga rioya qiling.

Monitoring, kuzatuv va SLO

Ishlab chiqaruvchilar/konsumerlarning ko’rsatkichlari: lag, throughput, xatolar, retralar, qayta ishlash vaqti.
Logi + treysing (korrelyatsion ID:’trace _ id’,’message _ id’).
SLO: p99-latentlik nashr/yetkazib berish, ruxsat etilgan consumer lag, fayllardan keyin tiklanish vaqti.
DLQ o’sishi, lag ortib ketishi, partiyalar/kvorumning pasayishi alertlari.

Xavfsizlik va komplayens

Tranzit TLS, maxfiy shifrlash (SOPS/Vault), cheklangan ACL/RBAC.
Sezgir domenlar uchun alohida topiklar/navbatlar (to’lovlar, KYC).
Audit-jurnal e’lon/obuna, koddan tashqari kalitlarni saqlash.
Mintaqaviy talablar (EU/Turkiya/LatAm): retenshn, saqlashni mahalliylashtirish, niqoblash.

Yuqori foydalanish imkoniyati, nosozlikka chidamlilik va DR

Kafka:

Klaster 3-5 broker kam; replication. factor ≥ 3.
min. insync. replicas va acks = all.
DR uchun kross-mintaqaviy replikatsiyalar (MirrorMaker-2).

RabbitMQ:

XA uchun quorum queues, kvorum bilan juft/toq nod.
Federation/Shovel o’zaro replikatsiya ma’lumotlar markazi, DR-ssenariylar uchun.
Sovuq/issiq stend, o’zgartirish testlari.

Unumdorlik va tyuning

Kafka (prodyuser):

`linger. ms` и `batch. batching uchun’size;’compression. type` (lz4/zstd).
’acks = all’, lekin maxfiylikni kuzatish; tyun’max. in. flight. requests. per. connection’idempotentlik bilan.

Kafka (broker/topiklar):

Partiyalar yetarli; NVMe disklari; 10/25G setkasi; JVM GC moslamalari.

Kafka (konsumer):

Toʻgʻri group management,’max. poll. interval. ms’, bekofda partiyani to’xtatib turish.

RabbitMQ (prodyuser):

Publisher confirms batchlarda; channels qayta foydalanish.

RabbitMQ (navbatlar/konsumerlar):

’prefetch’ (masalan, 50-300) qayta ishlash vaqti bo’yicha; katta bekloglar uchun lazy queues.
Issiq navbatlarni nod bo’yicha tarqatish; tyun TSR/fayl deskriptorlari.

iGaming uchun namunaviy patternlar

Domen voqealarini ishonchli e’lon qilish uchun Outbox + Kafka (stavka joylashtirilgan, depozit o’tkazilgan).
Integratsiyaga sinxron soʻrovlar uchun RabbitMQ RPC (KYC hujjatini tekshirish, bonusni hisoblash).
Saga-pattern: hodisalar (Kafka) va kompensatsiya qadamlari bilan jamoalar (RabbitMQ) orqali orkestr.
Fan-out xabarnomalar: bitta hodisadan → CRM, antifrod, tahlildan.
Progressiv kechikishlar va DLQ bilan Smart-retry PSP vebxuklari.

Migratsiya va gibrid arxitekturalar

«Operatsion» uchun RabbitMQ bilan boshlang, voqealar va tahlillar uchun Kafka qo’shing.
Postlarni takrorlang: to’liq barqarorlashgunga qadar Kafka + RabbitMQ xizmati → outbox → konnektor.
Asta-sekin Kafka Streams/ksqlDB ga tahlillar/oqimlar obunachilarini ko’chiring.

Mini chek varaqasi

1. Yuk/TPS> oʻn minglab/sek? → Kafka.
2. Jurnaldagi kabi retenshn va qayta oʻqish kerakmi? → Kafka.
3. Moslashuvchan yo’nalish, ustuvorliklar, kechiktirilgan etkazib berish, RPC? → RabbitMQ.
4. Kalit bo’yicha qat’iy tartib va gorizontal skeyl → Kafka (kalit/partiyalar).
5. Oddiy vazifalar/parallelizmni boshqaradigan work-kyu → RabbitMQ.
6. Ideal kombinatsiya: Kafka (voqealar) + RabbitMQ (orkestr).

Minimal konfiguratsiyalar namunalari

Misol: RabbitMQda ushlangan retralar va DLQ (policy orqali)

Ish navbati: ’psp. webhooks. q`

Retrajlar navbati: ’psp. webhooks. retry. 1m. q’(TTL = 60s, DLX orqaga ishlashni koʻrsatadi)

DLQ: `psp. webhooks. dlq`

Siyosat (konseptual jihatdan):

`psp. webhooks. q` → `x-dead-letter-exchange=psp. retry. exchange`
`psp. webhooks. retry. 1m. q` → `x-message-ttl=60000`, `x-dead-letter-exchange=psp. work. exchange`
`psp. webhooks. dlq’→ monitoring va qo’lda tahlil qilish.

Misol: stavkalar uchun Kafka topik

Topik:’bets. placed. v1’, partiyalar: 24, RF = 3, retenshn 7 kun.
Xabar kaliti:’player _ id’yoki’bet _ id’(tartib uchun eng muhimini tanlang).
Схема: Protobuf/Avro с `bet_id`, `player_id`, `stake`, `odds`, `ts`, `idempotency_key`.

Test va sifat

Contract-testlar prodyuser/konsumer + sxemalarni tekshirish (Schema Registry).
Chaos-testlar: nodlarning tushishi, tarmoqning kechikishi, split-brain.
Maqsadli TPS yuklash progonlari, p99 tekshirish, lag balandligi va tiklash.

Yakunlar

Kafka - voqealar va striming magistrali: kalit tartibliligi, retenshn/kompakshn, yuqori TPS, real vaqt tahlillari.
RabbitMQ - vazifalarning operatsion navbati: moslashuvchan marshrutlash, tasdiqlash, ustuvorlik, retray/DLQ, RPC.
iGaming’da eng yaxshi amaliyot - komplementar foydalanish: Kafkadagi voqealar va tahlillar, RabbitMQdagi integratsiya/orkestr vazifalari, yagona sxema standartlari, idempotentlik, monitoring va qat’iy SLO.