Хат кезектері: Kafka және RabbitMQ

Хат кезектері: Kafka, RabbitMQ

(Бөлім: Технологиялар және Инфрақұрылым)

Қысқаша түйіндеме

• Apache Kafka - партиялар арқылы ағынды өңдеуге, репликалауға және көлденең скейлингке бағдарланған таратылған оқиғалар журналы (log).
• RabbitMQ - икемді маршрутизациясы (exchanges/bindings), басымдықтары, TTL, растаулары және кезектердің классикалық міндеттері бар AMQP кезектерінің брокері.

Екі құрал да жетілген, бірақ әртүрлі міндеттерді шешеді: Kafka - масштабталған стримдер мен талдаулар үшін, RabbitMQ - тапсырмаларды жедел оркестрлеу, RPC және әртүрлі бағыттау үшін.

iGaming бағдарламасында не орынды

• Жоғары TPS оқиғалар (ставкалар, ойын оқиғалары, телеметрия) және партиялар арқылы көлденең скейл қажет.
• Агрегаттар үшін суық/ыстық ре-консюм (таспалық деректерді қайта оқу), ретеншн және компакшн (теңгерім, ойыншының жай-күйі) маңызды.
• realtime-агрегаттар үшін стрим-процестер (Kafka Streams/ksqlDB/Flink) қажет: турнирлердің көшбасшылары, жауапты ойынның лимиттері, антифрод-сигналдар.

• Тапсырмалардың классикалық кезектері қажет: KYC-тексеру, кейінге қалдырылған/қайталанған төлемдер, e-mail/SMS/push, webhooks PSP.
• Икемді бағыттау (topic/direct/fanout), басымдықтар, TTL, delay, dead-letter және RPC-үлгілер.
• Қатаң per-consumer шектеулер (prefetch/QoS), жүктемені қарапайым басқару және жылдам ретра талап етіледі.

Жиі қорытынды: Оқиғалар мен талдаулар үшін Kafka + RabbitMQ оркестрге және интеграцияға арналған.

Деректер моделі және бағыттау

Kafka

Топиктер → партияларға бөлінеді, әрқайсысы - реттелген лог.
Хабарлама кілті кілт шеңберіндегі → реттілігін анықтайды.
Консьюмерлер offset бойынша оқиды, консьюмерлер тобы өңдеуді кеңейтеді.
Уақыт/көлем бойынша ретеншн; log compaction кілттің соңғы нұсқасын сақтайды.

RabbitMQ

Exchanges (direct/fanout/topic/headers) + bindings → хаттар queues-ке түседі.
Растаулар (ack/nack/requeue), publisher confirms, priorities, TTL, dead-letter (DLX/DLQ).
Quorum queues (Raft) жоғары қол жетімділік үшін; RAM үнемдеу үшін lazy queues.

Жеткізу кепілдіктері және

At-most-once: ретрассыз; жоғалту тәуекелі, ең аз кідіріс.
At-least-once: әдепкі стандарт → көшірмелері болуы мүмкін → демпотенттік хендлерлер (сұрау/транзакция кілті, upsert, dedup-кесте, outbox).
Exactly-once: Kafka-да демпотенттік продюсер + транзакциялық топиктер + келісілген тұтыну байланысында қол жеткізіледі, бірақ көбінесе қымбат және күрделірек; RabbitMQ - шектеулі және сүйектері бар. Нақты төлем/ставка ағындарында at-least-once + қатаң теңсіздік қолданылады.

• Оқиға/команда үшін бірегей idempotency-keys (UUID/ULID).
• Outbox-паттерн сервис ДБ + Change Data Capture (Debezium) → «қос жазбаны» болдырмау.
• Dedup бойынша (key, created_at) TTL-мен жеке жолда.

Хабарлардың тапсырысы/тәртібі

Kafka партия ішіндегі тәртіпке кепілдік береді. Кілтті мәнінің бүкіл «өмірі» бір кілтте болатындай етіп таңдаңыз (мысалы, теңгерім үшін 'player _ id').
RabbitMQ тәртібі қайталап жеткізу/бірнеше консьюмерлер кезінде қатаң кепілдендірілмеген; реті сыни пайплайндар - жақсы Kafka немесе single-active consumer және ағынды сериалдандыру арқылы.

Топиктер мен кезектерді жобалау

• Түйіршіктілігі: 'domain. event '(мысалы,' payments. deposit. created`).
• Реттеуге арналған кілттер: 'player _ id', 'account _ id', 'bet _ id'.
• Топтамалар = N нысаналы TPS бойынша (ереже: 1 топтама ≈ X хабарламалар/сек/консюмер); өсуге қор салу.
• Ретеншн: оқиғалар - сағаттар/күндер; компакшн - «жай-күйлер» үшін.

• Exchanges домендері бойынша: 'payments. direct`, `risk. topic`.
• Тұтынушыларға арналған кезек: 'kyc. checker. q`, `psp. webhooks. retry. q`.
• әрбір жұмыс кезегіне DLQ; backoff үшін delay.
• Prefetch параллелизмді орнатады, quorum кезектері - HA үшін.

Қателер, ретрайлер және DLQ

Қателерді жіктеу: уақытша (желілік/PSP 5xx) → ретра; өлім (валидация, схема) → бірден DLQ.
Exponential backoff + jitter, ретрайлардың лимиті, «poison-pill» анықтау.
Қадамдар бойынша жеке retry-queues (5s, 1m, 5m, 1h).
DLQ-өңдегіш: алерт, трейс, қолмен талдау, патчпен ре-инжект.

Деректер мен схемалардың келісімшарты

Euro/Protobuf + Schema Registry пайдаланыңыз (Kafka үшін - де-факто стандарты).
Нұсқалау: backward-compatible өзгерістер (опциондық өрістерді қосу), бұзатын көші-қонға тыйым салу.
PII өрістері - шифрлау/токендеу; GDPR және жергілікті нормаларды сақтаңыз.

Мониторинг, бақылау және SLO

Продюсерлер/консьюмерлер өлшемдері: lag, throughput, қателер, ретра, өңдеу уақыты.
Логи + трейсинг (корреляциялық ID: 'trace _ id', 'message _ id').
SLO: p99-жариялау/жеткізу жасырындылығы, жарамды consumer lag, фейлден кейін қалпына келтіру уақыты.
DLQ өсуіне, lag артуына, партияның/кворумның құлдырауына алерттар.

Қауіпсіздік және комплаенс

Транзиттегі TLS, құпияларды шифрлау (SOPS/Vault), ACL/RBAC шектелген.
Сезімтал домендер үшін жеке топиктер/кезектер (төлемдер, KYC).
Жарияланымдардың/жазылымдардың аудит-журналы, кілттерді кодтан тыс сақтау.
Өңірлік талаптар (EU/Түркия/ЛатАм): ретеншн, сақтауды оқшаулау, бүркемелеу.

Жоғары қолжетімділік, істен шығуға төзімділік және DR

• Кластер 3-5 брокерлер кем дегенде; replication. factor ≥ 3.
• min. insync. replicas және acks = all.
• DR үшін кросс-өңірлік репликациялар (MirrorMaker-2).

• HA үшін quorum queues, кворумы бар жұп/тақ нод саны.
• Репликация, DR-сценарийлер ортасы үшін Federation/Shovel.
• Салқын/жылы стенд, ауыстыру тестілері.

Өнімділік және тюнинг

• `linger. ms` и `batch. batching үшін 'size;' compression. type` (lz4/zstd).
• 'acks = all', бірақ жасырындылықты қадағалау; тюн 'max. in. flight. requests. per. үйлесімділігі бар connection '.

• Жеткілікті партия; NVMe дискілері; 10/25G торы; JVM GC параметрлері.

• Дұрыс group management, 'max. poll. interval. ms ', бэкофе кезінде партияны тоқтату.

• Publisher confirms баттарда; channels қайта пайдалану.

• өңдеу уақыты бойынша 'prefetch' (мысалы, 50-300); үлкен бэклогтар үшін lazy queues.
• Ыстық кезектерді нод бойынша тарату; ТСР/файлдық дескрипторлар.

iGaming үшін үлгі үлгілер

Outbox + Kafka домендік оқиғаларды сенімді жариялау үшін (ставка орналастырылған, депозит есептелген).
Интеграцияға синхронды сұраулар үшін RabbitMQ RPC (KYC құжатын тексеру, бонусты есептеу).
Сага-паттерн: компенсациялық қадамдармен оқиғалар (Kafka) және командалар (RabbitMQ) арқылы оркестрлеу.
Fan-out хабарламалар: бір оқиғадан → CRM, антифрод, аналитика.
Smart-retry прогрессивті кідірістері және DLQ бар PSP-вебхуктер.

Көші-қон және гибридтік сәулеттер

«Операциялық» үшін RabbitMQ бағдарламасынан бастаңыз, оқиғалар мен талдаулар үшін Kafka қосыңыз.
Жарияланымдарды қайталаңыз: толық тұрақтандыруға дейін екі жаққа → outbox → коннектор қызметі (Kafka + RabbitMQ).
Талдау/стрим-агрегация жазылушыларын біртіндеп Kafka Streams/ksqlDB-ге көшіріңіз.

Шағын чек таңдау парағы

1. Жүктеме/TPS> ондаған мың/сек? → Kafka.
2. Журналдағы ретеншн және қайта оқу керек пе? → Kafka.
3. Икемді бағыттау, басымдықтар, кейінге қалдырылған жеткізу, RPC? → RabbitMQ.
4. Кілт бойынша қатаң тәртіп және көлденең скейл → Kafka (кілт/партия).
5. Параллелизмді басқаратын қарапайым тапсырмалар/ворк-кью → RabbitMQ.
6. Мінсіз - комбинация: Kafka (оқиғалар) + RabbitMQ (оркестрлеу).

Ең аз конфигурация мысалдары

Мысалы: RabbitMQ ұсталған ретраялары және DLQ (policy арқылы)

Жұмыс кезегі: 'psp. webhooks. q`

Ретрайлер кезегі: 'psp. webhooks. retry. 1m. q '(TTL = 60s, DLX артқа жұмысты көрсетеді)

DLQ: `psp. webhooks. dlq`

• `psp. webhooks. q` → `x-dead-letter-exchange=psp. retry. exchange`
• `psp. webhooks. retry. 1m. q` → `x-message-ttl=60000`, `x-dead-letter-exchange=psp. work. exchange`
• `psp. webhooks. dlq '→ мониторинг және қолмен талдау.

Мысал: ставкалар үшін Kafka топик

'bets. placed. v1 ', партия: 24, RF = 3, ретеншн 7 күн.
Хабар кілті: 'player _ id' немесе 'bet _ id' (тәртіп үшін маңыздысын таңдаңыз).
Схема: Protobuf/Avro с `bet_id`, `player_id`, `stake`, `odds`, `ts`, `idempotency_key`.

Тестілеу және сапа

Contract-тесттер продюсер/консьюмер + схемаларды тексеру (Schema Registry).
Chaos-тесттер: түйіннің құлауы, желінің кідіруі, split-brain.
Мақсатты TPS жүктеу итергіштері, p99 тексеру, lag өсуі және қалпына келтіру.

Kafka - оқиғалар магистралі және стриминг: кілт бойынша ретеншн/компакшн, жоғары TPS, нақты уақыттағы талдау.
RabbitMQ - тапсырмалардың операциялық кезегі: икемді бағыттау, растау, басымдықтар, ретра/DLQ, RPC.
iGaming-те ең жақсы тәжірибе - комплементарлық пайдалану: Кафкадағы оқиғалар мен аналитика, RabbitMQ-дағы интеграциялық/оркестрлік тапсырмалар, схемалардың бірыңғай стандарттары, теңсіздік, мониторинг және қатаң SLO.