Билдирүү кезектери: Kafka жана RabbitMQ

Билдирүү кезектери: Kafka, RabbitMQ

(Бөлүк: Технология жана инфраструктура)

Кыскача резюме

• Apache Kafka - таркатылган окуялар журналы (log), агымдык иштетүү, репликациялоо жана партиялар аркылуу горизонталдуу скейлинг багытталган.
• RabbitMQ - ийкемдүү багыттоо менен AMQP кезек брокери (exchanges/bindings), артыкчылыктар, TTL, ырастоолор жана классикалык кезек милдеттери.

Эки курал жетилген, бирок ар кандай маселелерди чечет: Kafka - масштабдуу агымдар жана аналитика үчүн, RabbitMQ - милдеттерди ыкчам топтоо үчүн, RPC жана ар түрдүү багыттоо.

Кайда iGaming ылайыктуу

• Биз жогорку TPS окуялар (коюмдар, оюн иш-чаралар, телеметрия) жана партия аркылуу горизонталдуу скейлинг керек.
• Маанилүү муздак/ысык ре-консум (кайра-ленталык маалыматтарды окуу), агрегаттар үчүн retenshn жана компакшн (балансы, оюнчу абалы).
• Биз Stream процесстерди (Kafka Streams/ksqlDB/Flink) realtime агрегаттары үчүн керек: турнирлердин лидерлери, жоопкерчиликтүү оюндун лимиттери, антифрод сигналдары.

• Бизге классикалык тапшырма кезектери керек: KYC-текшерүү, кийинкиге калтырылган/кайра төлөмдөр, электрондук почта/SMS/push, PSPге webhooks.
• Ийкемдүү багыттоо (topic/direct/fanout), артыкчылыктар, TTL, delay, dead-letter жана RPC үлгүлөрү.
• Катуу per-consumer чектөөлөр талап кылынат (prefetch/QoS), жөнөкөй жүктү башкаруу жана тез retray.

Тез-тез жыйынтык: Иш-чаралар жана аналитика үчүн Kafka + RabbitMQ үчүн оркестр жана интеграция.

Маалыматтар модели жана багыттоо

Kafka

Топиктер → партияларга бөлүнөт, ар бири - тартиптүү лог.
Билдирүүнүн ачкычы ачкычтын ичиндеги партияны → тартипти аныктайт.
Консумерлер оффсет боюнча окушат, консумерлердин топтору иштетүүнү масштабдашат.
убакыт/көлөмү боюнча Retenshn; log compaction ачкычтын акыркы версиясын сактайт.

RabbitMQ

Exchanges (direct/fanout/topic/headers) + bindings → билдирүүлөр queues кирет.
Тастыктоо (ack/nack/requeue), publisher confirms, priorities, TTL, dead-letter (DLX/DLQ).
Quorum queues (Raft) жогорку жеткиликтүүлүгү үчүн; RAM сактоо үчүн lazy queues.

Жеткирүү кепилдиги жана туруктуулук

At-most-once: retrains жок; жоготуу коркунучу, минималдуу кечигүү.
At-least-once: стандарт демейки → мүмкүн дубликат → демпотент hendlers (суроо/бүтүмдөр ачкычы, upsert, dedup-стол, outbox).
Exactly-once: Kafka демпотенттик өндүрүүчү + транзакциялык топиктер + макулдашылган керектөө менен жетишилет, бирок көбүнчө кымбатыраак жана татаалыраак; RabbitMQ - чектелген жана сөөктөрү менен. Реалдуу төлөм/коюм агымдарында at-least-once + катуу демпотенттүүлүк колдонулат.

• Unique idempotency-keys (UUID/ULID) окуя/команда.
• DD кызмат + өзгөртүү Data Capture Outbox үлгү (Debezium) → "кош жазуу" алдын алуу.
• Dedup боюнча (key, created_at) TTL менен өзүнчө store.

Заказ/билдирүү тартиби

Kafka партиянын ичинде тартипке кепилдик берет. Ачкычты бир эле ачкычта маңыздын бүтүндөй "жашоосу" (мисалы, баланс үчүн 'player _ id') болушу үчүн тандаңыз.
RabbitMQ тартиби катуу кайталап жеткирүү/бир нече consumer кепилденген эмес; тартиби үчүн сын пайплайндар - жакшыраак Kafka же single-active керектөөчү жана сериялаштыруу агымы аркылуу.

Топиктерди жана кезектерди долбоорлоо

• Гранулдуулук: 'домен. event '(мисалы,' payments. deposit. created`).
• Ачкычтар: 'player _ id', 'account _ id', 'bet _ id' тартипке келтирүү үчүн.
• Партия = максаттуу TPS боюнча N (эреже: 1 партия ≈ X билдирүүлөр/сек/консюмер); өсүү үчүн резерв.
• Retenshn: окуялар - саат/күн; компакшн - "шарттар" үчүн.

• домен боюнча Exchanges: 'payments. direct`, `risk. topic`.
• Керектөөчүлөр үчүн кезек: 'kyc. checker. q`, `psp. webhooks. retry. q`.
• ар бир жумуш кезеги үчүн DLQ; backoff үчүн delay.
• Prefetch параллелизмди белгилейт, quorum кезектери - HA үчүн.

Каталар, Retray жана DLQ

Каталарды классификациялоо: убактылуу (Network/PSP 5xx) → ретра; өлүмгө (валидация, схема) → дароо DLQ.
Exponential backoff + jitter, retray чеги, "poison-pill" аныктоо.
Жеке retry-queues кадам (5s, 1m, 5m, 1h).
DLQ иштетүүчү: alert, trace, кол талдоо, патч менен reinject.

Маалыматтар келишими жана схемалар

Euro/Protobuf + Schema Registry колдонуңуз (Кафка үчүн - де-факто стандарт).
Версиялоо: backward-compatible өзгөртүүлөр (кошумча талааларды кошуу), миграцияны бузууга тыюу салуу.
PII талаалары - шифрлөө/токендештирүү; GDPR жана жергиликтүү нормаларды сактаңыз.

Мониторинг, байкоо жана SLO

Өндүрүүчүлөрдүн/консумерлердин көрсөткүчтөрү: lag, throughput, каталар, ретра, иштетүү убактысы.
Логи + трейсинг (корреляциялык ID: 'trace _ id', 'message _ id').
SLO: p99-жашыруун жарыялоо/жеткирүү, алгылыктуу колдонуучу, Fail кийин калыбына келтирүү убактысы.
DLQ өсүшүнө, ашыкча лагга, партиялардын/кворумдун төмөндөшүнө алерттар.

Коопсуздук жана комплаенс

транзиттик TLS, жашыруун шифрлөө (SOPS/Vault), чектелген ACL/RBAC.
Сезгич домендер үчүн жеке топиктер/кезектер (төлөмдөр, KYC).
Басылмалардын/жазылуулардын аудит-журналы, коддон тышкары ачкычтарды сактоо.
Регионалдык талаптар (EU/Түркия/LatAm): retenshn, сактоо локалдаштыруу, маска.

Жогорку жеткиликтүүлүк, ката каршылык жана DR

• Кластер 3-5 брокерлер минималдуу; replication. factor ≥ 3.
• min. insync. replicas жана acks = all үчүн күчтүү жазуулар.
• Кросс-аймактык репликация (MirrorMaker-2) үчүн DR.

• HA үчүн Quorum queues, кворум менен жуп/так сандагы нод.
• Federation/Shovel үчүн DPC репликация, DR сценарийлер.
• Cool/жылуу стенд, которуу тесттер.

Аткаруу жана тюнинг

• `linger. ms` и `batch. size 'batching;' compression. type` (lz4/zstd).
• 'acks = all', бирок жашыруун мониторинг жүргүзүү; тюн 'max. in. flight. requests. per. connection 'демпотенттүүлүк менен.

• Жетиштүү партиялар; NVMe дисктер; 10/25G тор; GC-орнотуулар JVM.
• Kafka
• Туура group management, 'max. poll. interval. ms ', бэкофто партияларды токтото туруу.

• Publisher confirms батч; channels кайра колдонуу.
• RabbitMQ
• 'prefetch' (мисалы, 50-300) иштетүү убактысы боюнча; чоң бэклогдор үчүн lazy queues.
• Ысык кезектерди бургулоо; tyun TSR/файлдык дескрипторлор.

iGaming үчүн типтүү үлгүлөр

Outbox + Kafka домендик окуяларды ишенимдүү жарыялоо үчүн (коюм жайгаштырылган, депозит чегерилген).
RabbitMQ RPC синхрондуу интеграция суроо үчүн (KYC документти текшерүү, бонусту эсептөө).
Сага-үлгү: окуялар аркылуу оркестр (Kafka) жана команда (RabbitMQ) компенсациялык кадамдар менен.
Fan-out эскертмелер: бир окуя from → CRM, antifrod, аналитика.
Smart-retry прогрессивдүү кечигүү жана DLQ менен PSP-Webhook.

Миграция жана гибриддик архитектура

"Операциялык" үчүн RabbitMQ менен баштоо, окуялар жана аналитика үчүн Kafka кошуу.
Кайталап адабияттар: кызмат → outbox → эки тараптуу туташтыргыч (Kafka + RabbitMQ) толук турукташтыруу чейин.
Акырындык менен Kafka Streams/ksqlDB аналитика/агымдык топтоо абоненттерин өткөрүп.

Mini чек тандоо тизмеси

1. Жүктөө/TPS> он ми/сек? → Kafka.
2. Сиз retenshn жана журналдан эле кайра окуу керек? → Kafka.
3. Ийкемдүү багыттоо, артыкчылыктар, кечигип жеткирүү, RPC? → RabbitMQ.
4. Катуу ачкыч тартиби жана горизонталдуу скейл → Kafka (ачкыч/партия).
5. Жөнөкөй тапшырмалар/параллелизмди башкаруу менен ворк-кью → RabbitMQ.
6. Идеалында - айкалышы: Kafka (окуялар) + RabbitMQ (оркестр).

Минималдуу конфигурациялардын мисалдары

Мисал: RabbitMQ кармалган Retrains жана DLQ (policy аркылуу)

Жумушчу кезек: 'psp. webhooks. q`

Ретрациялардын кезеги: 'psp. webhooks. retry. 1m. q '(TTL = 60s, DLX кайра иш көрсөтөт)

DLQ: `psp. webhooks. dlq`

• `psp. webhooks. q` → `x-dead-letter-exchange=psp. retry. exchange`
• `psp. webhooks. retry. 1m. q` → `x-message-ttl=60000`, `x-dead-letter-exchange=psp. work. exchange`
• `psp. webhooks. dlq '→ мониторинг жана кол менен талдоо.

Мисал: коюмдар үчүн Topik Kafka

Topic: 'bets. placed. v1 ', партия: 24, RF = 3, retenshn 7 күн.
Билдирүү ачкычы: 'player _ id' же 'bet _ id' (тартип үчүн эң маанилүү нерсени тандаңыз).
Схема: Protobuf/Avro с `bet_id`, `player_id`, `stake`, `odds`, `ts`, `idempotency_key`.

Тестирлөө жана сапаты

Contract-Tests Producer/Consumer + текшерүү схемалар (Schema каттоо).
Chaos-тесттер: NOD кулап, тармак кечигүү, split-brain.
максаттуу TPS, текшерүү p99, өсүш лагын жана калыбына келтирүү менен жүктөө.

Натыйжалары

Kafka - иш-чаралардын жана стриминг магистралы: ачкыч тартибин, retenshn/компакшн, жогорку TPS, реалдуу убакыт аналитика.
RabbitMQ - милдеттердин операциялык кезеги: ийкемдүү багыттоо, ырастоо, артыкчылыктар, ретра/DLQ, RPC.
iGaming мыкты практика - комплементардык пайдалануу: иш-чаралар жана Kafka аналитика, RabbitMQ боюнча интеграциялык/оркестрдик тапшырмалар, схемалардын бирдиктүү стандарттары, ыктымалдуулук, мониторинг жана катуу SLO менен.