Хабарлар тәртібінің кепілдіктері

1) «Тәртіп» дегеніміз не және ол не үшін қажет

Хабар тәртібі - бір мәні бар оқиғалар (тапсырыс, пайдаланушы, әмиян) немесе бүкіл ағын үшін «не бұрын өңделуі тиіс» қатынасы. Ол инварианттар үшін маңызды: «B алдындағы A мәртебесі», «есептен шығарғанға дейінгі баланс», «n + 1 алдындағы n нұсқасы».
Бөлiнген жүйелерде жолдардың ғаламдық жаппай тәртiбi және сирек қажет; әдетте жергілікті «кілт» тәртібі жеткілікті.

2) Тәртіп кепілдіктерінің түрлері

1. Per-partition (лог бөліміндегі жергілікті тәртіп) - Kafka: партия ішіндегі тәртіп сақталады, партиялар арасында - сақталмайды.
2. Per-key (ordering key/message group) - бір кілті бар барлық хабарламалар өңдеудің бір «ағынына» бағытталады (Kafka key, SQS FIFO MessageGroupId, Pub/Sub ordering key).
3. Global total order - бүкіл жүйе бірыңғай тәртіпті көреді (бөлінген журнал/секвенсер). Қымбат, қолжетімділікті және throughput нашарлатады.
4. Causal order (себеп-салдарлық) - «егер B A әсерін байқаса, A-дан кейінгі В оқиғасы». Жаһандық секвенсерсіз метадеректер (нұсқалар, Lamport-уақыттар/векторлық сағаттар) арқылы қол жеткізуге болады.
5. Best-effort order - брокер тәртіпті сақтауға тырысады, бірақ ақаулықтар кезінде орын ауыстырулар болуы мүмкін (көбінесе NATS Core, RabbitMQ-да бірнеше консультанттарда).

3) Тәртіп қай жерде бұзылады

Бір кезектегі параллель консьюмерлер (RabbitMQ: бір кезекке бірнеше consumers → interleaving).
Ретраи/қайталап жеткізу (at-least-once), таймауттар 'ack', қайталап кезекке қою.
Ребаланс/фейловер (Kafka: партия/көшбасшының көшуі).
DLQ/қайта өңдеу - «улы» хабар DLQ-ге кетеді, келесі → логикалық үзіліс.
Мульти-өңір және репликация - түрлі кідірістер → рассинхронизация.

4) «Кілт бойынша тәртіп» дизайны

• Табиғи кілттерді пайдаланыңыз: 'order _ id', 'wallet _ id', 'aggregate _ id'.
• «Ыстық кілттерді» қадағалаңыз - бір кілт ағынды «бұғаттай алады» (head-of-line blocking). Қажет болған жағдайда: 'order _ id #shard (0.. k-1)' кілтін синктегі тәртіптің детерминирленген реконструкциясымен бөлшектеңіз.
• Kafka - бір кілт → бір партия, тәртіп кілт шегінде сақталады.

java producer.send(new ProducerRecord<>("orders", orderId, eventBytes));

(Кілт = 'orderId' жергілікті тәртіпке кепілдік береді.)

5) «Өткізу қабілетіне қарсы тәртіп»

• Бір консюмер кезекке тәртіпті сақтайды, бірақ параллелизмді төмендетеді.
• At-least-once + параллелизм өнімділікті арттырады, бірақ демпотенттілікті және/немесе тәртіпті қалпына келтіруді талап етеді.
• Global order секвенсерге hop қосады → ↑ жасырындылық және бас тарту тәуекелі.

Компромисс: per-key тәртібі, параллелизм = партиялардың/топтардың саны, + іспеттес синктер.

6) Нақты брокерлердегі тәртіпті бақылау

Kafka

Партия ішіндегі тәртіп.
'max. in. flight. requests. per. connection ≤ 5` с `enable. idempotence = true ', продюсердің ретрайлері ретті өзгертпеуі үшін.
Консюмер тобы: бір партия → бір уақытта бір воркер. Қайта жеткізу мүмкін → бизнес қабатында sequence/version ұстаңыз.
Транзакциялар (read-process-write) «оқылды/жазылды/скоммитилді офсеттер» үйлесімділігін сақтайды, бірақ жаһандық тәртіп жасамайды.

properties enable.idempotence=true acks=all retries=2147483647 max.in.flight.requests.per.connection=5

RabbitMQ (AMQP)

Тәртіп бір консюмер үшін бір кезекте кепілдендіріледі. Бірнеше хабарлар үшін «аралас» болуы мүмкін.
Тәртіп үшін: бір консюмер немесе аяқталғаннан кейін prefetch = 1 + ack. Параллелизм үшін - кілттер бойынша кезектерді бөліңіз (sharding exchanges/consistent-hash exchange).

NATS / JetStream

NATS Core - best-effort, төмен жасырындылық, тәртіп бұзылуы мүмкін.
JetStream: ағын/бірізділік ішінде реттеу; сирек жеткізілгенде, консюмерде орын ауыстырулар болуы мүмкін → sequence және қалпына келтіру буферін пайдаланыңыз.

SQS FIFO

Exactly-once processing (тиімді, дедуп есебінен) және MessageGroupId ішіндегі тәртіп. Параллелизм - head-of-line тобының ішінде топтар саны.

Google Pub/Sub

Ordering key кілт шегінде тәртіп береді; қате пайда болса, жарияланым қалпына келтірілгенге дейін құрсауланады - backpressure бағдарламасын қадағалаңыз.

7) Тәртіпті сақтау және қалпына келтіру паттерндері

7. 1 Sequence/нұсқалау

• егер 'seq = last_seq + 1' болса ғана оқиғаны қабылдайды;
• әйтпесе - жетіспеушілер келгенге дейін күту буферіне қояды ('last _ seq + 1').

pseudo if seq == last+1: apply(); last++
else if seq > last+1: buffer[seq] = ev else: skip // дубль/повтор

7. 2 Буферлер мен терезелер (stream processing)

Time-window + watermark: терезе ішінде out-of-order қабылдаймыз, watermark арқылы терезені «жауып», ретке келтіреміз.
Allowed lateness: кешіккендер арнасы (recompute/ignore).

7. 3 Sticky-routing кілті бойынша

'hash (key)% shards' хэш бағыты кілттің барлық оқиғаларын бір воркерге жібереді.
Kubernetes бағдарламасында - сессияны (sticky) HTTP теңгерімдегішінде емес, кезек/шерда деңгейінде ұстаңыз.

7. 4 Actor-моделі/« кілтке бір ағын »

Сыни агрегаттар (әмиян) үшін: актор біртіндеп, қалған параллелизмді - акторлар санымен өңдейді.

7. 5 Теңсіздік + reordering

Тәртіпті қалпына келтірудің өзінде қайталаулар болуы мүмкін. UPSERT + нұсқасын және Inbox нұсқасын біріктіріңіз («Exactly-once vs At-least-once» қараңыз).

8) «Улы» хабарламалармен жұмыс істеу (poison pills)

Тәртіпті сақтау «егер бір хабар өңделмесе, қалай өмір сүру керек?»

Қатаң тәртіп: кілт ағынын бұғаттау (SQS FIFO: бүкіл топ). Шешім - by-key DLQ: тек проблемалық кілтті/топты жеке кезекке/қолмен талдауға аударамыз.
Икемді тәртіп: өткізуге/өтемақыға жол береміз; логия жасаймыз және жалғастырамыз (қаржы/сыни агрегаттар үшін емес).
Ретрайлер саясаты: шектеулі 'max-deliver' + backoff + авидемпотенттік әсерлер.

9) Мульти-өңір және жаһандық жүйелер

Cluster-linking/репликация (Kafka) өңіраралық жаһандық тәртіпке кепілдік бермейді. Жергілікті per-key реті мен теңсіздік синктеріне басымдық беріңіз.
truly-global order үшін секвенсерді (орталық лог) пайдаланыңыз, бірақ бұл қолжетімділікке әсер етеді (CAP: желілік үзілістер кезінде минус А).
Балама: causal order + CRDT кейбір домендер үшін (есептегіштер, жиындар) - қатаң тәртіп қажет емес.

10) Тәртіптің байқалуы

Метрики: `out_of_order_total`, `reordered_in_window_total`, `late_events_total`, `buffer_size_current`, `blocked_keys_total`, `fifo_group_backlog`.

11) Қарсы үлгілер

Бір кезек + кілт бойынша шардарлаусыз көптеген консумерлер - тәртіп бірден бұзылады.
Қайта-паблиш арқылы дәл сол кезектегі idempotency - doubly + out-of-order.
Жаһандық тәртіп - жасырындылық пен құнды нақты пайдасыз жару.
SQS FIFO барлығына бір топ - толық head-of-line. MessageGroupId per кілтін пайдаланыңыз.
«Ыстық кілттерді» елемеу - бір «әмиян» бәрін тежейді; кілтті мүмкіндігінше кіші кілттерге бөліңіз.
Бір кезекте/топта сындарлы және bulk-ағындарын араластыру - өзара әсер ету және тәртіпті жоғалту.

12) Енгізу чек-парағы

• Кепілдік деңгейі анықталды: per-key/per-partition/causal/global?
• Реттеу кілті және «ыстық кілттерге» қарсы стратегия жобаланған.
• Маршрутизатор теңшелді :/MessageGroupId/ordering key.
• Консумерлер кілттер бойынша оқшауланған (sticky-routing, shard-workers).
• Синктегі теңсіздік және/немесе Inbox/UPSERT қосылған.
• sequence/version және буфер reordering іске асырылды (қажет болса).
• DLQ by key саясаты және backoff.
• Тәртіп және алерт өлшемдері: out-of-order, blocked_keys, late_events.
• Game day: ребаланс, түйін жоғалту, «улы» хабар, желілік кідірістер.
• Құжаттама: тәртіп инварианттары, терезе жиектері, SLA әсері.

13) Конфигурация мысалдары

13. 1 Kafka Consumer (тәртіп бұзуды азайту)

properties max.poll.records=500 enable.auto.commit=false  # коммит после успешной обработки батча isolation.level=read_committed

13. 2 RabbitMQ (параллелизм бағасымен тәртіп)

Кезекке бір консюмер + 'basic. qos(prefetch=1)`

bash rabbitmq-plugins enable rabbitmq_consistent_hash_exchange публикуем с хедером/ключом для консистентного хеша

13. 3 SQS FIFO

MessageGroupId = key. Параллелизм = топтар саны.
Қосарланудан қорғау үшін MessageDeduplicationId (провайдер терезесінде).

13. 4 NATS JetStream (ordered consumer, нобай)

bash nats consumer add ORDERS ORD-KEY-42 --filter "orders.42.>" --deliver pull \
--ack explicit --max-deliver 6

14) FAQ

Q: Маған жаһандық тәртіп керек пе?
A: Дерлік ешқашан. per-key әрқашан дерлік жеткілікті. Жаһандық тәртіп - қымбат және қол жетімділікке әсер етеді.

Q: Қатаң тәртіпте «улы» хабарламамен не істеу керек?
A: Тек оның кілтін/тобын DLQ-ге ауыстыру, қалғаны - жалғастыру.

Q: Бір уақытта тәртіп пен масштабты алуға бола ма?
A: Иә, кілт бойынша тәртіп + көптеген кілттер/партиялар + қажет жерде демпотенттік операциялар мен буферлер.

Q: Не маңызды: тәртіп немесе exactly-once?
A: Көптеген домендер үшін - кілт тәртібі + тиімді exactly-once әсерлері (іспеттілік/UPSERT). Көлік at-least-once болуы мүмкін.

15) Қорытынды

Тәртіп - бұл қымбат жаһандық тәртіп емес, бизнес-кілттің айналасындағы жергілікті кепілдік. Кілттер мен партияларды жобалаңыз, «ыстық» кілттерді шектеңіз, демпотенттілікті пайдаланыңыз және қажет жерде sequence + буфер reordering. «out-of-order» және «blocked keys» өлшемдерін қадағалаңыз, ақаулықтарды тестілеңіз - сіз өнімділік пен қолжетімділікте құрбандықсыз болжамды өңдеуді аласыз.