Билдирүүлөр тартибинин кепилдиктери

1) "тартип" деген эмне жана ал эмне үчүн керек

Билдирүүлөрдүн тартиби - бул бир нерсенин окуялары (заказ, колдонуучу, капчык) же бүтүндөй агым үчүн "эртерээк иштетилиши керек" катышы. Бул инварианттар үчүн маанилүү: "B алдында А статусу", "эсептен чыгарууга чейинки баланс", "n + 1 алдында n версиясы".
бөлүштүрүлгөн системалар дүйнөлүк жалпы жол тартиби жана сейрек керек; адатта "ачкычка" жергиликтүү тартип жетиштүү.

2) Тартиптин кепилдигинин түрлөрү

1. Per-partition (логдун бөлүмүндөгү жергиликтүү тартип) - Kafka: партиянын ичиндеги тартип сакталат, партиялардын ортосунда - жок.
2. Per-key (ordering key/message group) - бир ачкычы бар бардык билдирүүлөр бир "агым" иштетүүгө багытталат (Kafka key, SQS FIFO MessageGroupId, Pub/Sub ordering key).
3. Global total order - бүткүл система бирдиктүү тартипти (бөлүштүрүлгөн журнал/секвенсер) көрөт. Кымбат, жеткиликтүүлүгүн начарлатат жана throughput.
4. Causal order (себеп-натыйжа) - "B А таасир байкоо кийин B окуя". Биз дүйнөлүк секвенсор жок метаданалар (версиялар, Lamport-time/вектордук сааттар) аркылуу жетишебиз.
5. Best-effort order - брокер тартипти сактоого аракет кылат, бирок ийгиликсиз өзгөрүүлөр болушу мүмкүн (көп учурда NATS Core, RabbitMQ бир нече консумерлер менен).

3) Тартип бузулган жерде

Бир катар параллелдүү Consumers (RabbitMQ: бир катар бир нече consumers → interleaving).
Ретраи/кайталап жеткирүү (at-least-once), таймауттар 'ack', кайталап кезекке коюу.
Ребаланс/фейловер (Kafka: партиянын/лидердин кыймылы).
DLQ/кайра иштетүү - "уулуу" билдирүү DLQ барат, кийинки → логикалык ажырым барат.
Көп аймак жана репликация - ар кандай кечигүүлөр → рассинхронизация.

4) Дизайн "ачкыч тартиби"

• Табигый ачкычтарды колдонуңуз: 'order _ id', 'wallet _ id', 'aggregate _ id'.
• "Ысык ачкычтарды" ээрчип - бир ачкыч агымын "бөгөттөп" алат (head-of-line blocking). Керек болсо, ачкычты бөлүп алыңыз: 'order _ id #shard (0.. k-1)' синктеги тартипти детерминацияланган реконструкциялоо менен.
• Кафкада - бир ачкыч → бир партия, тартип ачкычтын чегинде сакталат.

java producer.send(new ProducerRecord<>("orders", orderId, eventBytes));

(Ачкыч = 'orderId' жергиликтүү тартипти кепилдейт.)

5) "Өткөрүү жөндөмдүүлүгүнө каршы тартип"

• Бир консюмер кезекке тартипти сактайт, бирок параллелизмди азайтат.
• At-least-once + параллелизм өндүрүмдүүлүктү жогорулатат, бирок демпотенттикти жана/же тартипти калыбына келтирүүнү талап кылат.
• Global order секвенсерге hop кошот → ↑ жашыруун жана баш тартуу коркунучу.

Компромисс: per-key тартиби, параллелизм = партиялардын/топтордун саны, + демпотенттик синки.

6) Белгилүү брокерлердин тартибин көзөмөлдөө

Kafka

Партиянын ичиндеги тартип.
сактоо 'max. in. flight. requests. per. connection ≤ 5` с `enable. idempotence = true ', ошондуктан продюсердин ретрасы тартипти өзгөртпөйт.
Консюмер тобу: бир партия → учурда бир воркер. Кайра жеткирүү мүмкүн → бизнес катмарында sequence/version сактап.
Транзакциялар (read-process-write) ырааттуулугун сактайт "окулган/жазылган/skommitil офсеттери", бирок глобалдык тартипти түзбөйт.

properties enable.idempotence=true acks=all retries=2147483647 max.in.flight.requests.per.connection=5

RabbitMQ (AMQP)

Тартип бир консюмер үчүн бир кезекте кепилденет. Бир нече билдирүүлөр менен "аралаш" келиши мүмкүн.
тартиби үчүн: бир консюмер же prefetch = 1 + ack аяктагандан кийин. Параллелизм үчүн - ачкычтар боюнча кезектерди бөлүңүз (sharding exchanges/consistent-hash exchange).

NATS / JetStream

NATS Core - best-effort, төмөн жашыруун, тартип бузулушу мүмкүн.
JetStream: агым/ырааттуулук ичинде тартипке келтирүү; Редизи мүмкүн өзгөрүүлөр боюнча Консюмерде → sequence жана калыбына келтирүү буферин колдонуу.

SQS FIFO

Exactly-once processing (натыйжалуу, таятасынын эсебинен) жана MessageGroupId ичинде тартиби. Параллелизм - топтун саны, топтун ичинде head-of-line.

Google Pub/Sub

Ordering key ачкычтын ичинде тартип берет; Эгерде каталар болсо, жарыялоо калыбына келтирилгенге чейин бөгөттөлөт - backpressure.

7) Тартипти сактоо жана калыбына келтирүү үлгүлөрү

7. 1 Sequence/чыгаруу

• эгер 'seq = last_seq + 1' болсо гана окуяны кабыл алат;
• болбосо - жоктор келгенге чейин күтүү буферине салат ('last _ seq + 1').

pseudo if seq == last+1: apply(); last++
else if seq > last+1: buffer[seq] = ev else: skip // дубль/повтор

7. 2 Буферлер жана терезелер (stream processing)

Time-window + watermark: watermark "жабуу" терезе жана тартипке ылайык, терезенин ичинде чыгып-order кабыл алуу.
Allowed lateness: кеч үчүн канал (recompute/ignore).

7. 3 Sticky-routing ачкычы

'hash (key)% shards' хэш-маршрутизациясы ачкычтын бардык окуяларын бир воркерге жөнөтөт.
Kubernetes менен - сессияны (sticky) L4-HTTP балансында эмес, кезек/шерда деңгээлинде кармап туруңуз.

7. 4 Actor модели/" ачкычка бир агым "

Критикалык агрегаттар үчүн (капчык): актер ырааттуу иштетет, калган параллелизм - актёрлордун саны.

7. 5 Демпотенттик + жазуу

Тартипти калыбына келтирүү менен да кайталоолор болушу мүмкүн. UPSERT + версиясы жана Inbox менен айкалыштырыңыз ("Exactly-once vs At-least-once").

8) "уулуу" билдирүүлөр менен иштөө (poison pills)

Тартипти сактоо милдети туш: "Бир билдирүү иштеп чыкпаса, кантип жашаш керек?"

Катуу тартиби: ачкыч агымын бөгөттөө (SQS FIFO: бүт топ). Чечим - by-key DLQ: Биз көйгөй ачкычын/топту гана өзүнчө кезекке/кол талдоого которуп жатабыз.
Ийкемдүү тартиби: жол/ордун толтуруу; логикалык жана улантуу (каржы/сын агрегаттар үчүн эмес).
Retray саясаты: чектелген 'max-deliver' + backoff + avidempotent таасирлери.

9) Көп аймак жана глобалдык системалар

Cluster-linking/репликация (Kafka) региондор аралык дүйнөлүк тартипке кепилдик бербейт. Жергиликтүү per-key тартибине жана демпотенттик синкаларга артыкчылык бериңиз.
truly-global order үчүн секвенсерди (борбордук лог) колдонуңуз, бирок бул жеткиликтүүлүккө таасир этет (CAP: тармактык ажырымдарда минус А).
Альтернатива: кээ бир домендер үчүн causal order + CRDT (эсептегичтер, көптүктөр) - катуу тартиптин кереги жок.

10) тартиби байкоо

Метрики: `out_of_order_total`, `reordered_in_window_total`, `late_events_total`, `buffer_size_current`, `blocked_keys_total`, `fifo_group_backlog`.

11) Анти-үлгүлөрү

Бир кезек + ачкычы жок көптөгөн консумерлер - тартип дароо бузулат.
idempotency жок эле кезек pere-коомдук аркылуу Retray - Double + out-of-order.
Глобалдык тартип "кандай болгон күндө да" - реалдуу пайдасыз жашыруун жана нарктык жарылуу.
SQS FIFO бардык бир топ - толук башчысы-of-line. MessageGroupId per ачкычын колдонуңуз.
"Ысык ачкычтарды" четке кагуу - бир "капчык" баарын жайлатат; мүмкүн болгон жерде ачкычты ачкычка бөлүңүз.
Бир кезекте/топто критикалык жана булк агымдарын аралаштыруу - өз ара таасир жана тартипти жоготуу.

12) Киргизүү чек-тизмеси

• Кепилдик деңгээли аныкталган: per-key/per-partition/causal/global?
• "ысык ачкычтар" каршы уюштуруу ачкычы жана стратегиясы иштелип чыккан.
• Router орнотулган :/MessageGroupId/ordering key.
• Консультанттар ачкычтар менен изоляцияланат (sticky-routing, shard-workers).
• боштук жана/же Inbox/UPSERT кирет.
• Ишке sequence/version жана буфер reordering (керек болсо).
• DLQ Politics by key жана backoff менен ретра.
• тартиби Метрика жана Алерт: out-of-order, blocked_keys, late_events.
• Оюн күнү: ребаланс, түйүн жоготуу, "уулуу" билдирүү, тармак кечигүү.
• Документтештирүү: инварианттар тартиби, терезе чектери, SLA таасири.

13) Конфигурация мисалдары

13. 1 Kafka керектөөчү (тартип бузууларды азайтуу)

properties max.poll.records=500 enable.auto.commit=false  # коммит после успешной обработки батча isolation.level=read_committed

13. 2 RabbitMQ (параллелизм баасы тартиби)

Бир консюмер + 'basic. qos(prefetch=1)`

bash rabbitmq-plugins enable rabbitmq_consistent_hash_exchange публикуем с хедером/ключом для консистентного хеша

13. 3 SQS FIFO

MessageGroupId = key. Параллелизм = топтордун саны.
MessageDeduplicationId дубль коргоо үчүн (терезеде).

13. 4 NATS JetStream (ordered consumer, эскиз)

bash nats consumer add ORDERS ORD-KEY-42 --filter "orders.42.>" --deliver pull \
--ack explicit --max-deliver 6

14) FAQ

Q: Мен дүйнөлүк тартип керек?
A: Дээрлик эч качан. Дээрлик ар дайым жетиштүү per-key. Дүйнөлүк тартип - кымбат жана жеткиликтүүлүгүнө сокку.

Q: катуу тартипте "уулуу" билдирүү жөнүндө эмне айтууга болот?
A: гана DLQ анын ачкычын/тобун которуу, калган - улантуу.

Q: бир эле учурда тартипти жана масштабын алууга болобу?
A: Ооба, ачкычтын тартиби + көптөгөн ачкычтар/партиялар + демпотенттик операциялар жана буферлер керек жерде.

Q: Эмне маанилүү: тартиби же exactly-once?
A: көпчүлүк домендер үчүн - ачкыч тартиби + натыйжалуу exactly-once таасирлери (боштук/UPSERT). Транспорт at-least-once болушу мүмкүн.

15) натыйжалары

Тартип - бул кымбат глобалдык тартип эмес, бизнес ачкычтын айланасында жергиликтүү кепилдик. Ачкычтарды жана партияларды долбоорлоо, "ысык" ачкычтарды чектөө, демпотенттикти колдонуу жана зарыл болгон жерде sequence + буфер жаздыруу. "Out-of-order" жана "blocked keys" көрсөткүчтөрүн ээрчип, мүчүлүштүктөрдү сынап көрүңүз - жана сиз өндүрүмдүүлүк жана жеткиликтүүлүк боюнча курмандыктары жок алдын ала иштетүүнү аласыз.