Habar tertibiniň kepillikleri

1) "Tertip" näme we näme üçin zerur?

Habarlaryň tertibi bir zat üçin (sargyt, ulanyjy, gapjyk) ýa-da tutuş akym üçin "öň işlenmeli zat" gatnaşygydyr. Ol üýtgewsizler üçin möhümdir: "A statusy B-den öň", "hasapdan çykarylýança balans", "n wersiýasy n + 1-den öň".
Paýlanan ulgamlarda global ýol tertibi we seýrek zerur; adatça "açar üçin" ýerli tertip ýeterlikdir.

2) Tertip kepillikleriniň görnüşleri

1. Per-partition (log bölüminde ýerli tertip) - Kafka: partiýanyň içinde tertip saklanýar, partiýalaryň arasynda - ýok.
2. Per-key (ordering key/message group) - bir açary bolan ähli habarlar bir "akym" (Kafka key, SQS FIFO MessageGroupId, Pub/Sub ordering key) ugrukdyrylýar.
3. Global total order - tutuş ulgam bir tertibi görýär (paýlanan jurnal/sekwenser). Gymmat, elýeterliligi we throughput ýaramazlaşdyrýar.
4. Causal order (sebäp-netije) - "B A täsirini synlasa, A-dan soňky waka B". Global sekwensersiz meta-maglumatlar (wersiýalar, Lamport-wagtlar/wektor sagatlary) arkaly ýetip bileris.
5. Best-effort order - dellal tertibi saklamaga synanyşýar, ýöne şowsuzlyklar ýüze çykan halatynda üýtgedip bolýar (köplenç NATS Core, RabbitMQ-da birnäçe konsumerlerde).

3) Tertip bozulýan ýeri

Bir nobata paralel konsumerler (RabbitMQ: bir nobata birnäçe consumers → interleaving).
Retraýlar/gaýtalanýan gowşuryşlar (at-least-once), wagtlar 'ack', gaýtalanýan nobata goýmak.
Rebalans/feýlower (Kafka: partiýanyň/lideriň hereketi).
DLQ/gaýtadan işlemek - "zäherli" habar DLQ-e gidýär, aşakdakylar → logiki boşluk.
Köp sebit we köpeltmek - dürli gijikdirmeler → rasinhronizasiýa.

4) "Açar boýunça tertip" dizaýny

• Tebigy açarlary ulanyň: 'order _ id', 'wallet _ id', 'aggregate _ id'.
• "Gyzgyn açarlary" yzarlaň - bir açar akymy "petikläp" biler. Zerur bolsa açary bölüň: 'order _ id #shard (0.. k-1)' sinkde tertip-düzgüni kesgitlenen täzeden gurmak bilen.
• Kafkada - bir açar → bir bölek, tertip açaryň içinde saklanar.

java producer.send(new ProducerRecord<>("orders", orderId, eventBytes));

(Açar = 'orderId' ýerli tertibi kepillendirýär.)

5) "Geçiriş ukybyna garşy tertip"

• Her nobata bir konsumer tertibi saklaýar, ýöne paralelligi peseldýär.
• At-least-once + parallelizm öndürijiligi ýokarlandyrýar, ýöne idempotentligi we/ýa-da tertibi dikeltmegi talap edýär.
• Global order sekwensere hop goşýar → ↑ gizlinlik we ret etmek töwekgelçiligi.

Ylalaşyk: per-key tertibi, parallelizm = partiýalaryň/toparlaryň sany, + idempotent sinki.

6) Anyk dellallarda tertibe gözegçilik etmek

Kafka

Partiýanyň içindäki tertip.
'max. in. flight. requests. per. connection ≤ 5` с `enable. idempotence = true ', prodýuseriň retrasy tertibi üýtgetmez ýaly.
Konsumer topary: bir partiýa → bir worker. Gaýtadan eltip bermek mümkin → iş gatlagynda sequence/version saklaň.
Amallar (read-process-write) "okaldy/ýazdy/skommitil ofset" yzygiderliligini saklaýar, ýöne global tertibi döretmeýär.

properties enable.idempotence=true acks=all retries=2147483647 max.in.flight.requests.per.connection=5

RabbitMQ (AMQP)

Tertip bir konsumer üçin bir nobatda kepillendirilýär. Birnäçe habarçy bilen "garyşyk" gelip biler.
Sargyt üçin: bir konsumer ýa-da prefetch = 1 + ack tamamlanandan soň. Paralellik üçin - açarlar boýunça nobatlary bölüň (sharding exchanges/consistent-hash exchange).

NATS / JetStream

NATS Core - best-effort, pes gizlinlik, tertip bozulyp bilner.
JetStream: akymyň/yzygiderliligiň içinde tertipleşdirmek; seýrek gowşurylsa, konsumerde üýtgeşmeler bolup biler → sequence we dikeldiş buferini ulanyň.

SQS FIFO

Exactly-once processing (täsirli, atamyň hasabyna) we MessageGroupId-iň içindäki tertip. Paralellik - toparlaryň sany, toparyň içinde head-of-line.

Google Pub/Sub

Ordering key açaryň içinde tertip berýär; ýalňyşlyk ýüze çyksa, neşir dikeldilmezden ozal petiklenýär - backpressure-a gözegçilik ediň.

7) Tertibi saklamak we dikeltmek patternleri

7. 1 bölek/wersiýa

• diňe 'seq = last_seq + 1';
• otherwiseogsam, garaşýanlar gelýänçä bufere goýýar ('last _ seq + 1').

pseudo if seq == last+1: apply(); last++
else if seq > last+1: buffer[seq] = ev else: skip // дубль/повтор

7. 2 Buferler we penjireler (stream processing)

Time-window + watermark: penjiräniň içinde out-of-order kabul edýäris, watermark arkaly penjiräni "ýapýarys" we tertipleşdirýäris.
Allowed lateness: giç gelenler üçin kanal (recompute/ignore).

7. 3 Sticky-routing

'hash (key)% shards' hash-marşrutlaşdyrmasy açaryň ähli wakalaryny bir workere iberýär.
Kubernetesde - sessiýany (sticky) HTTP balanslaýjysynda däl-de, nobat/şerda derejesinde saklaň.

7. 4 Actor-model/" açar üçin bir akym "

Möhüm agregatlar üçin (gapjyk): aktýor yzly-yzyna, galan paralelligi - aktýorlaryň sany bilen gaýtadan işleýär.

7. 5 Idempotentlik + reordering

Tertibi dikeltmek bilen hem gaýtalanmalar bolup biler. UPSERT-i wersiýa we Inbox bilen birleşdiriň ("Exactly-once vs At-least-once" seret).

8) "Zäherli" habarlar bilen işlemek (poison pills)

Tertibi saklamak: "Bir habar işlenmese, nädip ýaşamaly?"

Berk tertip: açar akymynyň petiklenmegi (SQS FIFO: tutuş topar). Çözgüt - by-key DLQ: diňe problemaly açary/topary aýratyn nobata geçirýäris/el bilen seljerýäris.
Çeýe tertip: geçmäge/öwezini dolmaga ýol berýäris; loglar we dowam etdirýäris (maliýe/möhüm agregatlar üçin däl).
Retraý syýasaty: çäkli 'max-deliver' + backoff + awidempotent täsirleri.

9) Köp sebit we global ulgamlar

Cluster-linking/replikasiýa (Kafka) sebitara global tertibi kepillendirmeýär. Ýerli per-key tertibine we idempotent sinklerine ileri tutuň.
truly-global order üçin sekwenser (merkezi log) ulanyň, ýöne bu elýeterlilige täsir edýär (CAP: tor arakesmelerinde minus A).
Alternatiwa: causal order + CRDT käbir domenler (hasaplaýjylar, köplükler) üçin - berk tertip gerek däl.

10) Tertibiň syn edilmegi

Метрики: `out_of_order_total`, `reordered_in_window_total`, `late_events_total`, `buffer_size_current`, `blocked_keys_total`, `fifo_group_backlog`.

11) Anti-patternler

Bir nobat + köp konsumer açarsyz - tertip birbada bozulýar.
Retrailer pere-publiş arkaly şol bir nobatda idempotency - dubli + out-of-order bolmazdan.
Global tertip "mümkin boldugyça" - hakyky peýdasyz gizlinligiň we bahanyň partlamasy.
SQS FIFO hemme zat üçin bir topar - doly head-of-line. MessageGroupId açaryny ulanyň.
"Gyzgyn açarlary" äsgermezlik etmek - bir gapjyk hemme zady haýalladýar; açary mümkin boldugyça aşaky açarlara bölüň.
Kritiki we bulk akymlaryny bir nobata/topara garyşdyrmak - özara täsir etmek we tertip-düzgüni ýitirmek.

12) Girizmegiň çek-sanawy

• Kepillik derejesi kesgitlenildi: per-key/per-partition/causal/global?
• Tertipleşdirmegiň açary we "gyzgyn açarlara" garşy strategiýa döredildi.
• Ugrukdyryjy sazlandy :/MessageGroupId/ordering key.
• Konsumerler açarlar boýunça izolirlenendir (sticky-routing, shard-workers).
• Mempotentlik we/ýa-da sinklerde Inbox/UPSERT goşuldy.
• sequence/version we bufer reordering (zerur bolsa) amala aşyryldy.
• DLQ syýasaty by key we backoff bilen retra.
• Tertip metrikleri we töwekgelçilikler: out-of-order, blocked_keys, late_events.
• Oýun güni: deňagramlylyk, düwün ýitmegi, "zäherli" habar, tor gijikdirmeleri.
• Resminamalar: tertipiň üýtgemegi, penjireleriň çäkleri, SLA-a täsiri.

13) Konfigurasiýa mysallary

13. 1 Kafka Consumer (düzgüniň bozulmagyny azaltmak)

properties max.poll.records=500 enable.auto.commit=false  # коммит после успешной обработки батча isolation.level=read_committed

13. 2 RabbitMQ (paralellik bahasyndan sargyt)

Nobata bir konsumer + 'basic. qos(prefetch=1)`

bash rabbitmq-plugins enable rabbitmq_consistent_hash_exchange публикуем с хедером/ключом для консистентного хеша

13. 3 SQS FIFO

MessageGroupId = key. Parallelizm = toparlaryň sany.
Jübütlerden goramak üçin MessageDeduplicationId (üpjün edijiniň penjiresinde).

13. 4 NATS JetStream (ordered consumer, eskiz)

bash nats consumer add ORDERS ORD-KEY-42 --filter "orders.42.>" --deliver pull \
--ack explicit --max-deliver 6

14) FAQ

Q: Maňa global tertip gerekmi?
A: Hiç haçan diýen ýaly. Hemişe diýen ýaly per-key ýeterlikdir. Global tertip gymmat we elýeterlilige täsir edýär.

Q: Berk tertipde "zäherli" habar näme?
A: Diňe onuň açaryny/toparyny DLQ-e geçirmek, galanlaryny dowam etdirmek.

Q: Şol bir wagtyň özünde tertibi we gerimi alyp bolarmy?
A: Hawa, açar tertibi + köp açar/partiýa + idempotent amallary we zerur ýerlerde buferler.

Q: Has möhüm zat: tertip ýa-da exactly-once?
A: Domenleriň köpüsi üçin - açar tertibi + täsirli exactly-once effektleri (idempotentlik/UPSERT). Ulag at-least-once bolup biler.

15) Netijeler

Tertip - gymmat bahaly global düzgün däl-de, işewürlik açarynyň töwereginde lokal kepillikdir. Açarlary we bölekleri dizaýn ediň, "gyzgyn" açarlary çäklendiriň, tizligi ulanyň we zerur ýerlerde sekwence + bufer reordering. "Out-of-order" we "blocked keys" metriklerine gözegçilik ediň, şowsuzlyklary synagdan geçiriň - we öndürijilikde we elýeterlilikde pidalar bolmazdan öňünden aýdylýan bejergini alarsyňyz.