Кафолати фармоиши паём

1) "Фармоиш" чист ва чаро он лозим аст

Тартиби паёмҳо "муносибати пеш аз коркард" барои рӯйдодҳои як объект (фармоиш, корбар, ҳамён) ё тамоми ҷараён мебошад. Ин барои инвариантҳо муҳим аст: "мақоми А пеш аз В", "тавозун пеш аз аз ҳисоб кардан", "версияи n пеш аз n + 1".
Дар системаҳои тақсимшуда тартиби умумии глобалӣ гарон аст ва хеле кам лозим аст; фармоиши маҳаллӣ барои ҳар як калид одатан кифоя аст.

2) Намудҳои кафолати тартибот

1. Ҳар як қисм (тартиби маҳаллӣ дар бахши журнал) - Кафка: фармоиш дар дохили ҳизб нигоҳ дошта мешавад, байни ҳизбҳо - не.
2. Ҳар як калид (фармоиш додани калидҳо/гурӯҳи паёмҳо) - ҳамаи паёмҳо бо як калид ба як "ришта" -и коркард равона карда мешаванд (калиди Кафка, SQS FIFO Message/Group- Id, калиди фармоишии Pub/Sub).
3. Тартиби умумии глобалӣ - тамоми система як фармоишро мебинад (маҷаллаи тақсимшуда/секвенсер). Гарон, дастрасӣ ва интиқолро коҳиш медиҳад.
4. Тартиби сабабӣ - "ҳодисаи B пас аз А, агар B таъсири A.-ро мушоҳида кунад". Тавассути метамаълумот (версияҳо, лампорт-вақт/соатҳои векторӣ) бидуни секвенсери ҷаҳонӣ дастрас аст.
5. Фармоиши беҳтарин - брокер кӯшиш мекунад, ки тартиботро нигоҳ дорад, аммо дар сурати нокомӣ, таҳаввулот имконпазир аст (аксар вақт дар NATS Core, RabbitMQ бо якчанд истеъмолкунанда).

3) Дар куҷо фармоиш вайрон мешавад

Истеъмолкунандагони параллелии ҳамон навбат (RabbitMQ: якчанд истеъмолкунанда дар як навбат → interleaving).
Бозсозӣ/таҳвили дубора (ҳадди аққал як маротиба), танаффусҳои 'ack', аз нав навбат.
Мувозинат/feilover (Кафка: ҳаракати ҳизб/роҳбар).
DLQ/коркард - паёми "заҳролуд" ба DLQ меравад, навбатдорон ба таври минбаъда ба танаффуси мантиқӣ мераванд.
Бисёр минтақа ва нусхабардорӣ - таъхирҳои гуногун → номувофиқатӣ.

4) Тарҳи фармоиши калидӣ

• Калидҳои табииро истифода баред: 'фармоиш _ id', 'ҳамён _ ид', 'агрегат _ ид'.
• Барои "калидҳои гарм" тамошо кунед - як калид метавонад ҷараёнро "бандад" (басташавии сари хат). Агар лозим бошад, калидро тақсим кунед: 'order _ id # shard (0.. k-1) 'бо барқарорсозии детерминистии фармоиш дар танӯр.
• Дар Кафка - як калид → як қисм, фармоиш дар дохили калид нигоҳ дошта мешавад.

java producer.send(new ProducerRecord<>("orders", orderId, eventBytes));

(Калид = 'фармоиш' тартиботи маҳаллиро кафолат медиҳад.)

5) "Фармоиш ва фарохмаҷро"

• Як истеъмолкунанда дар як саф тартиботро нигоҳ медорад, аммо мувофиқатро коҳиш медиҳад.
• Ҳадди аққал як маротиба + мувофиқат нишондиҳандаро беҳтар мекунад, аммо номутобиқатӣ ва/ё фармоишро талаб мекунад.
• Тартиби глобалӣ хопро ба секвенсер → genentnost ва хатари нокомӣ илова мекунад.

Созиш: тартиби ҳар як калид, параллелизм = шумораи ҳизбҳо/гурӯҳҳо, + кӯфтагӣ.

6) Назорати тартибот дар брокерҳои мушаххас

Кафка

Фармоиш дар дохили ҳизб.
Мушоҳида кунед. дар. парвоз. дархостҳо. пер. пайвастшавӣ ≤ 5 'с' фаъол аст. idempotence = ҳақиқӣ ', то бозпас гирифтани истеҳсолкунанда тартибро тағир надиҳад.
Гурӯҳи истеъмолкунандагон: як ҳизб → як коргар дар як вақт. Таҳвили такрорӣ имконпазир аст → пайдарпаӣ/версияро дар қабати тиҷорат нигоҳ доред.
Амалиётҳои хондан-раванд-навиштан пайдарҳамии ҷуброни хондан/навиштан/шикастаро нигоҳ медоранд, аммо тартиботи глобалиро эҷод намекунанд.

properties enable.idempotence=true acks=all retries=2147483647 max.in.flight.requests.per.connection=5

Харгӯш (AMQP)

Фармоиш дар як навбат барои як фурӯшанда кафолат дода мешавад. Бо якчанд истеъмолкунандагони паёмҳо метавонанд "омехта" шаванд.
Барои фармоиш: як супер ё prefetch = 1 + ack ҳангоми ба итмом расидан. Барои мувофиқат, навбатҳои алоҳида аз рӯи калидҳо (мубодилаи тез/мубодилаи муттасил-ҳаш).

NATS/Jetstream

NATS Core - саъю кӯшиши зиёд, таъхири кам, тартибот метавонад халалдор шавад.
JET Stream: фармоиш дар доираи ҷараён/пайдарпаӣ; ҳангоми азнавсозӣ, азнавсозӣ дар консол имконпазир аст, ки пайдарҳамӣ ва буфери барқарорсозӣ истифода шаванд.

SQS FIFO

Коркарди маҳз як маротиба (ба таври самаранок, бо сабаби такроршавӣ) ва фармоиш дар дохили Message Мувофиқат - шумораи гурӯҳҳо дар доираи гурӯҳи сатрҳо.

Google Pub/Sub

Калиди фармоиш фармоишро дар дохили калид медиҳад; дар ҳолати хатогиҳо, нашр то барқарор карда мешавад - эҳтиёт бошед.

7) Намунаҳои нигоҳдорӣ ва барқароркунии тартибот

7. 1 Пайдарпаӣ/версия

• танҳо як ҳодиса мегирад, агар 'seq = last_seq + 1';
• вагарна - буфери интизориро пеш аз омадани гумшуда мегузорад ('last _ seq + 1').

pseudo if seq == last+1: apply(); last++
else if seq > last+1: buffer[seq] = ev else: skip // дубль/повтор

7. 2 Буферҳо ва тирезаҳо (коркарди ҷараён)

Равзанаи вақт + аломати обӣ: мо фармоишро дар дохили тиреза қабул мекунем, мувофиқи нишони обӣ мо тирезаро "пӯшем" ва онро тартиб медиҳем.
Мӯҳлати иҷозатдодашуда: канал барои дер омадан (ҷуброн кардан/нодида гирифтан).

7. 3 Масири часпанда аз рӯи калид

Масири hash (калид)% shards ҳамаи рӯйдодҳои калидиро ба як коргар мефиристад.
Дар Кубернетес - на дар тавозуни L4 HTTP, дар сатҳи навбат/sherds сеанс (часпанда) нигоҳ доред.

7. 4 Актер-модел/" як ҷараён барои як калид"

Барои агрегатҳои интиқодӣ (ҳамён): актёр пайдарпай коркард мешавад, боқимонда параллелизм - шумораи актёрон.

7. 5 Idempotence + фармоиш

Ҳатто бо барқарор кардани тартибот, такрориҳо имконпазиранд. UPSERT-ро бо версияи калидӣ + ва паёмдони нав якҷоя кунед (нигаред ба маҳз як маротиба против At-ҳадди аққал як маротиба).

8) Кор бо паёмҳои "заҳролуд" (доруи заҳрнок)

Нигоҳ доштани тартибот бо вазифа дучор мешавад: "чӣ гуна бояд зиндагӣ кард, агар як паём коркард нашавад?"

Тартиби қатъӣ: бастани ҷараёни калидӣ (SQS FIFO: тамоми гурӯҳ). Ҳалли ин DLQ-калид аст: мо танҳо калиди мушкилот/гурӯҳро ба навбат/таҳлили дастӣ интиқол медиҳем.
Тартиби тағйирпазир: мо ба партофтан/ҷуброн иҷозат медиҳем; мо ворид мешавем ва идома медиҳем (на барои агрегатҳои молиявӣ/интиқодӣ).
Сиёсати бозгашт: маҳдудияти 'макс-таслим' + бозгашт + эффектҳои авидемпотентӣ.

9) Системаҳои бисёрҷониба ва ҷаҳонӣ

Пайвастшавӣ/такрори кластер (Кафка) тартиботи байниминтақавии ҷаҳонро кафолат намедиҳад. Ба фармоиши ҳар як калид ва хунхобии аблаҳона афзалият диҳед.
Барои фармоиши воқеан глобалӣ, секвенсерро истифода баред (сабти марказӣ), аммо ин ба мавҷудият таъсир мерасонад (CAP: минуси А барои танаффуси шабака).
Алтернатива: тартиби сабабӣ + CRDT барои баъзе соҳаҳо (ҳисобкунакҳо, маҷмӯаҳо) - тартиби қатъӣ лозим нест.

10) Риояи тартибот

Метрикӣ: 'out _ of _ order _ total', 'reordered _ in _ window _ total', 'late _ events _ total', 'buffer _ size _ current', 'blocked _ keys _ total', 'fifo _ group _ backlog'.

11) Анти-намунаҳо

Як навбат + бисёре аз истеъмолкунандагон бидуни тағир додани калид - фармоиш фавран вайрон мешавад.
Retrai тавассути дубора оммавӣ дар як навбат бидуни номутаносибӣ - дучанд + фармоишӣ.
Тартиби глобалии "танҳо дар сурати" таркиши ниҳонӣ ва арзиш бидуни манфиати воқеӣ аст.
SQS FIFO як гурӯҳ барои ҳама - сарвари комил. Ҳар як калид Message- ро истифода баред.
Нодида гирифтани "калидҳои гарм" - як "ҳамён" ҳама чизро суст мекунад; то ҳадди имкон калидро ба зергурӯҳҳо тақсим кунед.
Омезиши ҷараёнҳои интиқодӣ ва оммавӣ дар як навбат/гурӯҳ - таъсири мутақобила ва аз даст додани тартибот.

12) Рӯйхати санҷиши амалисозӣ

• Барои як калид/як қисм/сабабҳо/глобалӣ?
• Тарҳрезии калиди калидӣ ва стратегияи калиди зидди гарм.
• Роутер танзим карда шудааст: тақсимот/Калиди Message/Groupи Id/фармоиш.
• Консолҳо бо калидҳо ҷудо карда шудаанд (масир-часпак, коргарони шард).
• Idempotency ва/ё Inbox/UPSERT оид ба хунхобӣ дохил карда мешаванд.
• Пайдарпаӣ/версияи татбиқшуда ва буфери фармоишӣ (агар лозим бошад).
• DLQ аз рӯи сиёсати асосӣ ва бозгашти бозгашт.
• Ченакҳои фармоишӣ, , тартибот ва ҳушёрӣ.
• Рӯзи бозӣ: мувозинат, аз даст додани гиреҳ, паёми заҳролуд, таъхири шабака.
• Ҳуҷҷатгузорӣ: инвариантҳои фармоишӣ, ҳудуди тиреза, таъсир ба SLA.

13) Намунаҳои конфигуратсия

13. 1 Истеъмолкунандаи Кафка (кам кардани вайронкунии тартибот)

properties max.poll.records=500 enable.auto.commit=false  # коммит после успешной обработки батча isolation.level=read_committed

13. 2 Харгӯш (фармоиш аз рӯи нархи мувофиқат)

Як истеъмолкунанда дар як навбат + 'асосӣ. qos (prefetch = 1) '

bash rabbitmq-plugins enable rabbitmq_consistent_hash_exchange публикуем с хедером/ключом для консистентного хеша

13. 3 SQS FIFO

Таъғири калид Мувофиқат = шумораи гурӯҳҳо.
Ахборот дар бораи нусхабардорӣ (дар равзанаи провайдер).

13. 4 NATS JET Stream (фармоишгари фармоишӣ, эскиз)

bash nats consumer add ORDERS ORD-KEY-42 --filter "orders.42.>" --deliver pull \
--ack explicit --max-deliver 6

калид> Мониторинги 'sequence' ва фармоиши буферӣ дар барнома.

14) FAQ

Савол: Оё ба ман фармоиши глобалӣ лозим аст?
A: Қариб ҳеҷ гоҳ. Қариб ҳамеша барои як калид кофӣ аст. Тартиби ҷаҳонӣ гарон аст ва ба дастрасӣ халал мерасонад.

Савол: Дар бораи паёми "заҳролуд" бо тартиби қатъӣ чӣ гуфтан мумкин аст?
A: Танҳо калид/гурӯҳи худро ба DLQ интиқол диҳед, боқимонда - идома диҳед.

Савол: Оё шумо метавонед ҳамзамон фармоиш ва миқёс гиред?
A: Бале, фармоиши калидӣ + бисёр калидҳо/қисмҳо + амалиётҳои номатлуб ва дар ҳолати зарурӣ фармоиш додани буферҳо.

Савол: Кадом муҳимтар аст: фармоиш ё маҳз як бор?
A: Барои аксари доменҳо - фармоиши калидӣ + эффектҳои якбора самаранок (idempotency/UPSERT). Нақлиёт метавонад ҳадди аққал як маротиба бошад.

15) Натиҷаҳо

Фармоиш кафолати маҳаллӣ дар атрофи калиди тиҷорат аст, на интизоми гаронбаҳои ҷаҳонӣ. Калидҳои тарроҳӣ ва ҳизбҳо, калидҳои гармро маҳдуд кунед, idempotence ва дар ҳолати зарурӣ пайдарпаӣ + буфери фармоиширо истифода баред. Аз ченакҳои фармоишӣ ва басташудаи калидҳо, садамаҳои санҷишӣ эҳтиёт шавед - ва шумо коркарди пешгӯишавандаро бидуни қурбонӣ ё дастрасӣ ба даст меоред.