DLQ ва коркарди паёми заҳр

Dead Letter Queue (DLQ) навбати ҷудогона/мавзӯъ барои паёмҳое мебошад, ки пас аз як қатор кӯшишҳо ё бо сабабҳои маълуми техникӣ/тиҷорӣ аз ҷониби истеъмолкунандаи муқаррарӣ коркард карда намешавад (нақшаи беэътибор, танаффус, муноқишаи версия ва ғайра). Паёми заҳр - сабтест, ки коркарди он пайваста ноком мешавад ва ба устувории лӯла таҳдид мекунад.

Ҳадафи DLQ нигоҳ доштани SLO, маҳаллисозии нокомӣ, пешгирии бастани ҷараёни асосӣ ва кафолати имконияти таҳлил ва такрори бехатар (redrave) мебошад.

1) Паёмҳои заҳролуд аз куҷо пайдо мешаванд

Схемаҳо/шартномаҳо: тағиротҳои номувофиқ, набудани майдонҳои зарурӣ, намудҳои нодуруст.
Тасдиқи тиҷорат: нусхабардорӣ, инвариантҳои вайроншуда, рӯйдодҳои гузашта.
Фармоиш ва сабабҳо: "Навсозӣ" ба "Эҷод", робитаҳои гумшуда, фармоишӣ.
Идемпотенсия: коркард таъсири тарафро ба вуҷуд меорад.
Вобастагиҳои беруна: маҳдудиятҳо/таъхирҳои маҳдуд, дастнорасии API.
Маълумот: коррупсияи сарборӣ, рамзгузории нодуруст, аз ҳад зиёд.

2) Меъёрҳои пешниҳоди DLQ

• Аз ҳадди аксар кӯшиши коркард дар истеъмолкунанда/коргар.
• Хатогӣ ҳамчун бознишаста тасниф карда мешавад: нақшаи беэътибор, набудани манбаи муҳим, манъи тиҷорат.
• Мӯҳлати ниҳоӣ (TTL/анҷомёбӣ) ба охир расид.
• Сиёсати вайронкунанда ё назорати қабул барои ин калид/иҷорагир оғоз карда шуд.
• Ҳалли дақиқи оператор (дастури "баровардан" аз риштаи асосӣ).

3) Топологияҳо ва намунаҳои DLQ

DLQ-и навбатӣ: ҳар як навбат/мавзӯъ DLQ-и худро дорад. Оддӣ ва шаффоф.
DLQ марказӣ (таваққуфгоҳ): "таваққуфгоҳи умумӣ" барои парвандаҳои мураккаб, барои воситаҳои ягонаи таҳлил қулай аст.
DLT (Dead Letter Topic): барои автобусҳои ба рӯйхат нигаронидашуда (сабти рӯйдодҳо) - мавзӯи алоҳида бо метамаълумоти сабаби нокомӣ.
Карантин: буфери карантин бо дастрасии сахт ва санитарияи PII барои таҳлили дастӣ.
Сояи ҷараён: Такрори паёмҳои мушкилот ба "соя" барои таҷрибаҳои боэътимоди собит.

4) Метамаълумот барои ҳамроҳӣ кардани DLQ лозим аст

• Сабаби нокомӣ: рамзи хатогӣ/синф, id/trace id.
• Контекстро бозпас гиред: 'кӯшиш', 'максимум', 'first _ seen _ ts', 'last _ trup _ ts'.
• Таносуб: 'trace _ id', 'span _ id', 'иҷорагир _ ид', 'субъекти _ ид', калиди тақсимот.
• Ҷуброн/қисм/пайдарпаии аслӣ (барои автобусҳои сабти ном) ё id-id.
• Шартнома/схема/нусхаи сарборӣ.
• Idempotency-key/Дархост-id (агар бошад).
• Манбаи масир: ном/мавзӯи навбатӣ, гурӯҳи истеъмолкунандагон.

5) Сиёсати бозпас пеш аз DLQ

• Рефератҳои кӯтоҳи истеъмолкунандагон: 'Макс' 2-5, бозгашти экспоненсиалӣ + ҷиттер, ҳадди ақалли мувофиқат.
• Бозгашти кооперативӣ: Коҳиш додани рақобат бо афзоиши хатогиҳо.
• Таснифи хатогӣ: бозхаридшаванда ('5xx', вақтхушӣ) vs ғайри қобили қабул (санҷиш, номувофиқатии схема).
• Навбат ба таъхир меафтад: 5s → 30s → 2m барои хатогиҳои муваққатӣ.
• Ҷудокунии калидӣ: агар калиди мушаххас "ғавғо" бошад, тамоми ҳизбро манъ накунед.

6) Redrive бехатар (Redelivery аз DLQ)

Redrive бозгашти назоратшавандаи паёмҳо аз DLQ ба коркард мебошад.

1. Санҷишро ислоҳ кунед: танҳо пас аз ислоҳи рамз/конфигуратсия/схема ё пас аз барқарор кардани вобастагии беруна дубора коркард кунед.

2. Idempotency: коркардкунандагон бояд ба такрор тобовар бошанд (амалиётҳои боло, таҳаммулпазир).

3. Такроркунӣ аз ҷониби 'idempotency _ key '/' message _ id '/' business _ key'.

4. Бастабандӣ ва тирезаҳо: маҷмӯаҳо бо паёмҳои N, меъёри маҳдудият аз ҷониби redrive, "тирезаҳо" аз ҷониби вақт/тарафҳо.

5. Тасдиқи маҳаллӣ: тафтиши фаврии схема пеш аз бозсозӣ (рад кардани ҳолатҳои беэътибор пеш аз мӯҳлат).

6. Афзалият: Бозсозӣ набояд трафики фурӯшро иваз кунад (афзалияти пасти коргарон/ҳавзи инфиродӣ).

7. Мушоҳида: ченакҳои инфиродӣ ва роҳҳо барои бозсозӣ; ҳисоботи натиҷа (муваффақият/такрори DLQ/талафот).

7) Семантика ва фармоиш

Ҳадди аққал як маротиба усули маъмултарин аст: idempotence ва deduplication талаб карда мешавад.
Аксар вақт - DLQ метавонад хомӯш карда шавад; хатари талафот. Танҳо вақте ки талафот қобили қабуланд, истифода баред.
Маҳз як маротиба (самаранок): тавассути транзаксияҳо ва такмилдиҳӣ дар нигаҳдории тиҷорат ба даст оварда мешавад; гарон ва мушаххас.
Фармоиш: DLQ одатан фармоишро барои калиди/ҳизби мушаххас вайрон мекунад. Агар фармоиш муҳим бошад, бо калид ва пайдарпай дубора таҳрир кунед.

8) Нақшаҳо, шартномаҳо ва тасдиқкунӣ

Феҳрист/шартномаҳои схема: таҳрири возеҳ, эволютсия бо мутобиқати қафо/пеш.
Санҷиш дар даромадгоҳ: санҷиши арзон тавассути JSON Schema/Protobuf/Avro пеш аз қадамҳои вазнин.
Сиёсати номувофиқатӣ: бо майдони "шикаста" - фавран дар DLQ бо рамзи 'SCHEMA _ INCOPPATIBLE'.
Redaction PII: Танҳо он чизеро, ки ба DLQ лозим аст, нигоҳ доред; майдонҳои ҳассоси ниқоб.

9) Idempotency ва deduplication

Калиди Idempotency: шакли истеҳсолкунанда аз "ҳисси бизнес" (иҷорагир + субъект + амалиёт + ts-сатил).
Гузоришҳои Deadup: калидҳои охирини 'N' -ро бо TTL нигоҳ доред; "таъсир" -и амалиётро ба ёд оред.
Upsert/якҷоя кардан: Бе маҳдудият "танҳо-гузоштан" -ро пешгирӣ кунед.
Таъсири иловагӣ: барои зангҳои беруна - сабти ном ва пеш аз занг "такрор" -ро тафтиш кунед.

10) Мушоҳида ва SLO

• Меъёри DLQ (msg/s), таносуби паёмҳо, синну соли миёна/миёна дар DLQ.
• Муваффақияти азнавсозӣ (%), ҳиссаи такрории DLQ.
• Таснифи сабабҳо: схема, санҷиш, вақт, вобастагӣ, номаълум.
• p95/p99 таъхири асосии табобат против дар redrive.
• Андозаи DLQ, хатари аз ҳад зиёд.

• Барчаспҳои талабшаванда 'message _ id', 'entity _ id', 'иҷорагир _ ид', 'кӯшиш', 'сабаб', 'redrive _ batch _ id' мебошанд.
• Пайгирии "филиали DLQ": аз манбаъ то муваффақияти такрорӣ.

• Фоизи паёмҳо бомуваффақият коркард шуданд ≥ X% дар T дақиқа.
• Вақти тафтишот ва ислоҳи парвандаи DLQ ≤ Y соат.
• Максималии "синну сол" -и хабар дар DLQ ≤ Z соат (бо ҳушёрӣ).

11) Бехатарӣ ва риояи

Дастрасии камтарин ба имтиёз: Redrive - танҳо операторҳо/китобҳои бозӣ.
Аудит: кӣ ва вақте ки метамаълумотро аз нав сабт/нест кардан/таҳрир кардан оғоз кард.
Санитария: Ҳангоми интиқол ба DLQ марказӣ, PII/сирри нолозимро хориҷ кунед.
Нигоҳдорӣ: сиёсати алоҳидаи нигоҳдорӣ ва несткунӣ барои DLQ.

12) Иҷораи бисёрсола

Барчаспҳои 'иҷорагир _ id/plan': маҳдудиятҳоро фарқ кунед, афзалиятҳоро тағир диҳед, гузоришҳо.
DLQ ё тарафҳои иҷорагир: ба тавре ки муштарии "ғавғо" DLQ-и умумиро халалдор намекунад.
Ҳисоббаробаркунӣ/квотаҳо: ҳаҷми DLQ ва арзиши такрории истифодаи онро ба назар гиред.

13) Қолибҳои конфигуратсия (мисол)

yaml consumer:
max_attempts: 4 backoff:
strategy: exponential_full_jitter initial_ms: 200 max_ms: 5000 classify_errors:
retryable:  [TIMEOUT, DEP_UNAVAILABLE, 5xx]
nonretryable:[SCHEMA_INCOMPATIBLE, VALIDATION_FAILED, DUPLICATE]
concurrency_caps:
per_partition: 8 per_tenant: 50

dlq:
type: topic name: myapp. events. dlq metadata:
include: [reason, stack, attempt, first_seen_ts, last_attempt_ts, schema_version,
tenant_id, entity_id, trace_id, source_topic, partition, offset]
retention_hours: 168 pii_redaction: true

redrive:
mode: batch batch_size: 500 rate_limit_per_sec: 50 priority: low validate_schema_before_redrive: true idempotency:
dedup_ttl_hours: 24 ordering:
by_key: true

14) Китобҳои амалиётӣ (китобчаҳо)

1. Афзоиши ғайримуқаррарии DLQ: фурӯзон кардани истеъмолкунандаи истеҳсолот, сабабҳои асосиро таҳлил кунед, релизҳо/схемаҳоро тафтиш кунед.
2. Номутобиқатии схема: баргардонидан/содир кардани схема, муҳоҷирати адаптер, пас аз тасдиқи дубора.
3. Вобастагии беруна дастнорас аст: бозомӯзии таваққуф, навбати таъхирро имкон медиҳад, пас аз барқароршавӣ дубора барқарор мешавад.
4. DLQ-ҳои такрорӣ пас аз бозсозӣ: дастаки/симуляторҳои "соя" -ро фаъол созед, idempotency, партияи тангро санҷед.
5. Аз ҳад зиёд DLQ: эвакуатсия ба бойгонӣ-нигоҳдорӣ, имкон медиҳад, ки тугмаҳо/сабабҳо аз нав интихоб карда шаванд.

15) Озмоиш ва бетартибӣ

Тазриқи хатогӣ: танаффуси схема, санҷиш, танаффус, 1-on-N хатогиҳои часпанда.

Таҷдиди оммавӣ: санҷиши миқдор ва таъсир ба истеҳсолот

Тартиби фармоишӣ: коркарди дурусти калидро таъмин кунед.
Коррупсияи сарборӣ: тасдиқ ва нокомии бехатар.
Барқароршавӣ пас аз суқути коргари redrive: idempotency амалиёти партия.

16) Хатогиҳои маъмулӣ

Набудани метамаълумот дар DLQ → имконнопазир аст, ки сабабҳои кластерӣ ва бехатар тағир дода шаванд.
Азнавбарқароркунии оммавӣ бидуни маҳдудият → таназзули истеҳсолот.
Не idempotency/deduplication → нусхабардорӣ ва таъсири тараф.
Омезиши PII дар DLQ марказӣ бидуни беҳдошт.
Набудани схемаҳо/шартномаҳо → "ногаҳонӣ" дар таҳаввулоти паёмҳо.
Ягона DLQ маъмул бе тақсимоти иҷорагир/калидҳо.
Бозгашти беохир ба ҷои DLQ барвақт барои хатогиҳои такрорнашаванда.

17) Дорухатҳои зуд

Ҷараёни муқаррарии тиҷорат: 3-4 кӯшиши бозгашт бо экспоненсиалӣ бо ҷиттер, таснифи барвақти хатогиҳо, DLQ бо метамаълумоти пурра.
Ҳодисаҳои интиқодӣ (пардохт): idempotence қатъӣ, танаффуси кӯтоҳ, кӯшиши ҳадди аққал, DLQ зуд ва таҳлили дастӣ.
Бозсозии оммавӣ пас аз ислоҳ: партияҳои хурд (100-500), меъёри лимит, ҳавзи алоҳидаи коргарон, муваффақияти мониторинг> 95% пеш аз афзоиши суръат.
Иҷорагир: маҳдудиятҳои такрории ҳар як иҷорагир, ҳисоботи тавлидкунандаи беҳтарини DLQ.

Хулоса

DLQ "қуттии партов" нест, балки ҳалқаи боэътимоди идорашаванда аст. Қоидаҳои возеҳи хит, метамаълумоти бой, номутобиқатӣ ва такрористеҳсолкунӣ, redrive ҳисобкардашуда, интизоми схема ва мушоҳидаҳо паёмҳои заҳролудро аз таҳдид ба SLO ба раванди идорашавандаи муҳандисӣ табдил медиҳанд - бо китобҳои фаҳмо, хароҷоти пешбинишаванда ва таъсири ҳадди аққал ба корбарон.