Vazifalarni orkestrlash

1) Nima uchun orkestr

• MTTR va «qo’l tartibi» ni kamaytirish;
• SLA va tartibga solish muddatlarini bajarish;
• tenantlar va hududlar o’rtasida quvvatlarni adolatli taqsimlash;
• maqom va javobgarlikning shaffofligi (RACI).

2) Qonunning

Orchestrate the critical, choreograph the rest. Tanqidiy zanjirlar (to’lovlar, xulosalar, settl) - markazlashtirilgan orkestrator ostida; ikkilamchi - hodisa (pub/sub).
SLA-first. Har bir vazifaning ustuvorligi, SLO, muddati va eskalatsiya strategiyasi bor.
Idempotentlik va at-least-once. Har qanday harakat nojo’ya ta’sirlarsiz takrorlanadi.
DB qaytarish o’rniga kompensatsiyalar. Tashqi effektlar uchun dostonlar.
Fair-share va izolyatsiya. Kvotalar per-tenant/mintaqa/vazifalar klassi, «yonish» dan himoya qilish.
Policy-as-Code. Yo’naltirish, retraylar, ruxsatnomalar qoidalari - versiyalashtiriladigan siyosat.
by design koʻrinishi. Har qadamdagi metriklar/treyslar/loglar.

3) Orkestr domenining modeli

Task (atom ishi) → Activity (jarayon bosqichi) → Process/Workflow (uzluksiz zanjir).
Vazifa holatlari:’queued → leased → running → (succeeded | failed | timed_out | cancelled) → archived’.
Asosiy atributlar:’priority’,’deadline’,’tenant’,’region’,’cost _ class’,’risk _ class’,’idempotency _ key’.

4) Arxitektura

Orkestrator: jarayonlar grafigi, navbatlar, taymerlar, muddatlar, RACI, yo’nalishlarni saqlaydi.
executors: stateless, domen navbatiga obuna (Payments/KYC/Games/Infra). Lease-model + heartbeat.
Hodisa shlyuzi: tashqi tizimlar bilan kafolatlangan integratsiya uchun outbox/inbox.
Holat ombori: jarayonlar jurnali (audit uchun WORM/immutable qismlar).
Siyosatlar katalogi: ustuvorlik, kvotalar, retralar, qaytishlar, SoD.

5) Navbatlar, ustuvorliklar va rejalashtiruvchi

• A (Real-time): depozitlar/stavkalar/settla - p95 sekundlik kechikishlar, alohida navbatlar va pullar.
• B (Operational): KYC, provayderlarga hisobotlar - daqiqa.
• C (Batch/Analytics): agregatsiyalar/eksportlar - soatlar.
• Rejalashtiruvchi: priority + deadline bilan multi-queue; algoritmlar: priority + EDF, weighted fair-share per-tenant/region.
• Work-stealing: Bajaruvchi pullar QoS sinfining ichidagi qo’shni navbatlardagi vazifalarni «o’g’irlashadi».
• Muddatlar: kechikish xavfi bo’lganda → ustuvorlikni oshirish yoki degrade-filial.

6) Kafolatlar va barqarorlik

At-least-once + idempotentlik.’idempotency _ key’(biznes-kalit) va natijani qayd etish.
Retriable by policy: eksponensial backoff + jitter; urinishlar budjeti; tashqi qaramliklarga circuit-breaker.
Timeouts:’task _ timeout <SLA_step',’process _ deadline <regulyator’.
DLQ: «zaharli» vazifalar uchun alohida navbatlar; to’liq kontekstda qo’lda tahlil qilish.
Kompensatsiyalar (saga): har bir «kuchli» operatsiya uchun aniqlangan (capture/refund, ledger_post/revert va boshqalar).

7) Backpressure va platformani himoya qilish

Kvotalar va limitlar: per-tenant/region/vazifa turi (QPS, concurrent, memory/CPU).
Admission control: pulni to’ldirishda past prioritetli defer/nuqta.
Shedding: umumiy feyl o’rniga yukni yumshoq kamaytirish (partial results, degrade-fichi).
Rate-limits: kirish, provayder (PSP/KYC), bank/BIN.
Gisterezis: ishga tushirish/o’chirishning flappingini oldini oladi.

8) Ko’p mintaqa va nosozlikka chidamlilik

Trafikni mahalliylashtirish: orkestrator jarayonlarni maʼlumotlar/provayderlarga yaqinlashtiradi.
Kross-mintaqaviy feylover: faqat idempotent qadamlar uchun va quorum-tekshiruvlardan keyin.
Storaj holati: RPO/RTO maqsadlari bilan replikatsiya qilish; write-fence vs split-brain.
Hodisalarni hududiy izolyatsiya qilish: «stop the bleed» - zararlangan hududda yangi vazifalarni to’xtatish, mavjudlarini xavfsiz shoxlarga quyish.

9) Human-in-the-loop и RACI

Human-tasks: chek varaqasi, SLA, ilovalar bilan oʻrnatilgan qadamlar.
SoD/4-eyes: sezgir harakatlarga mos kelmaydigan rollar (xulosalar, bonuslar limitlari, PSP-routing).
Eskalatsiyalar: «nudge → reassign → L2/L3 → IC» taymeri.
Audit: kim/nima/qachon/nima uchun, chipta/siyosatga havola.

10) Kod sifatida siyosatlar (Policy-as-Code)

• PSP yoʻnalishi:’route = PSP2 if PSP1. health < SLO && tenant in {A,B} && within_quota(PSP2)`
• Ustuvorlikni oshirish:’priority = P1 if deadline <10m & & process in {withdrawal, payout} ’
• PII eksport bloki:’deny if export. rate > baselineK &&!ticket && data_class=PII`

Siyosatchilar oddiy kod sifatida versiyalashtiriladi, sinovdan o’tkaziladi, revyuerlanadi.

11) Kuzatish

Jarayonning SLI: muvaffaqiyatli yakunlanishlar ulushi, p95/p99 davomiyligi, kechikishlar foizi.
SLI navbatlar: vazifalar yoshi, throughput, admission rad etish, DLQ-rate.
Treyslar: har qadamda span (to’lov/stavka/KS bilan’trace _ id’korrelyatsiyasi).
Logi: strukturalangan, PIIsiz; retray/taym-autlar/kompensatsiyalar sabablari.
Dashbordlar: Exec (SLA/kechikishlar/qiymat), Ops (lag/reties/DLQ), Domain (PSP-filiallar, KYC SLA).
Alertlar: burn-rate muddatlari, DLQ ko’payishi, qadam vaqtining o’sishi, «issiq» navbatlar.

12) Qiymati (orkestr FinOps)

KPI: $/jarayon, $/vazifa, $/retray, $/min SLA buzilishi.
Optimallashtirish: Class-C uchun batch, signallarni agregatsiya qilish, uzun jurnallarni downsampling, «uzoq» jarayonlar uchun limitlar.
Shou/charj-bek: tenant o’z izini ko’radi (navbatlar/saqlash/retralar).

13) Xavfsizlik va komplayens

ABAC/RBAC: rollar/tenant/mintaqa/atrof-muhit jarayonlariga kirish.
JIT/PAM: qo’l qadamlari uchun vaqtinchalik oshirishlar.
Vebxuk/mTLS imzosi: voqeaning yaxlitligi.
WORM-audit: almashtirilmaydigan jurnallar; PII uchun TTL/niqoblash siyosati.
SoD: «tashabbus qilish → ma’qullash → o’tkazish» ni bir shaxsda birlashtirishni taqiqlash.

14) Namunaviy orkestrlar katalogi (iGaming)

1. Депозит: `init → 3DS/auth → capture → ledger_post → bonus_credit → notify`.

Kompensatsiyalar:’ledger _ revert, refund_capture'.
Siyosatlar: auth-success tushganda PSPni qayta taqsimlash.

2. Вывод: `request → risk_score → 4-eyes approve → payout → registry → notify`.

SLA bo’yicha eskalatsiyalar, velocity-anomaliyalarda blok.

3. KYC/AML: `collect → providerA → (fallback providerB) → manual review → finalize`.

Regulyatorlarning muddatlari; Skan xatolari uchun DLQ.

4. Stavka/settl:’reserve → fix_odds → confirm → settle → payout’.

lag navbatlarida degrade-shoxcha (ikkilamchi fich chegarasi).

5. Инцидент: `detect → classify (P1–P4) → war-room → actions → close → post-mortem`.

15) Shablonlar (parchalar)

yaml id: payments. capture qos: A priority: P1 deadline: 2m timeout: 2s retry:
strategy: exponential_jitter max_attempts: 5 idempotency_key: ${payment_id}
saga:
compensate: payments. refund_capture

yaml rule: "priority-escalation"
if:  "deadline < 5m && qos == 'A'"
then: "priority = P1"

yaml id: withdrawal. approval type: human sod: true approvers: [Risk, Finance]
sla: 2h on_timeout: escalate:L2

16) Foydalanish jarayonlari

Release-gates: qizil SLI navbatlari/jarayonlarida xavfli relizlar bloki.
Tabletop/chaos-kunlar: PSP/replikalar/navbatlarni uzib qo’yish; retray/kompensatsiyalarni tekshirish.
Choraklik review: chegara, kvota, qiymat, DLQ-trendlar, SoD-istisnolar.

17) Joriy etish yo’l xaritasi (8-12 hafta)

Ned. 1-2: zanjirlarni inventarizatsiya qilish (depozit/chiqish/KS/settl), SLA maqsadlari, QoS klasslari, ustuvorliklar va kvotalar matritsasi.
Ned. 3-4: orkestrator + navbatlar, «Depozit/Chiqish» MVP jarayonlari, idempotent qayta ishlovchilar, DLQ, retraj/taym-autlarning bazaviy siyosati.
Ned. 5-6: sage va kompensatsiyalar, human-tasks (4-eyes), fair-share per-tenant, dashbordlar va SLI navbatlar.
Ned. 7-8: ko’p mintaqa (lokalizatsiya/feylover), release-gates, alertlar (burn-rate dollinlar), FinOps-panel.
Ned. 9-10: katalogni kengaytirish (KOS/bonuslar/hodisalar), qat. siyosatchi (PSP-routing/PII-eksport), WORM auditi.
Ned. 11-12: chaos-mashqlar, qiymatni optimallashtirish, RACI/SoD reglamentlari, on-call o’qitish.

18) KPI/KRI orkestri

SLA jarayonlari (oʻz vaqtida bajarish), p95/p99 davomiyligi.
Domen/tenantlar bo’yicha kechikishlar va ularning ulushi.
Retried/Task ratio, DLQ-rate, Compensation-rate.
Fair-share (tenant «och qolmaydi»).
Qiymati: $/jarayon, $/vazifa, $/retray.
Orkestr tufayli sodir bo’lgan hodisalar (flapping, dedloklar, navbatlarning ortiqcha yuklanishi).

19) Antipatternlar

QoS sinflarisiz bitta «universal» ustuvorlik.
Retrai bez idempotentlik → dubli to’lovlar.
Tashqi nosozliklar/qor ko’chkisidagi vorkerlarning hayotiy restartlari.
Hech qanday per-tenant/mintaqa kvotasi yo’q → qo’shni butun pulni «yedi».
Vaqt/muddatsiz qadamlar → osilgan jarayonlar.
Saqning yo’qligi → qo’lda «sozlash» va moliyaviy xavflar.
Boʻsh jurnallar/yo’q trassalar → to’g’ri ekanligini isbotlay olmaydi.

Jami

Vazifalarni orkestrlash - QoS va ustuvorliklar bo’yicha to’g "ri segmentatsiya, yetkazib berish kafolatlari va idempotentlik, kompensatsiya va muddatlar, tenant/mintaqalarni adolatli izolyatsiya qilish, shuningdek, kuzatuv va xavfsizlik dizaynning bir qismi sifatida boshqariladigan jarayonlar fabrikasidir. Bunday kontur prognoz qilinadigan operatsiyalarni, provayderlarning uzilishlariga chidamliligini va «qo’lda» mikromedjment narxisiz regulyatorlar talablariga muvofiqligini ta’minlaydi.