Tapşırıqların orkestri

1) Niyə orkestr

• MTTR və «əl rutini» azaltmaq;
• SLA və tənzimləmə müddətinin yerinə yetirilməsi;
• tenantlar və regionlar arasında gücün ədalətli bölüşdürülməsi;
• status və məsuliyyət şəffaflığı (RACI).

2) Prinsiplər

Orchestrate the critical, choreograph the rest. Kritik zəncirlər (ödənişlər, nəticələr, settl) - mərkəzləşdirilmiş orkestrator altında; ikincili - hadisə (pub/sub).
SLA-first. Hər bir vəzifənin prioriteti, SLO, son tarix və eskalasiya strategiyası var.
İdempotentlik və at-least-once. Hər hansı bir hərəkət yan təsirləri olmadan təkrarlanır.
BD geri qaytarılması əvəzinə kompensasiya. Xarici effektlər üçün dastanlar.
Fair-share və izolyasiya. Kvotalar per-tenant/region/sinif tapşırıqları, «yanma» qorunması.
Policy-as-Code. Marşrutlaşdırma, retraj, tolerantlıq qaydaları - version siyasətlər.
Müşahidə by design. Metrik/treys/logi hər addımda.

3) Orkestr domen modeli

Task (atom işi) → Activity (proses addımı) → Process/Workflow (keçici zəncir).
Vəzifə vəziyyətləri: 'queued → leased → running → (succeeded | failed | timed_out | cancelled) → archived'.
Açar atributlar: 'priority', 'deadline', 'tenant', 'region', 'cost _ class', 'risk _ class', 'idempotency _ key'.

4) Memarlıq

Orkestrator: proseslər qrafiki, növbələr, zamanlayıcılar, müddətlər, RACI, marşrutlaşdırma saxlayır.
Vorkers (executors): stateless, domen növbəsində abunə (Payments/KYC/Games/Infra). Lease-model + heartbeat.
Hadisə Şlyuz: xarici sistemlərlə zəmanətli inteqrasiya üçün outbox/inbox.
State Storage: Proses jurnalı (audit üçün WORM/immutable hissələri).
Siyasət kataloqu: prioritetləşdirmə, kvotalar, retralar, geri çəkilmələr, SoD.

5) Növbələr, prioritetlər və planlaşdırıcı

• A (Real-time): depozitlər/dərəcələr/settly - p95 saniyəlik gecikmələr, ayrı-ayrı növbələr və hovuzlar.
• B (Operational): KYC, provayderlərə hesabatlar - dəqiqə.
• C (Batch/Analytics): aqreqasiya/ixrac - saat.
• Planlayıcı: priority + deadline ilə multi-queue; alqoritmlər: priority + EDF, weighted fair-share per-tenant/region.
• Work-stealing: hovuzlar eyni QoS sinfi daxilində qonşu növbələrdən tapşırıqları «oğurlayır».
• Son tarixlər: gecikmə riski ilə → prioritet və ya degrade filialının artırılması.

6) Zəmanət və sabitlik

At-least-once + idempotentlik. 'idempotency _ key' (biznes açarı) və nəticənin fiksasiyası.
Retriable by policy: eksponensial backoff + jitter; cəhdlərin büdcəsi; xarici asılılıq circuit-breaker.
Timeouts: 'task _ timeout <SLA_step',' process _ deadline <tənzimləyici '.
DLQ: «zəhərli» vəzifələr üçün ayrı-ayrı növbələr; tam kontekstlə əl təhlili.
Kompensasiya (saga): Hər «güclü» əməliyyat üçün müəyyən edilmişdir (capture/refund, ledger_post/revert və s.).

7) Backpressure və platforma qorunması

Kvotalar və limitlər: per-tenant/region/tapşırıq növü (QPS, concurrent, memory/CPU).
Admission control: hovuzu doldurarkən aşağı prioritet uğursuzluq/defer.
Shedding: ümumi saxta əvəzinə yükün yumşaq azaldılması (partial results, degrade-fich).
Rate-limits: giriş, provayder (PSP/KYC), bank/BIN.
Histeresis: açma/söndürmə flap qarşısını alır.

8) Multi-region və arıza müqaviməti

Trafikin lokallaşdırılması: orkestrator prosesləri məlumat/provayderlərə daha yaxın saxlayır.
Cross-regional Feylover: yalnız idempotent addımlar və quorum yoxlamalarından sonra.
State Storage: RPO/RTO hədəfləri ilə replikasiya; write-fence vs split-brain.
Hadisələrin regional təcrid edilməsi: «stop the bleed» - təsirlənmiş bölgədə yeni vəzifələrin dayandırılması, mövcud olanların təhlükəsiz filiallara tökülməsi.

9) Human-in-the-loop и RACI

Human-tasks: çek siyahısı, SLA, əlavələrlə daxili addımlar.
SoD/4-eyes: həssas hərəkətlərə uyğun olmayan rollar (nəticələr, bonus limitləri, PSP-marşrutlaşdırma).
Eskalasiyalar: «nudge → reassign → L2/L3 → IC» zamanlayıcıları.
Audit: kim/nə/nə vaxt/nə üçün, bilet/siyasətə keçid.

10) Kod kimi siyasət (Policy-as-Code)

• PSP marşrutu: 'route = PSP2 if PSP1. health < SLO && tenant in {A,B} && within_quota(PSP2)`
• Priority: 'priority = P1 if deadline <10m & process in {withdrawal, payout}'
• PII ixrac bloku: 'deny if export. rate > baselineK &&!ticket && data_class=PII`

Siyasətçilər adi kod kimi versiyalaşdırılır, sınaqdan keçirilir, review olunur.

11) Müşahidə

SLI prosesi: uğurlu tamamlanma payı, p95/p99 müddəti, gecikmə faizi.
SLI növbələri: vəzifələrin yaşı, throughput, admission, DLQ-rate imtina.
Treys: Hər addımda yatırılır ('trace _ id' korrelyasiyası ödəniş/bahis/KUS ilə).
Log: strukturlaşdırılmış, PII olmadan; retrai/time-out/kompensasiya səbəbləri.
Daşbordlar: Exec (SLA/Gecikmiş/Dəyər), Ops (lag/reties/DLQ), Domain (PSP filialları, KYC SLA).
Alertlər: burn-rate müddəti, DLQ artımı, addım vaxtının artması, «isti» növbələr.

12) Dəyəri (FinOps orkestri)

KPI: $/proses, $/tapşırıq, $/retray, $/min SLA pozuntuları.
Optimallaşdırma: Class-C üçün batch, siqnalların yığılması, uzun jurnalların downsampling, «uzun» proseslərin limitləri.
Show/charge back: tenant onun izini görür (növbələr/saxlama/retrai).

13) Təhlükəsizlik və uyğunluq

ABAC/RBAC: rollar/tenant/region/mühit proseslərinə giriş.
JIT/PAM: əl addımları üçün müvəqqəti artımlar.
Webhook/mTLS imzası: hadisənin bütövlüyü.
WORM-audit: dəyişməz jurnallar; PII üçün TTL/maskalama siyasəti.
SoD: bir şəxsdə «təşəbbüs → təsdiq → keçirmək» kombinasiyasını qadağan edir.

14) Tipik orkestrlərin kataloqu (iGaming)

1. Депозит: `init → 3DS/auth → capture → ledger_post → bonus_credit → notify`.

Kompensasiya: 'ledger _ revert, refund_capture'.
Siyasətlər: auth-success düşdükdə PSP-nin yenidən bölüşdürülməsi.

2. Вывод: `request → risk_score → 4-eyes approve → payout → registry → notify`.

SLA eskalasiyası, velocity-anomaliyalar üçün blok.

3. KYC/AML: `collect → providerA → (fallback providerB) → manual review → finalize`.

Tənzimləyicilərin müddəti; DLQ scan səhvləri üçün.

4. Bahis/settl: 'reserve → fix_odds → confirm → settle → payout'.

lag növbələri ilə Degrade-filial (ikincil fich məhdudlaşdırılması).

5. Инцидент: `detect → classify (P1–P4) → war-room → actions → close → post-mortem`.

15) Şablonlar (fraqmentlər)

yaml id: payments. capture qos: A priority: P1 deadline: 2m timeout: 2s retry:
strategy: exponential_jitter max_attempts: 5 idempotency_key: ${payment_id}
saga:
compensate: payments. refund_capture

yaml rule: "priority-escalation"
if:  "deadline < 5m && qos == 'A'"
then: "priority = P1"

yaml id: withdrawal. approval type: human sod: true approvers: [Risk, Finance]
sla: 2h on_timeout: escalate:L2

16) Əməliyyat prosesləri

Release-gates: Qırmızı SLI növbələri/prosesləri ilə təhlükəli buraxılışlar bloku.
Tabletop/chaos-günlər: PSP/replikalar/növbələr; retraj/kompensasiya yoxlama.
Rüblük review: eşik, kvota, qiymət, DLQ trendləri, SoD istisnaları.

17) Tətbiqi yol xəritəsi (8-12 həftə)

Ned. 1-2: zəncirlərin inventarlaşdırılması (depozit/çıxarış/KUS/settl), SLA məqsədləri, QoS sinifləri, prioritet və kvota matrisi.
Ned. 3-4: orkestrator + növbələr, «Depozit/Çıxış» proseslərinin MVP, idempotent emalçıları, DLQ, əsas retraj/zaman-aut siyasətləri.
Ned. 5-6: dastanlar və kompensasiyalar, human-tasks (4-eyes), fair-share per-tenant, daşbordlar və SLI növbələri.
Ned. 7-8: multi-region (lokalizasiya/feylover), release-gates, alertlər (burn-rate), FinOps paneli.
Ned. 9-10: kataloqun genişləndirilməsi (KUS/bonuslar/hadisələr), kat. siyasətçi (PSP-routing/PII-ixrac), WORM auditi.
Ned. 11-12: chaos-təlimlər, dəyər optimallaşdırılması, RACI/SoD qaydaları, on-call təlim.

18) KPI/KRI orkestri

SLA prosesləri (vaxtında yerinə yetirilməsi), p95/p99 müddəti.
Domen/tenant üzrə gecikmələr və onların payı.
Retried/Task ratio, DLQ-rate, Compensation-rate.
Fair-share riayət (tenant «aclıq» deyil).
Dəyəri: $/proses, $/tapşırıq, $/retraj.
Orkestrə görə insidentlər (flappinq, dedloklar, növbələrin həddindən artıq yüklənməsi).

19) Antipattern

QoS sinifləri olmadan bir «universal» prioritet.
İdempotentlik olmadan retrailer → ödənişlər dubli.
Xarici uğursuzluqlar → uçqun zamanı Həyati işçilərin restartları.
Heç bir kvota per-tenant/region → qonşu bütün hovuzu «yedi».
Uzun addımlar time-auts/deadline → asma proseslər.
Saqın olmaması → əl «həll» və maliyyə riskləri.
Boş jurnallar/heç bir yol → düzgün sübut deyil.

Yekun

Tapşırıqların orkestrasiyası idarə olunan proses fabrikidir: QoS və prioritetlər üzrə düzgün seqmentasiya, çatdırılma zəmanəti və idempotentlik, kompensasiya və müddətlər, tenant/regionların ədalətli izolyasiyası, üstəlik, dizaynın bir hissəsi kimi müşahidə və təhlükəsizlik. Bu kontur proqnozlaşdırıla bilən əməliyyatları, provayderlərin uğursuzluqlarına qarşı müqaviməti və «əl» mikro menecmentinin qiyməti olmadan tənzimləyicilərin tələblərinə uyğunluğu təmin edir.