Relizlarni avtomatik qaytarish

1) Nima uchun avto-orqaga qaytish kerak?

• CFR va MTTRni kamaytiradi;
• SLO (auth-success, p99 «stavka → settl», error-rate) ni himoya qiladi;
• komplayens-hodisalarning (PII/RG/AML) oldini oladi.

2) Qonunning

1. Revert is a feature: reliz dizaynida orqaga qaytish rejalashtirilgan.
2. Policy-as-Code: ostonalar, derazalar, istisnolar - konveyerda validatsiya.
3. Canary-first: zinapoyalar bo’ylab yuviladi, orqaga qaytish - ko’zgu zinapoyalari bo’ylab.
4. Data-safe: migratsiya qaytarish mumkin/jami; konfiglar - versionable.
5. SLO-gates: qizil SLI/guardrails → darhol avtomatik qaytarish.
6. Explainability: taymline, difflar, sabablar - WORM jurnaliga.
7. No single button of doom: cheklovlar, tavakkalchilikni tasdiqlash, SoD.

3) Avto-qaytish triggerlari (signallar)

3. 1 Texnik SLI/KRI

GEO/PSP/BIN bo’yicha auth_success_rate drop (masalan, TRda − 10% ≥ 10 min).
latency p99/error-rate kalit yo’llari (depozit/chiqish/settl).
queue lag / DLQ rate / retry storm.
db replication lag / cache miss surge.

3. 2 Biznes-signallar

deposit_conversion qarshi kanareyada − X p.p.
settle throughput asosiy chiziqqa nisbatan pasayadi.
chargeback/decline spikes (soft/hard).

3. 3 Tanqidiy voqealar

Aktiv A/B da SRM muvaffaqiyatsiz tugadi (trafikni buzish).
security/PII guardrail ishga tushmoqda.
Sxemalar/konfiguratsiyalarning nomuvofiqligi (validator/linter).

4) Qaytariluvchanlikning me’moriy shablonlari

Canary → Ramp → Full: 5% → 25% → 100%; orqaga qaytish - teskari tartibda (100 → 25 → 5 → 0).
Blue-Green: Blue va Green o’rtasidagi atomik trafik o’zgarishi, orqaga qaytish - darhol qaytish.
Feature Flags: xulq-atvor oʻzgarishlari uchun kill-switch (TTL, guardrails, SoD).
Config as Data: GitOps-promotut/qayta promotut oldingi versiyasi; runtime-snapshotlar.

• ikki fazali (expand → contract),
• reversible (down-skriptlar),
• write-shadow (yangi maydonlar takrorlanib yoziladi),
• read-compat (eski kod yangi sxemani tushunadi).

5) Qaytarish siyosati (policy-engine)

• `auto_rollback if auth_success_rate. drop(geo="TR") > 10% for 10m AND coverage>=5%`
• `auto_rollback if bet_settle_p99 > SLO1. 25 for 15m`
• `auto_pause_flag if api_error_rate > 1. 5% for 5m`
• `deny_promote if slo_red in {"auth_success","withdraw_tat_p95"}`
• `require_dual_control if change. affects in {"PSP_ROUTING","PII_EXPORT"}`

Barcha qoidalar versiyalashtiriladi, sinovdan o’tkaziladi va revyudan o’tadi.

6) Avto-orqaga qaytish oqimi (end-to-end)

1. Regressiya detektori ishga tushadi (metrika/alert/validator).
2. Istisnolarni tekshirish (bayram cho’qqilari, test oynalari).

7) Integratsiya

Hodisa-bot: ’/release rollback <id>’, avto-taymlaynlar, dashbordlar va difflarga havolalar.
Metrics API: tayyor SLO-vyu va guardrail-maqomlar; RCA uchun exemplars.
Feature Flags: ’/flag off <id>’, guardrail avtopauzasi.
GitOps/Config: `/config rollback <snapshot>`; drift-detektor natijani tasdiqlaydi.
Status-sahifa: ixtiyoriy ommaviy yangilanishlar (CL/siyosat orqali).

8) Orqaga qaytish kuzatilishi va telemetriyasi

Release Dashboard: auth-success, error-rate, p95/p99, settle throughput, PSP по GEO/BIN.
Guardrail Board: aktiv/ishlaydigan qoidalar, oynalar, histerezis.

Qoplamalar tarixi: % kanareya/bayroqlar/mintaqalar

Audit: kim/nima/qachon/nima uchun; artefaktlar difflari; siyosatning versiyasi; natija.

9) Xavfsizlik, SoD va komplayens

/ PII/RG to’lovlariga ta’sir qiluvchi harakatlar uchun 4-eyes/JIT.
Geo-fences: tartibga solish talablariga taalluqli bo’lgan orqaga qaytishlar mahalliy ravishda qo’llaniladi.
WORM jurnallari: tekshirish uchun oʻzgarmas iz.
Ommaviy komm-paketlar: CL/Legal bilan mos keladi; eksperimentlar tafsilotlari oshkor etilmaydi.

10) Artefaktlar namunalari

10. 1 Avto-qaytish siyosati (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Konfiguratsiyaning orqaga qaytish manifesti

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. Bayroqning 3 Kill-switch

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Ma’lumotlar migratsiyasi bilan ishlash

• Expand: oʻqishni buzmasdan yangi ustunlar/indekslar qoʻshish.
• Migrate: ikki marta yozish/takrorlash, konsistentlikni solishtirish.
• Contract: eskisini olib tashlash + kuzatuv oynasi muvaffaqiyatli chiqarilgandan keyingina amalga oshiriladi.
• Down skriptlari: majburiy; vaqt va blokirovkalarni baholash.
• Shadow-o’qish: eski/yangi yo’l natijalarini taqqoslash (nojo’ya ta’sirlarsiz).
• Contract bekor qilish mezonlari: har qanday guardrail «qizil».

12) Jarayonlar va RACI

Release Manager: konveyer egasi va siyosatchi.
Service Owner: domen qoidalarini tasdiqlaydi, tavakkalchilikni qabul qiladi.
SRE: detektorlar, orqaga qaytish mexanikalari, dashbordlarni amalga oshiradi.
Security/Compliance: SoD, PII/RG-nazorat, audit.
On-call IC/CL: kommunikatsiyalar, maqom sahifasi.
CAB: avto-qaytishlarni post-faktum sharhi, qoidalarga tuzatishlar kiritish.

13) KPI/KRI funksiyalari

Auto-Rollback Rate: avtomatik ravishda qaytgan relizlar ulushi (norma: past, lekin nol emas).
Time-to-Rollback: detekt → qaytish (mediana/p95).
SLO-Breach Avoided: avto-qaytish maqsadlarning buzilishini oldini olgan holatlar.
False Positives: «soxta» qaytishlar ulushi (maqsad - ↓).
CFR avto-qaytarish joriy etilishidan oldin/keyin.
Cost of Rollbacks: qoʻshimcha vaqt, kanareykalar, hisoblash resurslari.
Audit Completeness: toʻliq vaqt oraligʻi va difflar bilan% hodisalar.

14) Joriy etish yo’l xaritasi (6-10 hafta)

Ned. 1-2: kritik metriklar va bazaviy chegaralar katalogi; strategiyalarni tanlash (canary/blue-green/flags); migratsiyalarning qaytariluvchanligini xatlovdan o’tkazish.
Ned. 3-4: detektorlar va policy-engine sotish; hodisa-bot bilan integratsiya qilish; konfiguratsiyalar uchun GitOps-rollback; dashbordlar guardrails.
Ned. 5-6: Payments domenida uchuvchi (auth-success, PSP-routing), tabletop mashqlari; WORM jurnali va hisobotlar.
Ned. 7-8: Games/KYC ga kengaytirish; bayroqlarning avtomatik pauzasi; blue-green bilan DR-mashqlar.
Ned. 9-10: chegaralarni kalibrlash, false positive, FinOps-qiymatni baholash, RACI va o’qitishni rasmiylashtirish.

15) Antipatternlar

«Qaysidir yo’l bilan qaytaylik»: migratsiya rejasi va qaytish imkoniyati yo’qligi.
Bosqichsiz global tezkor faollashtirish/deaktivatsiya.
Kontekstsiz xom metriklar bo’yicha orqaga qaytish (GEO/PSP/BIN stratifikatsiyasi mavjud emas).
Tajribalarda Ignor SRM va peeking.
Histerezis bo’lmagan reliz-alertlar → qaytarmalar flapping.
Git/Auditsiz mahsulotdagi konfiguratsiyalarni qoʻlda tuzatish.
Kuzatuv oynasi oʻtmaguncha eski sxemani olib tashlash.

Jami

Relizlarni avtomatik qaytarish - bu platformaning himoya paneli: kod sifatida siyosatlar, to’g "ri tanlangan signallar va chegaralar, qayta tiklanadigan arxitektura yechimlari (canary/blue-green/flags/reversible migrations), o’rnatilgan kommunikatsiyalar va to’liq audit. Bunday kontur relizlar xavfini keskin kamaytiradi, SLO va daromadlarni himoya qiladi hamda tartibga soluvchilar va hamkorlarning ishonchini oshiradi.