Buraxılışların avtomatik geri qaytarılması

1) Niyə avtomatik geri çəkilmək lazımdır

• CFR və MTTR azaldır;
• SLO (auth-success, p99 «bahis → settl», error-rate) qoruyur;
• uyğunluq hadisələrinin qarşısını alır (PII/RG/AML).

2) Prinsiplər

1. Revert is a feature: geri buraxılış dizayn planlaşdırılır.
2. Policy-as-Code: eşiklər, pəncərələr, istisnalar - konveyerdə validasiya.
3. Canary-first: pillələri yuyun, geri - güzgü pillələri.
4. Data-safe: miqrasiyalar geri qaytarıla bilər/məcmu; konfiqlər - version.
5. SLO-gates: qırmızı SLI/guardrails → dərhal avtomatik geri.
6. Explainability: time line, diffs, səbəbləri - WORM jurnalına.
7. No single button of doom: məhdudiyyətlər, risk təsdiqləri, SoD.

3) Avtomatik geri dönüş triggerləri (siqnallar)

3. 1 Texniki SLI/KRI

GEO/PSP/BIN üzrə auth_success_rate drop (məsələn, TR-də − 10% ≥ 10 dəq).
latency p99/error-rate əsas yolları (depozit/çıxış/settl).
queue lag / DLQ rate / retry storm.
db replication lag / cache miss surge.

3. 2 Biznes siqnalları

deposit_conversion qarşı kanareyada − X pp.
settle throughput əsas xətt ilə bağlı düşmə.
chargeback/decline spikes (soft/hard).

3. 3 Kritik hadisələr

Aktiv A/B-də SRM uğursuzluğu (trafik təhrif).
security/PII guardrail-in işə salınması.
Sxemlərin/konfiqurasiyaların uyğunsuzluğu (validator/linter).

4) Geri dönüş memarlıq şablonları

Canary → Ramp → Full: 5% → 25% → 100%; geri - tərs ardıcıllıqla (100 → 25 → 5 → 0).
Blue-Green: Blue və Green arasında atomik trafik switch, geri - ani geri.
Feature Flags: davranış dəyişiklikləri üçün kill-switch (TTL, guardrails, SoD).
Config as Data: GitOps-proyout/əvvəlki versiyasını yenidən proyout; runtime-snapshot.

• iki fazalı (expand → contract),
• reversible (down skriptləri),
• write-shadow (yeni sahələr dublyaj yazılır),
• read-compat (köhnə kod yeni sxemi başa düşür).

5) Geri qaytarma siyasəti (policy-engine)

• `auto_rollback if auth_success_rate. drop(geo="TR") > 10% for 10m AND coverage>=5%`
• `auto_rollback if bet_settle_p99 > SLO1. 25 for 15m`
• `auto_pause_flag if api_error_rate > 1. 5% for 5m`
• `deny_promote if slo_red in {"auth_success","withdraw_tat_p95"}`
• `require_dual_control if change. affects in {"PSP_ROUTING","PII_EXPORT"}`

Bütün qaydalar versiyalaşdırılır, sınaqdan keçirilir və review keçir.

6) Avtomatik geri axını (end-to-end)

1. Reqressiya detektoru işə düşür (metrika/alert/validator).
2. İstisnaların yoxlanılması (bayram zirvələri, test pəncərələri).

7) İnteqrasiya

Hadisə-bot: '/release rollback <id> ', avto-taymline, dashboard və diff linklər.
Metrics API: hazır SLO və guardrail statusları; RCA üçün exemplars.
Feature Flags: '/flag off <id> ', guardrail avtopauza.
GitOps/Config: `/config rollback <snapshot>`; drift detektor nəticəni təsdiqləyir.
Status-səhifə: Opsiyonel ictimai yeniləmələr (CL/siyasət vasitəsilə).

8) Müşahidə və geri telemetriya

Release Dashboard: auth-success, error-rate, p95/p99, settle throughput, PSP по GEO/BIN.
Guardrail Board: aktiv/işləyən qaydalar, pəncərələr, histerezis.
Örtüklərin tarixi:% Kanarya/Bayraqlar/Regionlar zamanla.
Audit: kim/nə/nə vaxt/nə üçün; artefaktların diffları; siyasət versiyası; nəticə.

9) Təhlükəsizlik, SoD və uyğunluq

/ PII/RG ödənişlərinə təsir edən hərəkətlər üçün 4-eyes/JIT.
Geo-fences: tənzimləmə tələblərinə təsir edən geri çəkilmələr yerli olaraq tətbiq olunur.
WORM jurnalları: yoxlamalar üçün dəyişməz iz.
Public comm paketləri: CL/Legal ilə uyğundur; təcrübələrin təfərrüatları açıqlanmır.

10) Artefaktların nümunələri

10. 1 Avtomatik Geri Dönüş Siyasəti (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Konfiqurasiya geri dönüş manifesti

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. 3 Kill-switch bayrağı

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Məlumat miqrasiyası ilə iş

• Expand: oxu qırmadan yeni sütunlar/indekslər əlavə edin.
• Migrate: ikiqat qeyd/replay, uyğunluq müqayisə.
• Contract: yalnız uğurlu buraxılışdan sonra köhnə silinir + müşahidə pəncərəsi.
• Down skriptləri: məcburi; vaxt və kilidlərin qiymətləndirilməsi.
• Shadow-readings: köhnə/yeni yolun nəticələrini müqayisə (yan təsirləri olmadan).
• contract ləğv meyarları: hər hansı bir guardrail «qırmızı».

12) Proseslər və RACI

Release Manager: konveyer sahibi və siyasətçi.
Service Owner: domen qaydalarını təsdiq edir, risk alır.
SRE: detektorlar, geri dönüş mexanikası, daşbordları həyata keçirir.
Security/Compliance: SoD, PII/RG-nəzarət, audit.
On-call IC/CL: rabitə, status-səhifə.
CAB: post-faktum avtomatik geri baxış, qaydaların tənzimlənməsi.

13) KPI/KRI funksiyaları

Auto-Rollback Rate: avtomatik olaraq geri çəkilən buraxılışların payı (norma: aşağı, lakin sıfır deyil).
Time-to-Rollback: detal → geri (mediana/p95).
SLO-Breach Avoided: avtomatik geri dönüş hədəflərin pozulmasının qarşısını aldığı hallar.
False Positives: «saxta» geri qaytarma payı (hədəf - ↓).
CFR avto-geri qaytarma tətbiq əvvəl/sonra.
Cost of Rollbacks: əlavə vaxt, kanaryalar, hesablama resursları.
Audit Completeness: Tam vaxt və diffs ilə% hadisələr.

14) Yol xəritəsi (6-10 həftə)

Ned. 1-2: kritik metriklərin və əsas eşiklərin kataloqu; strategiyaların seçimi (canary/blue-green/flags); miqrasiyaların dönüşümlülüyünün inventarlaşdırılması.
Ned. 3-4: detektorlar və policy-engine həyata; hadisə botu ilə inteqrasiya; Konfiqurasiya üçün GitOps-rollback; dashbord guardrails.
Ned. 5-6: Payments domenində pilot (auth-success, PSP-routing), tabletop məşqləri; WORM jurnalı və hesabatlar.
Ned. 7-8: Games/KYC genişləndirilməsi; bayraqların avtomatik fasiləsi; blue-green ilə DR-təlimlər.
Ned. 9-10: boşluqların kalibrlənməsi, false positive azaldılması, FinOps-dəyər qiymətləndirilməsi, RACI rəsmiləşdirilməsi və təlim.

15) Antipattern

«Birtəhər geri çəkilək»: miqrasiyaların planının və dönüşünün olmaması.
Addım olmadan qlobal ani aktivasiya/deaktivasiya.
Kontekstsiz xam metrlər üzrə geri çəkilmə (GEO/PSP/BIN stratifikasiyası yoxdur).
Eksperimentlərdə Ignor SRM və peeking.
Histerezis olmadan Release-alerts → geri dönüş.
Git/Audit olmadan məhsulda konfiqurasiyaların əl ilə düzəldilməsi.
Müşahidə pəncərəsi keçməzdən əvvəl köhnə sxemi silmək.

Yekun

Buraxılışların avtomatik geri qaytarılması platformanın qoruyucu şəbəkəsidir: kod kimi siyasətlər, düzgün seçilmiş siqnallar və eşiklər, geri qaytarıla bilən memarlıq həlləri (canary/blue-green/flags/reversible migrations), daxili rabitə və tam audit. Bu kontur buraxılış riskini kəskin şəkildə azaldır, SLO və gəlirləri qoruyur və tənzimləyicilərin və tərəfdaşların etibarını artırır.