Çykyşy awtomatiki yzyna gaýtarmak

1) Näme üçin awto-yza gaýdyp gelmek gerek?

• CFR we MTTR peseldýär;
• SLO-ny goraýar (auth-success, p99 "jedel → settl", error-rate);
• gabat gelýänleriň öňüni alýar (PII/RG/AML).

2) Ýörelgeler

1. Revert is a feature: reliz dizaýnynda yza gaýdyp barmak meýilleşdirilýär.
2. Policy-as-Code: bosagalar, penjireler, kadadan çykmalar - konweýerde tassyklama.
3. Canary-first: basgançaklardan ýuwular, yza gaýdýarlar - aýna basgançaklary.
4. Data-safe: göçmek yzyna/jemleýji; konfighi - wersionable.
5. SLO-gates: gyzyl SLI/guardrails → derrew awto-yzyna.
6. Explainability: time line, diffs, sebäpler - WORM magazineurnalyna.
7. No single button of doom: çäklendirmeler, töwekgelçilik hereketlerine tassyklamalar, SoD.

3) Awto-yza gaýdýan triggerler (signallar)

3. 1 Tehniki SLI/KRI

GEO/PSP/BIN boýunça auth_success_rate drop (mysal üçin, TR-de − 10% ≥ 10 min).
latency p99/error-rate esasy ýollar (goýum/çykarmak/settl).
queue lag / DLQ rate / retry storm.
db replication lag / cache miss surge.

3. 2 Iş signallary

deposit_conversion garşy kanareýada − X p.p.
settle throughput esasy çyzykdan düşýär.
chargeback/decline spikes (soft/hard).

3. 3 Möhüm wakalar

Işjeň A/B-de SRM şowsuzlygy (traffigiň ýoýulmagy).
security/PII guardrail.
Shemalaryň/konfigurasiýalaryň gabat gelmezligi (walidator/linter).

4) Yzyna öwrülmegiň binagärlik şablonlary

Canary → Ramp → Full: 5% → 25% → 100%; yza gaýdyp gelmek - tersine (100 → 25 → 5 → 0).
"Blue-Green": "Blue" bilen "Green" arasynda traffigiň atom switch, yza gaýdyp gelmek - derrew gaýdyp gelmek.
Feature Flags: özüňi alyp barşyň üýtgemegi üçin kill-switch (TTL, guardrails, SoD).
Config as Data: GitOps-öňki wersiýany mahabatlandyrmak/gaýtadan mahabatlandyrmak; runtime-snapshotlar.

• iki fazaly (expand → contract),
• reversible (down skriptleri),
• write-shadow (täze meýdanlar köpeldilýär),
• read-compat (köne kod täze shema düşünýär).

5) Yzyna gaýtarmak syýasaty (policy-engine)

• `auto_rollback if auth_success_rate. drop(geo="TR") > 10% for 10m AND coverage>=5%`
• `auto_rollback if bet_settle_p99 > SLO1. 25 for 15m`
• `auto_pause_flag if api_error_rate > 1. 5% for 5m`
• `deny_promote if slo_red in {"auth_success","withdraw_tat_p95"}`
• `require_dual_control if change. affects in {"PSP_ROUTING","PII_EXPORT"}`

Ähli düzgünler wersiýa edilýär, synagdan geçirilýär we rewýa edilýär.

6) Awto-yza gaýdyş akymy (end-to-end)

1. Regressiýa detektory işleýär (metrika/alert/walidator).
2. Kadadan çykmalary barlamak (baýramçylyk pikleri, synag penjireleri).

7) Integrasiýa

Waka-bot: '/release rollback <id> ', awto-wagtlaýynlar, dashbordlara we difflere baglanyşyklar.
Metrics API: taýýar SLO-we guardrail-statuslar; RCA üçin exemplars.
Feature Flags: '/flag off <id> ', guardrail awtopauzasy.
GitOps/Config: `/config rollback <snapshot>`; drift detektor netijäni tassyklaýar.
Status-sahypa: goşmaça köpçülige açyk täzelenmeler (CL/syýasat arkaly).

8) Yzyna gaýtarmagyň syn edilmegi we telemetriýasy

Release Dashboard: auth-success, error-rate, p95/p99, settle throughput, PSP по GEO/BIN.
Guardrail Board: işjeň/işlän düzgünler, penjireler, histerezis.

Örtükleriň taryhy: % kanareýalar/baýdaklar/sebitler

Audit: kim/näme/haçan/näme üçin; artefaktlaryň diffleri; syýasatçylaryň görnüşi; netije.

9) Howpsuzlyk, SoD we gabat gelmek

Töleglere täsir edýän hereketler üçin 4-eyes/JIT/PII/RG.
Geo-fences: kadalaşdyryjy talaplara täsir edýän yza gaýdyşlar lokal ulanylýar.
WORM magazinesurnallary: barlaglar üçin üýtgemeýän yzlar.
Jemgyýetçilik komm paketleri: CL/Legal bilen gabat gelýär; synaglaryň jikme-jiklikleri aýan edilmeýär.

10) Artefaktlaryň mysallary

10. 1 Awto-yzyna gaýtarmak syýasaty (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Konfigurasiýanyň yza gaýdyp geliş manifesti

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. 3 Baýdak öldürmek

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Maglumatlaryň göçmegi bilen iş

• Expand: Okamazdan täze sütünler/indeksler goşuň.
• Migrate: goşa ýazgy/bellik, yzygiderliligi deňeşdirmek.
• Contract: öňküsini diňe gözegçilik penjiresi üstünlikli çykandan soň aýyryň.
• Down skriptleri: hökmany; wagt we blokirlemelere baha bermek.
• Shadow-okamak: köne/täze ýoluň netijelerini deňeşdirmek (zyýanly täsirleri bolmazdan).
• Contract-y ýatyrmagyň ölçegleri: islendik guardrail "gyzyl".

12) Amallar we RACI

Release Manager: konweýeriň eýesi we syýasatçysy.
Service Owner: domen düzgünlerini tassyklaýar, töwekgelçiligi kabul edýär.
SRE: detektorlary, yza gaýdyp geliş mehanikalaryny, daşbordlary amala aşyrýar.
Howpsuzlyk/Compliance: SoD, PII/RG-gözegçilik, audit.
On-call IC/CL: aragatnaşyk, status-sahypa.
CAB: awto-yzyna gaýdyp gelmek, düzgünleri düzetmek.

13) KPI/KRI funksiýalary

Awto-Rollback Rate: awtomatiki usulda yza çekilen goýberilişleriň paýy (norma: pes, ýöne nol däl).
Time-to-Rollback: detekt → yza çekilmek (mediana/p95).
SLO-Breach Avoided: awto-yza gaýdyp, nyşanalaryň bozulmagynyň öňüni alan ýagdaýlar.
False Positives: "ýalan" yza gaýdyp gelmegiň paýy (maksat - ↓).
CFR awto-yzyna gaýtarylmazdan öň/soň.
Cost of Rollbacks: goşmaça wagt, kanareýkalar, hasaplaýyş çeşmeleri.
Audit Completeness: Wakalaryň% -i doly wagt we diffler bilen.

14) Durmuşa geçirmegiň ýol kartasy (6-10 hepde)

Ned. 1-2: kritiki metrikleriň we esasy çäkleriň katalogy; strategiýalary saýlamak (canary/blue-green/flags); migrasiýa dolanyşygynyň inventarizasiýasy.
Ned. 3-4: detektorlary we policy-engine satmak; waka-bot bilen integrasiýa; Konfigurasiýalar üçin GitOps-rollback; dashbordlar guardrails.
Ned. 5-6: Payments domeninde pilot (auth-success, PSP-routing), tabletop türgenleşikleri; WORM magazineurnaly we hasabatlary.
Ned. 7-8: Games/KYC-de giňeltmek; baýdaklaryň awtomatiki arakesmesi; blue-green bilen DR-maşklar.
Ned. 9-10: bosagalary kalibrlemek, false positive, FinOps-baha bermek, RACI-ni resmileşdirmek we okuw.

15) Antipatternler

"Nädip-de bolsa yza çekeliň": migrasiýa meýilnamasynyň we yza gaýdyp gelmek mümkinçiliginiň ýoklugy.
Ädimsiz global dessine işjeňleşdirmek/öçürmek.
Çig metrikler boýunça kontekstsiz yza gaýdyp gelmek (GEO/PSP/BIN stratifikasiýasy ýok).
Synaglarda Ignor SRM we peeking.
Gisterezissiz alertler → yza gaýdyp gelmek.
Git/Auditsiz önümdäki konfigurasiýalary el bilen düzetmek.
Gözegçilik penjiresinden geçýänçä köne shemany aýyrmak.

Jemi

Relizleriň awtomatiki yza gaýdyp gelmegi platforma gorag torydyr: syýasat kod hökmünde, dogry saýlanan signallar we bosagalar, yzyna öwrülip bilinýän binagärlik çözgütleri (canary/blue-green/flags/reversible migrations), içerki aragatnaşyk we doly audit. Şeýle konturlar goýberiş töwekgelçiligini düýpgöter peseldýär, SLO-ny we girdejini goraýar we düzgünleşdirijileriň we hyzmatdaşlaryň ynamyny ýokarlandyrýar.