Hatalary awtomatiki düzetmek

1) Maksady we ýörelgeleri

Maksat: MTTR-i azaltmak we SLO-ny, girdejini we talaplara laýyklygyny saklamak arkaly hadysalaryň möwjemeginiň öňüni almak.

• SLO-first: awto-hereketlere diňe hata býudjetine howp abanýan ýagdaýynda rugsat berilýär.
• Howpsuzlyk ilki bilen: iň az blast-radius, aç-açan çäkler we taýmbokslar.
• "Explainable by design": her bir hereket düşündirilip we diňlenilip bilner.
• Rollback-taýynlyk: islendik ädim yzyna gaýtarmagyň ölçegleri bilen bilelikde bolýar.
• Human-in-the-loop töwekgelçiligi ýokary bolan ýerlerde: P1-kritiki üýtgeşmeler - dual control ýa-da IC/on-coll tassyklamasy arkaly (eger syýasatda başgaça kesgitlenmedik bolsa).

2) Adalgalar

Auto-remediation: Wakanyň programma reaksiýasy (alert/anomaliýa) adamyň gatnaşmazdan.
Guardrails: çäklendirmeler syýasaty (bosagasy, dowamlylygy, synanyşyklaryň sany, täsir zolagy).
Runbook-Action: Öňünden/soň barlamak we yzyna almak bilen atom operasiýasy.
Decision Engine: wakany syýasatçylar bilen deňeşdirýän we hereketleri başlaýan hyzmat.

3) Çözgüdiň arhitekturasy

1. Signallar: SLO/burn-rate, KRI, sintetika, RUM, deep-health.
2. Kontekstiň baglanyşygy: relizler, fiçflaglar, meýilleşdirilen işler, garaşly üpjün edijiler.
3. Decision Engine: düzgünler/syýasatlar (policy-as-code), impakt we töwekgelçilige baha bermek, ssenariýany saýlamak.
4. Ýerine ýetiriş: runbook hereketleriniň orkestratory (idempotentlik, jitter bilen retrailer).
5. Gözegçilik: deslapky, post-tassyklaýjylar, taýmboks, yza gaýdyp gelmek.
6. Audit we gözegçilik: hereket ýoly, üstünlik metrikleri, magazineurnal (WORM/immutable).
7. Aragatnaşyk: status-sahypa (Comms Lead arkaly), bar-room, sapport makroslary.

4) Syýasatlar we çäklendirmeler (policy-as-code)

• `allow if burn_rate(payments. auth) > fast && impact>threshold && psp_alt. healthy && within_limits("psp_reroute")`

• `allow if p99(bet_settlement)>3x && queue_lag>limit && feature("replay_center"). enabled`

• `allow if consumer_lag>target && cost_budget. ok && region_capacity. available`

• `allow if export_spike && no_ticket && data_class=PII -> action=block + notify(Compliance)`

Her syýasatda: şert, hereket, çäk (skope/wagt/ýygylyk), üstünlik ölçegleri, yza gaýdyp gelmek bar.

5) Howpsuz hereketler katalogy (atom runbook-actions)

Tölegler: traffigi alternatiw PSP/banka geçirmek; health × fee × conversion marşrutynyň ileri tutulýan ugurlaryny üýtgetmek; ýönekeýleşdirilen 3DS-ni açmak; jitter bilen retraýlaryň çäklerini ýokarlandyrmak.
Jedeller/oýunlar: settl workerlerini masştab etmek; cache-warmup kritiki däl şekilleri (animasiýalary, ikinji derejeli şekilleri) wagtlaýyn öçürmek; waiting-room/queue-page.
Infrastruktura: pese gaçýan nusgalary almak (outlier-detector), traffigi goňşy AZ/sebite ewakuasiýa etmek; howuzy/kwotalary köpeltmek; Ussalary lint barlaglary bilen täzeden başla.
Maglumatlar/nobatlar: partiýany gaýtadan paýlamak; sarp edijileri cap çenli ýokarlandyrmak; read-traffigi sagdyn sözlere geçirmek; adaptasiýa sampling ýollaryny açyň.
Howpsuzlyk/gabat gelmek: PII eksportyny biletsiz wagtlaýyn petiklemek; netijeleriň velocity-çäklerini güýçlendirmek; duýgur amallara dual control goşmak.
Comm-gatlak: status auto-taslama + Comms Lead üçin täzelenme yuvalary; PSP zaýalananda hyzmatdaşlara habar bermek.

6) Öňünden we soň tassyklama

• Meseläniň hakyky we täze bolandygyny barlamak (N-den-M penjireleri; sailens/meýilleşdirilen iş ýok).
• Hereketiň syýasatda rugsat berilýändigine we çeşmäniň býudjetiniň bardygyna göz ýetirmek.
• Bahasyna baha bermek (FinOps) we laýyklyk çäklendirmeleri.

• Burn-rate/metrikanyň azalandygyny tassyklamak; netijäni ýazmak; şertlere görä yzyna gaýtarmagy (auto-rollback) meýilleşdiriň.

7) Rollback и “escape hatch”

Metrleri durnuklaşdyranda we max-TTL hereketi arkaly awto-yzyna gaýdyp gelmek.
Bar-rumda IC/on-call üçin gaýdyş düwmesi.
Break-glass diňe gyssagly giriş üçin; post-audit hökmanydyr.

8) Alerting we hadysalar bilen integrasiýa

Islendik awto-hereket hadysanyň kartasyna birikdirilýär: kim/näme/haçan/näme üçin, netije, grafiklere salgylanmalar.
Habarçy dublikatlar üçin diňlener, ýöne şowsuz awto-fiksler üçin däl (eskalasiýa).
Status sahypasy şablon boýunça Comms Lead arkaly täzelenýär.

9) Howpsuzlyk we laýyklyk dizaýny

Orkestrator üçin iň az artykmaçlyklar; hereket/domen üçin aýratyn rollar.
Ýokary töwekgelçilik üçin SoD we dual control: PSP-routing, bonus çäkleri, eksport PII.
Giriş signallaryny we syýasatlaryň wersiýalaryny goşmak bilen ähli awtomatiki çözgütleriň WORM/immutable barlagy.
PII-arassaçylyk: belliklerde we hereket ýazgylarynda şahsy şahsyýetnamalarsyz.

10) Awto-konturlaryň syn edilmegi

Metrikler: success-rate hereketleri, reaksiýa wagty,% yza gaýdyp gelmek, MTTR tygşytlamak, SLO-a täsir etmek.
Traces: "signal → çözgüt → hereket → täsir" üçin geçiş ýoly.
Loglar: gurluş, policy_id, wersiýalar we öňünden/soň barlaglar.
Daşbordlar: Exec (girdejä täsir/SLO), Ops (hereketler × domen matrisi), FinOps (awto-ölçeg bahasy).

11) Ssenarileriň mysallary (iGaming)

11. 1 PSP-zaýalanma (TR/EU)

Signal: auth-success PSP-1 ↓ 10 minutda 25% -e, amallaryň gurşawy> 30%.
Hereketler: traffigiň 40% -ini PSP-2/3 paýlamak; ýönekeýleşdirilen 3DS-ni açmak; jitter bilen X bankyň haýyşlarynyň retrasyny ýokarlandyrmak.
Serhetler: bir alternatiw PSP-e umumy traffigiň 60% -den köp bolmaly däldir; TTL 45 minut.
Rollback: 15 minudyň içinde nyşana ≥ success-rate kadalaşanda.

11. 2 Jedel settlinde p99 ösüşi

Signal: p99 "bet → settle"> 3 × kadalar + consumer-lag> bosagasy.
Hereketler: scale-out worker to cap; koeffisiýentleriň kesşini gyzdyrmak; "gaýtalanmalar taryhyny" wagtlaýyn öçürmek.
Rollback: headroom> X we p99 20 minutdan soň.

11. 3 BD-nyň göçürmesi yza galýar

Signal: replication-lag> N sekunt, lock-wait.
Hereketler: read-traffigi sagdyn göçürmä geçirmek; Pes ileri tutulýan write amallaryny açyň.
Rollback: lag kadalaşdyrylandan we gulplama ýalňyşlyklaryndan soň.

11. 4 Eksport bölegi PII

Signal: rate eksport> baza setiri × K, bilet ýok.
Hereketler: eksport blogy, Compliance habarnamasy, goşmak dual control.
Rollback: haýyşlar tassyklanandan we anomaliýalar ýapylandan soň.

12) KPI и KRI

MTTR ↓ awto-fiks işleýän wakalar üçin.
TTD → Action: detektordan herekete çenli wagt.
Success-rate hereketler we Rollback-rate (pes - ýalan täsirler sebäpli bolmasa gowy).
False-action rate (täsirsiz ýa-da negatiw täsirli hereketler).
SLO impact saved (minutlar/girdejiler, öňüni alnan jerimeler).
Pager fatigue ↓ (şol bir/iň gowy SLO-lar üçin az el jaň ediji).

13) Durmuşa geçirmegiň ýol kartasy (8-12 hepde)

Ned. 1-2: 3-5 ýokary ROI ssenarisini saýlamak (PSP-feylower, autoscale lag, feature-degrade); syýasatlary/çäkleri/yzyna gaýtarmalary beýan etmek.
Ned. 3-4: hereketleriň orkestratoryny, syrlary we rollary, waka-platforma bilen integrasiýany durmuşa geçirmek; gözegçilik we audit goşmak.
Ned. 5-6: "kölegeli" re modeimde pilot (simulate-only) → A/B-effekt bahalandyrmasy; soňra kiçi göwrümli önüme giriziň.
Ned. 7-8: Ssenariler katalogyny giňeltmek (DB/kesiş/nobatlar/öň), status-sahypa we Comms bilen baglanyşdyrmak.
Ned. 9-10: FinOps-çäkleri (bahasy/SLI) düzgünlerini goşmak, ýokary töwekgelçilik üçin dual control girizmek.
Ned. 11-12: tabletop/chaos-maşklar, KPI/KRI täzeden gözden geçirmek, gollanmalary çap etmek we on-call öwretmek.

14) Artefaktlar we şablonlar

Auto-Remediation Policy: şert, hereket, çäkler, TTL, yza gaýdyp, eýesi, töwekgelçilik synpy.
Runbook-Action Spec: deslapky sözler, ädimler, barlaglar, ýalňyşlyklar, gözegçilik, yzyna gaýtarmagyň logikasy.
Change-Control: Syýasatlary, PR-review, synaglary, diff we wersiýany kim dolandyryp biler?
"Evidence Pack": SLO-a täsir ediş ölçegleri, post-mortem/audit üçin hasabat.

15) Antipatternler

"Alamaty bejermek" sebäbini barlamazdan we SLO → flapping.
Yzyna gaýtarylmaýan hereketler we TTL → doňdurylan zaýalanmalar.
guardrails → kaskad şowsuzlyklary bolmadyk ähliumumy skriptlar.
Syýasatlaryň auditiniň we wersiýasynyň ýoklugy.
Gymmatyň (çäksiz awtoskeýl) we komplayensiň (PII-eksport) ignory.
P1-töwekgelçiliklerde Human-in-the-loop bolmazdan doly özbaşdaklyk.

Jemi

Ýalňyşlyklary awtomatiki düzetmek dolandyrylýan konturdyr: SLO signallary → guardrails bilen syýasatlar → yza gaýdyp gelýän howpsuz runbook hereketleri → gözegçilik we audit → hadysalarda okamak. Bu çemeleşme MTTR-i ölçäp bolýar, girdejini iň ýokary derejelerde saklaýar we howpsuzlyk we düzgünleşdiriji talaplara laýyk bolup, rutini on-call-dan aýyrýar.