Amallar we Dolandyryş → Hadysalaryň netijelerini azaltmak

Hadysalaryň netijelerini azaltmak

1) Maksady we ýörelgeleri

Maksat: hyzmatyň şowsuzlygynyň ýüze çykmagynyň öňüni almak we zyýany azaltmak: iş wagty, pul, abraý we kadalaşdyryjy töwekgelçilikler boýunça.

• Containment first: şowsuzlygyň ýaýramagyny duruzmak (blast radius ↓).
• Graceful degradation: "asla işlemeýär".
• Decouple & fallback: garaşsyz komponentler we howpsuz alternatiwalar.
• Decision speed> perfect info: çalt yzyna gaýtaryp boljak hereketler (feature flag, route switch).
• Communicate early: bir hakykat çeşmesi, anyk statuslar we ETA.

2) Wakanyň nusgasy we netijeleriň taksonomiýasy

Täsir: ulanyjylar (sebit, segment), pul (GGR/NGR, prosessing), gabat gelmek (KYC/AML), hyzmatdaşlar/üpjün edijiler.
Görnüşleri: öndürijiligiň pese gaçmagy, garaşlylygyň bölekleýin şowsuzlygy (PSP, KYC, oýun üpjün ediji), goýberilişiň regressiýasy, maglumat hadysasy (vitrinleriň gijikdirilmegi/ETL), DDoS/ýüküň gysylmagy.
Derejeler (P1-P4): Möhüm iş wagtyndan başlap, ýerli kemçilige çenli.

3) Netijelerini azaltmak patternleri (tehniki)

3. 1 Lokalizasiýa we blast radius çäklendirmesi

Şertler/sebitler boýunça izolýasiýa: problemaly şard/sebiti öçürýäris, galanlary işini dowam etdirýärler.
Circuit Breaker: ýalňyşlyklar/wagtlar garaşlylykdan çalt ýüz öwürmek ⇒ workerleri goramak.
Bulkhead (bölekler): möhüm ýollar üçin aýratyn birikmeler/nobatlar howuzlary.
Traffic Shadowing/Canary: traffigiň bir bölegini täze wersiýadan doly geçýänçä geçirmek.

3. 2 Dolandyrylýan zaýalanma (graceful)

Read-only re modeim: nawigasiýa we taryh saklanylanda mutasiýalaryň wagtlaýyn petiklenmegi (mysal üçin, nyrhlar/goýumlar).
Funksional kesişler: ikinji derejeli widjetleri/landskaplary, agyr teklipleri, "gyzgyn" gözlegleri öçürmek.
Kesh-follback: stale-keshden (stale-while-revalidate) hyzmat jogaplary, ýönekeýleşdirilen modeller.
Ýönekeýleşdirilen çäkler: betç/sahypanyň ululygyny azaltmak, TTL uzaltmak, gymmat süzgüçleri öçürmek.

3. 3 Ýükleri dolandyrmak

"Shed/Throttle": artykmaç soraglary "adalatly": IP/açar/endpoint boýunça, core-amallaryň ileri tutulýan ugry.
Backpressure: sarp edijiler üçin öndürijileriň çäklendirilmegi; jitter bilen retry dinamikasy.
Queue shaping: P1-flow (tölegler, ygtyýarnama) we fon analitikasy üçin saýlanan nobatlar.

3. 4 Çalt açarlar

Feature Flags & Kill-switch: Problema çipini çykarmazdan derrew öçürmek.
Traffic Routing: üpjün edijini üýtgetmek (PSP A → B), datacenterden aýlanyp geçmek, "ýyly" sözlere geçirmek.
Toggle konfigurasiýalary: wagtlar, retralar, QPS çäkleri - audit bilen -merkezi arkaly.

3. 5 Maglumatlar we hasabatlylyk

Gijikdirilen mutasiýa: outbox/log-a ýazylýar.
Wagtlaýyn denormallaşma: materiallaşdyrylan penjirelerden okamak arkaly DB ýüküni azaltmak.
Degrade BI: "12:00 UTC-daky maglumatlar" belgisi bilen last-good-snapshoty wagtlaýyn görkezmek.

4) Domen mysallary (iGaming)

KYC-üpjün edijiniň şowsuzlygy: alternatiw üpjün edijini goşýarys; "pes töwekgelçilikli" çäkler üçin - hasaplaryň azaldylan çäkleri bilen ýönekeýleşdirilen ssenariýa boýunça wagtlaýyn barlamak.
PSP-iň ýokary gizlinligi: ýerli gapjyklara wagtlaýyn ileri tutulýan ugur, tölegleriň çäklerini azaltmak, tölegleriň bir bölegini "T + Δ" nobatyna goýmak.
Oýun üpjün edijisinde şowsuzlyk: belli bir atlary/üpjün edijini gizleýäris, lobbi we alternatiwalary saklaýarys, "Iş dowam edýär, X/Y synap görüň" bannerini görkezýäris.

5) Guramaçylyk we rollar (ICS - Incident Command System)

IC (Incident Commander): hereketleriň bitewi utgaşdyrylmagy, ileri tutulmagy.
Ops Lead/SRE: containment, rutingler, fiça-baýdaklar, infrastruktura.
Comms Lead: status täzelenmeleri, status sahypalary, içerki söhbetdeşlik/poçta.
Subject Matter Owner: täsir eden kiçi ulgamyň eýesi (PSP, KYC, oýun üpjün ediji).
Liaison işewürlige: önüm, goldaw, maliýe, laýyklyk.
Scribe: timline, çözgütler, post-mortem üçin artefaktlar.

Düzgün: işjeň "war-room" -da 7 ± 2 adamdan köp bolmaly däl, galanlary - "haýyş boýunça".

6) Aragatnaşyk

Kanallar: status-sahypa, içerki #incident-kanal, PagerDuty/telekonferensiýa, täzelenme şablonlary.
Tizlik: P1 - her 15-20 minutda; P2 - 30-60 minut.
Täzelenmäniň şablony: näme döwüldi → kime täsir etdi → eýýäm näme edildi → indiki ädim → indiki täzelenmäniň wagty boýunça görkeziji.
Müşderileri goldamak: L1/L2 üçin öňünden taýýarlanan makroslar we SSS, "bölekleýin pese gaçmak" bellikleri, öwezini dolmak syýasaty.

7) Üstünlik metrikleri we triggerler

MTTD/MTTA/MTTR, Wagt kontainment, SLO Burn Rate (1h/6h/24h penjireler).
Revenue at risk: segmentler boýunça ýitirilen GGR/NGR-e baha bermek.
Blast radius%: Ulanyjylaryň/sebitleriň/funksiýalaryň täsiri.
Comms SLA: status täzelenmeleriniň öz wagtynda bolmagy.
False-positive/false-negative alertleri, ikinji derejeli hadysalar.

• p95 açar API> 5 minut yzly-yzyna bosagasy → keş-follback we trottling.
• Sarp ediji lag> 2 min → öndürijileri doňduryň, ussalary göteriň.
• PSP success <97% 10 min → traffigiň paýyny ätiýaçlyk PSP-e geçirmek.

8) Pleýbuklar (gysylan)

8. 1 "Gizlinlik ↑ y/api/deposit"

1. Error% we PSP-daşarky wagtlary barlaň → Gysga wagtlary we jitter retrauslary açyň.
2. Çäklendirmeler/gollanmalar keşini açyň, "ýerinde" agyr barlaglary öçüriň.
3. Traffigi ätiýaçlyk PSP-e bölekleýin geçirmek.
4. Töwekgelçiligi azaltmak üçin tölegleriň/goýumlaryň çäklerini wagtlaýyn azaltmak.
5. Post-fix: indeks/denorm, asinhrony güýçlendirmek.

8. 2 "KYC doňýar"

1. Alternatiw üpjün edijä geçiň, çäklendirmeler bilen "ýönekeýleşdirilen KYC" -ni açyň.
2. Eýýäm geçenler üçin KYC statuslaryny kesmek.
3. Aragatnaşyk: Profildäki banner, ETA.

8. 3 "ETL/BI yzda"

1. "Stale" + timestamp panellerini belläň.
2. Agyr üýtgedip gurmalary togtatmak, inkrementallary goşmak.
3. Joblaryň paralelligi ↑, KPI operasiýa otaglary bilen vitrinlere ileri tutulýan ugur.

9) Wakadan öň dizaýn çözgüdi (işjeň)

Fiç-baýdaklaryň tablisasy: endpointler/provaýderler/widjetler boýunça atom öçürijileri.
Trottling/şedding syýasaty: ileri tutulýan ugurlar boýunça öňünden ylalaşylan "bürünç/kümüş/altyn" derejeleri.
Pese gaçmak synaglary: yzygiderli "fire-drills", game-days, bulam-bujarlyk synaglary (gijikdirmeler/ýalňyşlyklar goşmak).
Daşarky garaşlylygyň kwotalary: çäkler, ýalňyşlyklaryň býudjeti, strategiýanyň backoff.
Runbook 'i: gysgaça ädimme-ädim görkezmeler we mysallar bilen buýruklar/gapma-garşylyklar.

10) Howpsuzlyk we gabat gelmek

"Fail-safe": pese gaçanda - "retrany güýçlendirmek" däl-de, düzgün bozmalar töwekgelçiligi bilen amallary petiklemek.
PII we maliýe maglumatlary: el bilen aýlanylanda - berk audit, iň az artykmaçlyklar, tokenizasiýa.
Aýak yzlary: IC/operatorlaryň hereketleriniň doly magazineurnaly, baýdaklaryň/konfigurasiýalaryň üýtgemegi, wagt çäginiň eksporty.

11) Anti-patternler

"Aýdyň bolýança garaşýarys" - altyn wagtyň ýitmegi.
"Ýeňşe çenli retraýalary öwürýäris" - gar topy we endiklerde tupan.
Segmentasiýasyz global baýdaklar - şäherde elektrik däl-de, şemini öçüriň.
"Gorkuzmazlyk üçin" dymmak - biletleriň köpelmegi, ynamyň ýitmegi.
Auditsiz gowşak el amallary - gabat gelmek töwekgelçiligi.

12) Çek-listler

Möhüm üýtgeşmeleri çykarmazdan ozal

• Kanar ýoly + çalt yza gaýdyp gelmek (feature flag).
• SLO guardrails we aladalar p95/error%.
• Garaşly hyzmatlara ýük modelleşdirildi.
• Aragatnaşyk meýilnamasy we eýeleri.

Waka wagtynda

• IC we aragatnaşyk kanallary kesgitlenildi.
• containment (izolýasiýa/baýdaklar/ýollar) ulanyldy.
• Dolandyrylýan pese gaçma işjeňleşdirildi.
• Status-sahypa täzelendi, goldaw habar berildi.

Wakadan soň

• Post-mortem ≤ "günäkärleri gözlemezden" 5 iş güni.
• Eýeler we möhletler bilen hereket etmek.
• Gaýtalanma synagy: ssenariýa oýnalýar we alertler/synaglar bilen örtülendir.
• Oýun kitaplary we okuwlar täzelendi.

13) Kiçi artefaktlar (şablonlar)

• Näme boldy → Täsir → Kök sebäbi → Näme işledi/işlemedi → Uzak möhletli fiksler → Action items (eýeleri/şertleri).

14) Jemleýji

Wakalaryň netijelerini azaltmak çalt we yzyna gaýtaryp boljak kararlaryň düzgünidir: lokallaşdyrmak, dolandyrylyp bilinjek zaýalanmak, ýükleri gaýtadan paýlamak, aç-açan aragatnaşyk saklamak we gowulaşmalary berkitmek. Siz şu gün bir minutlyk "taktiki durnuklylygy" gazanyp, ony ertir strategiki durnuklylyga öwürýärsiňiz.