Hadysalaryň simulýasiýalary

1) Simulýasiýalary näme üçin amala aşyrmaly?

• MTTD/MTTA/MTTR peseldýär, yza gaýdyp gelmek we feýler baradaky ynamy ýokarlandyrýar;
• proseslerdäki boşluklary (eskalasiýa, aragatnaşyk) we binagärlik gowşaklyklaryny ýüze çykarýarlar;
• RCA → CAPA girelgesi bolup hyzmat edýär we resminamalary gowulandyrýar (runbook/SOP);
• SLA/düzgünleşdirijileriň/auditiň talaplaryna taýýardyklaryny tassyklaýarlar.

2) Simulýasiýa formatlary

Tabletop (stol) - tagtada/söhbetdeşlikde gepleşik ssenarisi: rollary we aragatnaşyklary ýerine ýetirmek üçin arzan, çalt, ajaýyp.
Game Day (Steyj/Prod bilen çäklendirilen maşklar) - pleýbuklar boýunça amaly ädimler; prodda - diňe aç-açan girtleri bolan howpsuz, yzyna gaýtaryp boljak hereketler.
Chaos Engineering - durnuklylygy we SLO girtlerini barlamak üçin dolandyrylýan şowsuzlyklar (endikleri/torlary/düwünleri öçürmek).
DR-maşklar (Disaster Recovery) - AZ/sebitden ýüz öwürmek, belliklerden dikeltmek, üpjün edijileri üýtgetmek.
Comms-drill - arassa aragatnaşyk: status-sahypa, habar şablonlary, PR/Legal.

3) Rollar we jogapkärçilik

Incident Commander (IC) - karar berýär, meýilnama ýöredýär, deeskalasiýa edýär.
Tech Lead (TL) - diagnostika, tehniki "injektler" we çaklamalar.
Comms Lead (CL) - içerki/daşarky täzelenmeler, status-sahypa.
Scribe - teswirnama (timline, hereketler, çözgütler, artefaktlar).
Observers/Assessors - metrikleri we proseduralara laýyklygy düzedýärler.
Red Team (isleg boýunça) - garaşylmadyk "injektleri" girizýär.

4) Simulýasiýalaryň üstünlik metrikleri

Sintetiki waka boýunça MTTD/MTTA/MTTR.
Comm SLA: täzelenmeleriň wagty we hili.
SLO-guardrails: burn-rate dogry reaksiýa, daşarky nusgalaryň kworumy.
Runbook fidelity:% ädimler resminama boýunça ýerine ýetirildi.
Escalation latency: zerur roly/üpjün edijini birikdirmegiň tizligi.
Checklists pass-rate: "taýýar/kabul/ýapyldy".
Noise & Fatigue: goşmaça aladalar, on-call artykmaç ýük.
CAPA completion: simulýasiýadan soň ýerine ýetirilen hereketleriň paýy.

5) Taýýarlyk: başlamazdan öň näme gerek

Maksat we çaklamalar: näme barlaýandygymyz (prosesler, arhitektura, adamlar).
Ssenarisi we "injektleri": alamatlaryň/wakalaryň wagtlar bilen yzygiderliligi.
Howpsuzlyk çäklendirmeleri: yzyna gaýtaryp bolmajak üýtgeşmeleri gadagan etmek; nokatlar.
Maglumatlar we stendler: sintetiki traffik, bozulma baýdaklary, howpsuz açarlar.
Resminamalar: runbook/SOP baglanyşyklary, güýçlenme, üpjün edijileriň aragatnaşyk sanawy.
Syn edilişi: öňünden bellik edilen daşbordlar/alertler, test-kanareýekler.
Logistika: wagt/dowamlylyk, gatnaşyjylar, war-room kanaly, ýazgy.

6) Simulýasiýa geçirmek: tapgyrlar

1. Brief (5-10 minut): IC maksatlara, rollara, howpsuzlyk düzgünlerine, tamamlamak ölçeglerine meňzeýär.
2. T0 - Alamatlar injekti: alert (ler), biznes-SLI-iň düşmegi, üpjün edijiniň daşarky ýagdaýy.
3. Triaj we eskalasiýa: SEV, freeze relizlerini bellemek, zerur rollary birikdirmek.
4. Diagnostika: gipotezalar, DNS/TLS/CDN/BD/kesh/şina barlagy, goýberilişleriň düşündirişleri.
5. Mitigirleýji hereketler: yza gaýdmak/kanareýka ↓, zaýalanma baýdaklary, üpjün edijiniň faýloweri, çäklendirmeler/retraýalar.
6. Aragatnaşyk: yzygiderli täzelenmeler (format: Impact → Diagnostika → Hereketler → Yz. täzelenme).
7. Dikeldiş we barlamak: N aralyk ýaşyl zolakda daşarky sintetika + SLI.
8. Debrief (AAR): 15-30 min - faktlar, netijeler, CAPA.

7) Ssenarileriň mysallary (katalog)

Tölegleriň şowlulygynyň peselmegi: üpjün ediji A bir ýurtda pese gaçýar; garaşylýan hereketler - traffigi gaýtadan paýlamak, ýönekeýleşdirilen UX-ni goşmak, aragatnaşyk.
DNS şowsuzlygy: ýazgy hatasy/TTL, ulanyjylaryň käbiri domeni goldamaýar; garaşylýan ädimler - fiks/folbek, CDN arassalamak, status-täzelenmeler.
Möhleti geçen TLS şahadatnamasy: köne müşderiler üçin el çarpmak bozulýar; zynjyryň gyssagly uzalmagyna we barlanmagyna garaşylýar.
Kafka lag: KYC/AML hadysalarynda gijikdirmegiň ýokarlanmagy; garaşylýanlar - konsumerleri ulaltmak, öndürijileri çäklendirmek.
BD p99 ↑ we ösüş 5xx: dar indeksler, konnektleriň çäkleri; garaşmak - ficha-baýdaklar, çäkler, hotfix/yza gaýdyp gelmek.
Sebitleýin şowsuzlyk: AZ/PoP öçürmek; garaşmak - GSLB/Anycast geçiş, maglumatlary barlamak we SLO.
Aragatnaşyk Drill: hemme zat "ýaşyl", ýöne şablonlary, aralyklary we Legal/PR bilen ylalaşygy barlaýarys.

8) "Injekt" şablony (kartoçka)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) Howpsuzlyk we gabat gelmek

Prod-simulýasiýa - diňe tersine: fiç-baýdaklar, traffigi kiçi bölekler bilen geçirmek, okamak üçin göçürmeler, "şadow traffic".
Giriş gözegçiligi/audit: ChatOps/paypline arkaly ähli hereketler; üýtgemeýän ammarda magazinesurnallar.
PII/syrlar - okuw artefaktlarynda ulanylmaýar; maglumatlar şahsylaşdyryldy.
Düzgünleşdiriji: eger simulýasiýa müşderi aragatnaşygyna täsir etse - hususy kanallarda "taglymat" belligi; köpçüligiň ýazgylaryna öýkünilmeýär.

10) Baha bermek we AAR → RCA → CAPA

AAR (After Action Review) - türgenleşiklerden soň derrew: nämä garaşýandyklaryny/nämäniň işländigini gördüler/görmediler.
RCA - RCA şablonyna laýyklykda möhüm şowsuzlyklar üçin (mysal üçin, eskalasiýa işlemedi).
CAPA - täsiriň eýeleri/möhletleri/metrikleri (pleýbuklarda, alertlerde, arhitekturada üýtgeşmeler) bilen hereketleriň sanawy.
Gözegçilik nokatlary - D + 14/D + 30: ýerine ýetirilişi barlamak, gowşak ýerler boýunça gaýtadan kiçi gazma.

11) Dokumentasiýa we artefaktlar

Simulýasiýa meýilnamasy: maksatlar, ssenariýa, injektler, gatnaşyjylar, penjireler, üstünlik ölçegleri.
Timline (UTC): T0...Tn, IC çözgütleri, tehniki ädimler, täzelenmeler.
Daşbordlaryň/bloglaryň suratlary, alertleriň we statuslaryň saklanmagy.
Jemleýji hasabat: metrikler, pleýbuklar bilen tapawutlar, CAPA.
Resminamalary täzelemek: runbook/SOP/kontaktlary düzetmek, täze dashbordlara baglanyşyklar.

12) Ýygylyk we gurşaw

Tabletop: aýda 2-4 gezek (esasy akymlar we rollar boýunça).
"Game Days" aýda 1-2 gezek.
Chaos-cases (prod-light): çärýekde, berk geýtlere görä.
DR-maşklar: hakyky geçiş bilen ýylda 1-2 gezek.
Comms-drill: her aý şablonlary we SLA täzelenmelerini taýýarlamak üçin.

13) Çek-listler

Simulýasiýadan öň

• Ssenariýa, "injektler", üstünlik ölçegleri, howpsuzlyk penjireleri.
• Rollar, kanallar, şablonlaryň ýagdaýy ylalaşyldy.
• Stendleriň/baýdaklaryň/daşbordlaryň elýeterliligi barlandy.
• Ýatyrmak we yzyna gaýtarmak meýilnamasy resminamalaşdyryldy.
• Töwekgelçilikler we SLO/müşderilere täsiri baha berilýär.

Wagtynda

• SEV berildi, erkin goýberildi (zerur bolsa).
• Programma boýunça aragatnaşyk, format saklandy.
• Audit gurallary arkaly ähli hereketler.
• Scribe teswirnama ýöredýär, artefaktlary ýygnaýar.
• Howpsuzlyk: gadaganlyklar/çäklendirmeler berjaý edilýär.

• AAR geçirildi, hasabat saklandy.
• RCA (şowsuzlykda) başlandy.
• CAPA eýeleri/möhletleri bilen resmileşdirildi.
• Runbook/SOP/aragatnaşyklar täzelendi.
• Gowşak ýerlere retest meýilleşdirildi.

14) Anti-patternler

"Meýilnamanyň ýerine improwizasiýa" - üstünlik gazanmagyň ssenariýasy we ölçegleri ýok.
Geýtsiz we ýatyryş meýilnamasyz töwekgelçilikler - maşklar hadysalara öwrülýär.
Diňe aragatnaşyk we eskalasiýa bolmazdan tehnikany işlemek.
AAR/RCA ýoklugy - topar okamaýar.
Syn edilmezden we SLO gardrailleri bolmazdan.
Aç-açan däl hukuklar: önümdäki gizlin el bilen düzedişler.

15) Kiçi şablonlar

Gün tertibi Game Day (60-90 min)

1. Brief (5 minut) → Maksatlary, rollary, howpsuzlygy.
2. Ssenarisi T0 (5 min) → Alamatlaryň berilmegi.
3. Triaj/eskalasiýa (10 min).
4. Diagnostika + hereket (30-45 minut) - 1-2 "injekt".
5. Dikeldiş we tassyklama (10 min).
6. AAR (15 min) - netijeler, CAPA.

AAR şablon (gysga)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) Jemleýji

Wakalaryň simulýasiýasy adamlar, prosesler we binagärlik üçin "simulýator". Yzygiderli, howpsuz we ölçegli maşklar krizisleri tertibe öwürýär: topar has çalt reaksiýa bildirýär, oýun kitaplary hakykatdanam işleýär, arhitektura has durnukly, düzgünleşdiriji we müşderiler operasiýa funksiýasynyň kämillik derejesini görýärler. Esasy zat anyk maksatlar, howpsuz oýunlar, gowy metrikler we hökmany AAR → RCA → CAPA.