Hodisalar simulyatsiyasi

1) Nega simulyatsiyalar o’tkazish

• MTTD/MTTA/MTTRni kamaytiradi, qaytish va feyloverlarga ishonchni oshiradi;
• jarayonlardagi bo’shliqlarni (eskalatsiya, kommunikatsiyalar) va arxitektura zaifliklarini aniqlaydi;
• RCA → CAPAga kirish va hujjatlarni yaxshilash (runbook/SOP);
• SLA/regulyatorlar/audit talablariga tayyorligini tasdiqlaydi.

2) Simulyatsiya formatlari

Tabletop (stol) - taxtada/chatda so’zlashuv stsenariysi: arzon, tez, rollar va kommunikatsiyalarni ishlab chiqish uchun juda yaxshi.
Game Day - pleybuklar bo’yicha amaliy qadamlar; prodda - faqat aniq geytlar bilan xavfsiz, qaytariladigan harakatlar.
Chaos Engineering - barqarorlikni va SLO-geytlarni tekshirish uchun boshqariladigan nosozliklar (bog’liqliklar/tarmoqlar/uzilishlar).
DR-mashqlar (Disaster Recovery) - AZ/mintaqani rad etish, bekaplardan tiklash, provayderlarni almashtirish.
Comms-drill - sof aloqa: maqom sahifasi, xabar shablonlari, PR/Legal.

3) Rollar va javobgarlik

Incident Commander (IC) - qarorlar qabul qiladi, reja tuzadi, deeskalatsiya qiladi.
Tech Lead (TL) - diagnostika, texnik «injektlar» va gipotezalar.
Comms Lead (CL) - ichki/tashqi yangilanishlar, maqom sahifasi.
Scribe - protokol (taymline, harakatlar, qarorlar, artefaktlar).
Observers/Assessors - metrik va protseduralarga muvofiqligini aniqlaydi.
Red Team (xohishiga ko’ra) - kutilmagan «injektlar» ni kiritadi.

4) Simulyatsiyalar muvaffaqiyati metrikasi

MTTD/MTTA/MTTR sintetik hodisa bo’yicha.
Comm SLA: yangilanishlarning o’z vaqtida va sifatli bajarilishi.
SLO-guardrails: burn-rate, tashqi sinov kvorumiga to’g "ri javob.
Runbook fidelity:% qadamlar hujjat boʻyicha bajarilgan, improvizatsiyasiz.
Escalation latency: kerakli rol/provayderni ulash tezligi.
Checklists pass-rate: «tayyor/qabul qilingan/yopilgan».
Noise & Fatigue: ortiqcha alertlar, on-call ortiqcha yuklash.
CAPA completion: simulyatsiyadan keyin bajarilgan harakatlar ulushi.

5) Tayyorgarlik: boshlanishidan oldin nima kerak

Maqsad va farazlar: nimani tekshirayotganimiz (jarayonlar, arxitektura, odamlar).
Ssenariy va «injektlar»: simptomlar/voqealarning tayminglar bilan ketma-ketligi.
Xavfsizlikni cheklash: qaytarib bo’lmaydigan o’zgarishlarni taqiqlash; bekor qilish nuqtalari.
Ma’lumotlar va stendlar: sintetik trafik, buzilish fich bayroqlari, xavfsiz kalitlar.
Hujjatlar: runbook/SOP havolalari, eskalatsiya, provayderlarning aloqa roʻyxati.
Kuzatish darajasi: oldindan belgilangan dashbordlar/alertlar, test-kanareykalar.
Logistika: vaqt/davomiylik, ishtirokchilar, war-room kanali, yozuv.

6) Simulyatsiya o’tkazish: bosqichlar

1. Brief (5-10 daqiqa): IC maqsadlar, rollar, xavfsizlik qoidalari, yakunlash mezonlariga o’xshaydi.
2. T0 - Simptomlar injekti: alert (lar), biznes-SLI pasayishi, provayderning tashqi maqomi.
3. Triaj va eskalatsiya: SEV, freeze relizlarini berish, kerakli rollarni ulash.
4. Diagnostika: gipotezalar, DNS/TLS/CDN/DD/kesh/shinalarni tekshirish, relizlarni izohlash.
5. Mitigatsion harakatlar: orqaga qaytish/kanareyka ↓, degradatsiya ficha-bayroqlari, provayderning failover, limitlar/retraylar.
6. Kommunikatsiyalar: muntazam yangilanishlar (format: Impakt → Diagnostika → Harakatlar → Izlar. ).
7. Qayta tiklash va verifikatsiya qilish: N oraliqdagi yashil zonada tashqi sintetika + SLI.
8. Debrief (AAR): 15-30 min - faktlar, xulosalar, CAPA.

7) Ssenariy namunalari (katalog)

To’lovlar muvaffaqiyatining pasayishi: provayder A bir mamlakatda tanazzulga uchraydi; kutilayotgan harakatlar - trafikni qayta taqsimlash, soddalashtirilgan UXni yoqish, kommunikatsiya.
DNS muvaffaqiyatsiz tugadi: yozish/TTL xatosi, foydalanuvchilarning bir qismi domenni bekor qilmaydi; kutilayotgan qadamlar - fikslar/folbek, CDN tozalash, maqom yangilanishlari.
Muddati o’tgan TLS sertifikati: eski mijozlar uchun qo’l siqish buziladi; zanjirning avariya holatida uzaytirilishi va tekshirilishi kutilmoqda.
Kafka lag: KYC/AML hodisalarida kechikish ko’payishi; kutish - konsumerlarni ko’paytirish, prodyuserlarni cheklash.
BD p99 ↑ va o’sish 5xx: tor indekslar, konnektlar limiti; kutish - ficha-bayroqlar, limitlar, hotfix/orqaga qaytish.
Mintaqaviy nosozlik: AZ/PoP o’chirish; kutish - GSLB/Anycast o’zgartirish, ma’lumotlarni tekshirish va SLO.
Kommunikatsiya Drill: hamma narsa yashil, lekin biz shablonlarni, oraliqlarni va Legal/PR bilan muvofiqlashtirishni tekshiramiz.

8) «Injekt» shabloni (kartochka)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) Xavfsizlik va komplayens

Prod-simulyatsiyalar faqat orqaga qaytadigan: fich-bayroqlar, trafikni kichik qismlar bilan almashtirish, o’qish uchun replikalar, «shadow traffic».
Foydalanishni nazorat qilish/audit: ChatOps/paypline orqali barcha harakatlar; o’zgarmas ombordagi jurnallar.
PII/sirlar - o’quv artefaktlarida foydalanilmaydi; ma’lumotlar depersonalizatsiya qilingan.
Regulyator: agar simulyatsiya mijoz kommunikatsiyalariga ta’sir qilsa - xususiy kanallarda «o’quv» belgisi; ommaviy postlar taqlid qilinmaydi.

10) Baholash va AAR → RCA → CAPA

AAR (After Action Review) - mashqlardan so’ng darhol: nima kutilgan/nima ishlaganini ko’rgan/ko’rmagan.
RCA - RCA shabloniga ko’ra jiddiy muvaffaqiyatsizliklar uchun (masalan, eskalatsiya ishlamadi).
CAPA - effekt egalari/muddatlari/metriklari bilan harakatlar ro’yxati (pleybuklar, alertlar, arxitekturadagi o’zgarishlar).
Nazorat nuqtalari - D + 14/D + 30: bajarilishini tekshirish, zaif joylar bo’yicha takroriy mini-drill.

11) Hujjatlar va artefaktlar

Simulyatsiya rejasi: maqsad, stsenariy, injektlar, ishtirokchilar, derazalar, muvaffaqiyat mezonlari.
Taymline (UTC): T0...Tn, IC yechimlari, texnik qadamlar, yangilanishlar.
Dashbordlar/loglarning suratlari, alertlar va maqomlarning saqlanishi.
Yakuniy hisobot: metriklar, pleybuklar bilan tafovutlar, CAPA.
Hujjatlarni yangilash: runbook/SOP/kontaktlarni tahrirlash, yangi dashbordlarga havolalar.

12) Chastota va qamrov

Tabletop: oyiga 2-4 marta (asosiy oqimlar va rollar bo’yicha).
Game Days steyjda: oyiga 1-2 marta.
Chaos-keyslar (prod-layt): har chorakda, qat’iy ravishda geytlar bo’yicha.
DR-mashqlar: real o’zgartirish bilan yiliga 1-2 marta.
Comms-drill: har oyda shablon va SLA yangilanishlarini mashq qilish.

13) Chek-varaqlar

Simulyatsiyadan oldin

• Stsenariy, «injektlar», muvaffaqiyat mezonlari, xavfsizlik oynalari.
• Rollar, kanallar, namunalar maqomi kelishilgan.
• Stendlar/bayroqlar/dashbordlarning mavjudligi tekshirildi.
• Bekor qilish va qaytarish rejasi hujjatlashtirilgan.
• Xavflar va SLO/mijozlarga ta’siri baholandi.

• SEV berilgan, freze relizlar (agar kerak bo’lsa).
• Aloqa jadvali, formati saqlangan.
• Barcha harakatlar audit asboblari orqali.
• Scribe protokolni boshqaradi, artefaktlarni yig’adi.
• Xavfsizlik: taqiqlar/cheklovlarga rioya qilinadi.

• AAR amalga oshirildi, hisobot saqlandi.
• RCA (muvaffaqiyatsiz tugaganda) ishga tushirildi.
• CAPA egalari/muddatlari bilan rasmiylashtirilgan.
• Yangilangan runbook/SOP/kontaktlar.
• Zaif joylarni retest qilish rejalashtirilgan.

14) Anti-patternlar

«Reja o’rniga improvizatsiya» - muvaffaqiyat uchun hech qanday stsenariy va mezon yo’q.
Geytsiz va bekor qilish rejasiz xatarlar - mashqlar hodisaga aylanadi.
Faqat kommunikatsiya va eskalatsiyasiz texnikani ishlab chiqish.
AAR/RCA yo’qligi - jamoa o’qimaydi.
Kuzatuvsiz prod-xaos va SLO-gardreylar.
Noaniq huquqlar: mahsulotdagi yashirin qo’lda tuzatishlar.

15) Mini-shablonlar

Game Day kun tartibi (60-90 daqiqa)

1. Brief (5 daqiqa) → Maqsadlar, rollar, xavfsizlik.
2. Ssenariy T0 (5 min) → Simptomlarni taqdim etish.
3. Triaj/eskalatsiya (10 daqiqa).
4. Diagnostika + ta’sir (30-45 daqiqa) - 1-2 «injekt».
5. Tiklash va verifikatsiya qilish (10 daqiqa).
6. AAR (15 min) - xulosalar, CAPA.

AAR namunasi (qisqacha)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) Jami

Hodisalar simulyatsiyasi odamlar, jarayonlar va arxitektura uchun «simulyator» dir. Muntazam, xavfsiz va o’lchovli mashg’ulotlar inqirozlarni odatiy holga aylantiradi: jamoa tezroq javob beradi, pleybuklar haqiqatan ham ishlaydi, arxitektura barqarorroq, regulyator va mijozlar esa operatsion funksiyaning yetukligini ko’rishadi. Asosiysi - aniq maqsadlar, xavfsiz geytlar, yaxshi metriklar va majburiy AAR → RCA → CAPA.