Симулятсияи ҳодисаҳо

1) Чаро моделсозӣ мекунанд

• MTTD/MTTA/MTTR поёнтар, баланд бардоштани эътимод ба зарбаҳо ва fylovers;
• муайян кардани холигии равандҳо (шиддат, иртибот) ва камбудиҳои меъморӣ;
• ҳамчун вуруд ба RCA → CAPA ва беҳтар кардани ҳуҷҷатгузорӣ хизмат мекунад (runbook/SOP);
• Тасдиқи омодагӣ ба талаботи SLA/танзимкунанда/аудит.

2) Форматҳои моделиронӣ

Планшет (планшет) - скрипти гуфтугӯӣ дар тахта/чат: арзон, зуд, барои амалияи нақшҳо ва иртибот бузург аст.
Рӯзи бозӣ (машқҳо дар саҳна/фурӯш бо маҳдудиятҳо) - қадамҳои амалӣ барои дафтарҳои бозӣ; ҳангоми фурӯш - танҳо амалҳои бехатар ва баръакс бо дарвозаҳои равшан.
Chaos Engineering - камбудиҳои идорашаванда (қатъ кардани вобастагӣ/шабакаҳо/гиреҳҳо) барои санҷиши устуворӣ ва дарвозаҳои SLO.
Машқҳои DR (Барқарорсозии офатҳои табиӣ) - нокомии AZ/минтақа, барқароршавӣ аз нусхаҳои эҳтиётӣ, провайдерҳои ивазкунанда.
Comms-пармакунӣ - иртиботи соф: саҳифаи ҳолат, қолабҳои паём, PR/Ҳуқуқӣ.

3) Нақшҳо ва масъулиятҳо

Фармондеҳи ҳодисаҳо (IC) - қарор қабул мекунад, нақша, таназзулро пеш мебарад.
Tech Lead (TL) - ташхис, "тазриқи техникӣ" ва гипотезаҳо.
Comms Lead (CL) - навсозиҳои дохилӣ/беруна, саҳифаи ҳолат.
Скрипт - протокол (ҷадвал, амалҳо, қарорҳо, артефактҳо).
Нозирон/Баҳодиҳандагон - ченакҳои сабт ва риояи тартибот.
Гурӯҳи сурх (ихтиёрӣ) - "тазриқи ғайричашмдошт" -ро ҷорӣ мекунад.

4) Нишондиҳандаҳои муваффақияти моделиронӣ

MTTD/MTTA/MTTR аз ҷониби ҳодисаи синтетикӣ.
Comm SLA: саривақтӣ ва сифати навсозиҳо.
SLO-guardrails: аксуламали дуруст ба сатҳи сӯхтан, кворуми намунаҳои беруна.
Вафодории дафтарчаи корӣ:% қадамҳои дар як ҳуҷҷат анҷомёфта, импровизатсия нестанд.
Таъхири шиддат - суръати пайваст кардани нақш/провайдери дилхоҳ.
Рӯйхати назоратӣ сатҳи гузариш: риояи "омода/қабулшуда/пӯшида".
Ғавғо ва хастагӣ: огоҳиҳои иловагӣ, изофабори занг.
Анҷоми CAPA: фоизи амалҳои анҷомёфта пас аз моделиронӣ.

5) Омодагӣ: он чизе ки ба шумо пеш аз оғоз лозим аст

Мақсад ва фарзияҳо: мо чиро тафтиш мекунем (равандҳо, меъморӣ, одамон).
Сенария ва "тазриқ": пайдарпаии аломатҳо/рӯйдодҳо бо вақт.
Маҳдудиятҳои амниятӣ: манъи тағироти бебозгашт; нуқтаҳои барҳамдиҳӣ.
Маълумот ва стендҳо: трафики синтетикӣ, парчамҳои хусусияти таназзул, калидҳои бехатар.
Ҳуҷҷатҳо: истинодҳо ба runbook/SOP, шиддат, рӯйхати тамосҳои провайдерҳо.
Мушоҳида: панелҳои пешакӣ қайдшуда/огоҳиҳо, канарейкаҳои санҷишӣ.
Логистика: вақт/давомнокӣ, иштирокчиён, канали ҳуҷраи ҷанг, сабт.

6) Иҷрои моделиронӣ: марҳилаҳо

1. Мухтасар (5-10 дақ.): IC ба ҳадафҳо, нақшҳо, қоидаҳои бехатарӣ, меъёрҳои анҷом монанд аст.
2. T0 - Тазриқи аломатҳо: ҳушдор (ҳо), тарки бизнес SLI, вазъи берунии провайдер.
3. Сегона ва шиддат: таъини SEV, озод кардани релизҳо, пайваст кардани нақшҳои зарурӣ.
4. Ташхис: гипотезаҳо, санҷиши DNS/TLS/CDN/DB/кэш/автобус, эзоҳҳо.
5. Амалҳои сабуккунанда: otkat/kanareyka↓, парчамҳои таназзул, нокомии провайдер, маҳдудиятҳо/ретраҳо.
6. Алоқа: навсозиҳои мунтазам (формат: Impakt → Diagnostika → Deystviya → Sled). навсозӣ).
7. Барқарорсозӣ ва санҷиш: синтетикаи беруна + SLI дар фосилаи минтақаи сабз N.
8. Debrief (AAR): 15-30 дақиқа - далелҳо, хулосаҳо, CAPA.

7) Сенарияҳои намунавӣ (каталог)

Муваффақияти пастравии пардохт: Таъминкунандаи А дар як кишвар таназзул меёбад; амалҳои интизоршаванда - азнав тақсимоти трафик, имкон медиҳад UX соддакардашуда, иртибот.
Нокомии DNS: хатои навиштан/TTL, баъзе корбарон доменро ҳал намекунанд; қадамҳои интизоршаванда - ислоҳ/бозгашт, клиринги CDN, навсозии вазъ.
Мӯҳлати эътибори TLS: танаффуси дастӣ барои муштариёни кӯҳна; тамдиди ҳолати фавқулодда ва санҷиши занҷир.
Кафка ақиб мондааст: афзоиши таъхир дар чорабиниҳои KYC/AML; интизориҳо - миқёси истеъмолкунандагон, маҳдуд кардани истеҳсолкунандагон.
Пойгоҳи додаҳои p99 ва афзоиш 5xx: нишондиҳандаҳои танг, маҳдудияти пайвастшавӣ; интизориҳо - парчамҳо, маҳдудиятҳо, hotfix/replack.
Нокомии минтақавӣ: Қатъи AZ/POP; интизорӣ - Гузариши GSLB/Anycast, санҷиши маълумот ва SLO.
Машқҳои коммуникатсионӣ: ҳама чиз "сабз" аст, аммо мо намунаҳо, фосилаҳо ва ҳамоҳангсозиро бо Legal/PR тафтиш мекунем.

8) Қолаби "тазриқ" (корт)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) Бехатарӣ ва риояи

Моделҳои истеҳсолӣ - танҳо баръакс: парчамҳои хусусӣ, гузариши трафик дар фраксияҳои хурд, эродҳо барои хондан, "трафики сояӣ".
Назорати дастрасӣ/аудит: ҳама амалҳо тавассути Chat-Ops/қубур; Сабтҳо дар анбори тағирнопазир.
PII/асрҳо - дар омӯзиши артефактҳо истифода намешаванд; маълумот беэътимод.
Танзим: агар моделиронӣ ба муоширати муштариён таъсир расонад - аломати "таълим" дар каналҳои хусусӣ; мансабҳои ҷамъиятӣ тақлид карда намешаванд.

10) Арзёбӣ ва AAR → RCA → CAPA

AAR (After Action Review) - фавран пас аз машқ: чӣ интизор буд/дида шуд, чӣ кор кард/не.
RCA - барои камбудиҳои назаррас (масалан, шиддат кор накард) мувофиқи қолаби RCA.
CAPA - рӯйхати амалҳо бо соҳибон/мӯҳлатҳо/ченакҳои эффект (тағирот дар дафтарҳои бозӣ, огоҳиҳо, меъморӣ).
Нуқтаҳои гузаргоҳ - D + 14/D + 30: санҷиши иҷро, машқҳои такрорӣ дар нуқтаҳои осебпазир.

11) Ҳуҷҷатгузорӣ ва артефактҳо

Нақшаи моделиронӣ: ҳадафҳо, сенария, тазриқ, иштирокчиён, тирезаҳо, меъёрҳои муваффақият.
Хати вақт (UTC): T0...Tn, ҳалли IC, қадамҳои техникӣ, навсозиҳо.
Тасвирҳои панели/гузоришҳо, иқтибосҳои огоҳиҳо ва статусҳо.

Ҳисоботи мухтасар - Нишондиҳандаҳо, номутобиқатии дафтарчаҳо, CAPA

Навсозиҳои ҳуҷҷатгузорӣ: таҳрири runbook/SOP/тамос, пайвандҳо ба панелҳои нав.

12) Басомад ва фарогирӣ

Планшет: дар як моҳ 2-4 маротиба (аз рӯи ҷараёнҳо ва нақшҳои асосӣ).
Рӯзҳои бозӣ дар марҳила: дар як моҳ 1-2 маротиба.
Ҳолатҳои бетартибӣ (prod-light): ҳар семоҳа, ба таври қатъӣ аз ҷониби дарвозаҳо.
Машқҳои DR: дар як сол 1-2 маротиба бо гузариши воқеӣ.
Comms-машқ: ҳар моҳ барои омӯзиши қолабҳо ва навсозиҳои SLA.

13) Рӯйхати санҷишҳо

Пеш аз моделсозӣ

• Сенария, "тазриқ", меъёрҳои муваффақият, тирезаҳои бехатарӣ.
• Нақшҳо, каналҳо, ҳолати қолабҳо мувофиқанд.
• Мавҷудияти стендҳо/парчамҳо/панелҳои санҷидашуда.
• Нақшаи бозхонд ва бозсозӣ ҳуҷҷатгузорӣ шудааст.
• Хатарҳо ва таъсир ба SLO/муштариён арзёбӣ карда мешаванд.

Дар давоми

• SEV таъин шудааст, релизҳоро ях кунед (агар лозим бошад).
• Иртибот аз рӯи ҷадвал, формат мувофиқ аст.
• Ҳама амалҳо тавассути воситаҳои аудит.
• Scribe протокол нигоҳ медорад, артефактҳо ҷамъ меорад.
• Бехатарӣ: мамнӯъиятҳо/маҳдудиятҳо риоя карда мешаванд.

Баъд аз

• AAR ҷойгир карда шуд, гузориш захира карда шуд.
• RCA (дар ҳолати нокомӣ) оғоз карда мешавад.
• CAPA-ҳо бо соҳибон/мӯҳлатҳо дода мешаванд.
• Навсозии runbook/SOP/алоқаҳо.
• Санҷиши осебпазирӣ ба нақша гирифта шудааст.

14) Анти-намунаҳо

"Импровизатсия ба ҷои нақша" - ягон скрипт ва меъёрҳои муваффақият вуҷуд надоранд.
Хатарҳо бидуни дарвоза ва нақшаи бекоркунӣ - машқҳо ба ҳодиса табдил меёбанд.
Кор кардани танҳо таҷҳизот бидуни иртибот ва шиддат.
Набудани AAR/RCA - даста таълим намегирад.
Prod-бетартибӣ бидуни мушоҳида ва SLO-gardrail.
Ҳуқуқҳои ношаффоф: таҳрири дастии махфӣ дар prod.

15) Қолабҳои хурд

Рӯзномаи рӯзи бозӣ (60-90 дақиқа)

1. Мухтасар (5 дақ.) → Ҳадафҳо, нақшҳо, амният.
2. Сенарияи T0 (5 дақ.) → Муаррифии аломатҳо.
3. Триаж/шиддат (10 дақиқа).
4. Ташхис + амал (30-45 дақ.) - 1-2 "тазриқ".
5. Барқарорсозӣ ва санҷиш (10 дақиқа).
6. ААР (15 дақ.) - хулосаҳо, CAPA.

Қолиби AAR (Кӯтоҳ)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) Сатри поён

Моделсозии ҳодисаҳо барои одамон, равандҳо ва меъморӣ "симулятор" мебошанд. Машқҳои мунтазам, бехатар ва ченшаванда бӯҳронро ба реҷа табдил медиҳанд: даста тезтар вокуниш нишон медиҳад, китобҳои бозӣ воқеан кор мекунанд, меъморӣ устувортар аст ва танзимгар ва мизоҷон камолоти функсияро мебинанд. Чизи асосӣ ҳадафҳои возеҳ, дарвозаҳои бехатар, ченакҳои хуб ва ҳатмии AAR → RCA → CAPA мебошанд.