Афзоиши ҳодисаҳо

1) Мақсад ва принсипҳо

Афзоиши ҳодисаҳо раванди идорашавандаи зуд ҷалб кардани нақшҳо ва захираҳои дуруст барои кам кардани таъсир ба корбарон ва нишондиҳандаҳои тиҷорат мебошад.

• Суръат аз идеализм муҳимтар аст. Беҳтар аст, ки ҳодисаро барвақттар эълон кунед ва авҷ гиред, нисбат ба дер шудан.
• Фармони ягона. Як нафаре, ки барои ҳалли ин масъала масъул аст, Фармондеҳи ҳодисаҳо (IC) мебошад.
• Шаффофият. Ҳолати возеҳ ва каналҳои иртиботӣ барои ҷонибҳои манфиатдори дохилӣ ва хориҷӣ.
• Ҳуҷҷатгузорӣ. Ҳама марҳилаҳо, қарорҳо ва мӯҳлатҳо барои аудит ва такмил гирифта мешаванд.

2) Дараҷаи вазнинӣ (сатҳи SEV/P)

• SEV-0/P0 (танқидӣ) - пурра дастрас набудани функсияи асосӣ (воридшавӣ/пардохт), ихроҷи маълумот, хавфи ҳуқуқӣ. Пейджинги фаврии тамоми ядро, релизҳоро ях кунед.
• SEV-1/P1 (баланд) - таназзули p95/p99, зиёд шудани ҳиссаи хатогиҳо/нокомӣ дар раванди асосӣ, дастнорас будани минтақа/провайдер.
• SEV-2/P2 (миёна) - таназзули қисман барои як гурӯҳи маҳдуд (минтақа, провайдер), роҳи мушкиле мавҷуд аст.
• SEV-3/P3 (паст) - барои корбар муҳим нест, аммо таваҷҷӯҳро талаб мекунад (таъхири пасзаминаи ETL, гузориши мӯҳлатнок).

• Радиуси Lesion (чӣ қадар корбарон/гардиш) × давомнокӣ × ҳассосият (танзимкунанда/PR) → сатҳи SEV.

3) Коркарди KPI

MTTD (вақти муайянкунӣ) - аз оғози ҳодиса то сигнали аввал.
MTTA (Вақти қабул) - Сигнал ба эътирофи IC.
MTTR (вақти барқароршавӣ) - то барқарор шудани SLO/функсия.
Таъхири афзоиш - аз тасдиқ то пайваст кардани нақш/фармони дилхоҳ.
Меъёри бозсозӣ - ҳиссаи ҳодисаҳо пас аз "ҳалли" дубора боз шуд.
Comm SLA - мутобиқат бо фосилаҳои навсозиҳои беруна/дохилӣ.

4) Нақшҳо ва масъулиятҳо (RACI)

Фармондеҳи ҳодисаҳо (IC): соҳиби ҳалли масъала сатҳ, нақша, яхкунӣ, шиддат, таназзулро муқаррар мекунад. Ислоҳот наменависад.
Tech Lead (TL): ташхиси техникӣ, фарзияҳо, ҳамоҳангсозии муҳандисон.
Comms Lead (CL): саҳифаҳои мақом, муоширати муштарӣ ва дохилӣ, ҳамоҳангсозӣ бо Legal/PR.
Скрипт: сабти дақиқи далелҳо, мӯҳлатҳо, қарорҳои қабулшуда.
Алоқаҳо: намояндагони провайдерҳо/дастаҳои беруна (пардохтҳо, KYC, хостинг).
Муҳандисони занг: иҷрои нақша, роҳандозии китобҳои бозӣ/роликҳо.

Ҷадвалҳо ва нусхаҳои эҳтиётии ҳар як нақшро таъин кунед.

5) Каналҳо ва артефактҳо

Канали ҳуҷраҳои ҷангӣ (Chatops): як нуқтаи ҳамоҳангсозӣ (Slack/Teams) бо қолаби эзоҳҳо (версияҳо, парчамҳо, канарейкаҳо).
Пули видео барои SEV-1 +.
Чиптаи ҳодиса (як саҳифа): ID, SEV, IC, иштирокчиён, гипотеза/ташхис, қадамҳо, ETA, ҳолат, таъсир, пайвандҳо ба графикҳо.
Саҳифаи ҳолат: ҷамъиятӣ/дохилӣ; ҷадвали навсозиҳои мунтазам (масалан, ҳар 15-30 дақиқа барои SEV-1 +).

6) Қуттиҳои вақт ва фосилаҳои стандартӣ

T0 (дақиқа 0-5): IC таъин шудааст, SEV таъин карда шудааст, релизҳо (агар лозим бошад), ҳуҷраи ҷангӣ кушода мешавад.
T + 15 дақ: аввалин паёми оммавӣ/дохилӣ (чӣ таъсир дорад, роҳи корӣ, равзанаи навсозии навбатӣ).
T + 30/60 дақиқа: болоравии сатҳи оянда (платформа/DB/амният/провайдерҳо), агар динамикаи устувор вуҷуд надошта бошад.
Навсозиҳои мунтазам: SEV-0: ҳар 15 дақиқа; SEV-1: ҳар 30 дақиқа; SEV-2 +: ҳар соат.

7) Қоидаҳои авҷгирии худкор (сиёсати триггер)

• Буҷаи хатогии сӯзондан аз ҳадди дар тирезаҳои кӯтоҳ ва дароз.
• Кворуми намунаҳои беруна: ≥ 2 минтақа таназзули HTTP/TLS/DNS-ро сабт мекунанд.
• Бизнес SLI (муваффақияти пардохтҳо/бақайдгирӣ) аз SLO поёнтар аст.
• Имзоҳои амниятӣ: ихроҷи гумонбаршуда/созиш.
• Сигнали провайдер: ҳолати webhook "қатъшавии асосӣ".

8) Раванд аз кашф то ҳалли

1. Эъломияи ҳодисаҳо (IC): SEV, фарогирӣ, яхкунӣ, оғози дафтарчаи бозӣ.
2. Ташхис (TL): гипотезаҳо, ҷудокунии радиус (минтақа, провайдер, хусусият), санҷишҳо (DNS/TLS/CDN/DB/кэш/автобус).
3. Амалҳои сабуккунанда (ғалабаҳои зуд): бозгашт/канарейка ↓, хусусияти парчами таназзул, нокомии провайдер, меъёри маҳдудият, қабати кэш.
4. Иртибот (CL): саҳифаи ҳолат, муштариён/шарикон, ҳуқуқӣ/PR, навсозиҳо аз рӯи ҷадвал.
5. Тасдиқи барқароршавӣ: синтетикаи беруна + ченакҳои воқеӣ (SLI), бартараф кардани ях.
6. Таназзул: коҳиш дар SEV, гузариш ба мушоҳида N дақиқа/соат.
7. Пӯшидан ва RCA: омодасозии пас аз марг, ашёҳои амал, соҳибон ва мӯҳлат.

9) Кор бо провайдерҳои беруна

Намунаҳои худ ба провайдерҳо аз якчанд минтақаҳо + намунаҳои сабти дархостҳо/хатогиҳо.
Созишномаҳои авҷ гирифтан (тамосҳо, SLA-ҳои вокуниш, афзалият, вебхукҳои вазъ).
Нокомии худкор/интиқоли ҳаракат тавассути провайдери SLO.
Асоси далелҳо: мӯҳлат, дархостҳо/посухҳои намунавӣ, графикаи таъхир/хатогӣ, ID чиптаи провайдер.

10) Танзим, бехатарӣ ва PR

Security/P0: ҷудокунӣ, ҷамъоварии артефактҳо, кам кардани ифшои маълумот, огоҳиҳои ҳатмӣ (дохилӣ/беруна/танзимкунанда).
Ҳуқуқӣ: тасдиқи матни навсозиҳои беруна, баҳисобгирии шартномаҳои SLA/ҷарима.
PR/Хизматрасонӣ ба мизоҷон: қолабҳои ҷавоби тайёр, саволҳо ва саволҳо, ҷубронпулӣ/қарзҳо (агар лозим бошад).

11) Қолибҳои иттилоот

• "Мо як ҳодисаи SEV-1, ки ба [функсия/минтақа] таъсир мерасонад, таҳқиқ карда истодаем. Аломатҳо: [мухтасар]. Мо ҷараёни кориро фаъол кардем [тавсиф]. Навсозии навбатӣ дар [вақт]"

• "Ташхис: [гипотеза/тасдиқ]. Амалҳо: [провайдери ивазшуда/барориши бозгашт/таназзули фаъол]. Таъсир ба [фоиз/когорт] кам карда шуд. Навсозии навбатӣ [вақт]"

• "Ҳодиса SEV-1 ҳал шуд. Сабаб: [реша]. Вақти барқароршавӣ: [MTTR]. Қадамҳои навбатӣ: [ислоҳ/санҷиш/тамошои N соат]. Пост-марг - [вақте/дар куҷо]"

12) Китобҳои бозӣ (намунавӣ)

Муваффақияти пасти пардохтҳо: кам кардани ҳиссаи провайдери А, интиқоли X% ба B; Фаъол кардани degrade-payments-UX ретраҳоро дар маҳдудиятҳо дар бар мегирад; фармони finро огоҳ кунед.
афзоиши p99 API: кам кардани канарияи версияи нав; хусусиятҳои вазнинро хомӯш кунед; зиёд кардани кэш-TTL; санҷед индексатсияҳо/пайвастҳои DB.
Масъалаи DNS/TLS/CDN: сертификатҳо/занҷирҳоро тафтиш кунед; Навсозии сабт Гузариш ба интизории CDN кэшро барқарор кунед.
Шубҳаи амниятӣ: ҷудокунии гиреҳ, гардиши калидӣ, имкон додани қалам MTLS, ҷамъоварии артефактҳо, огоҳиномаи ҳуқуқӣ.

13) Меъёрҳои коҳиш ва "ҳалшуда"

• SLI/SLO устувор дар минтақаи сабз ≥ N фосила;
• амалҳои сабуккунанда ва мушоҳида гузаронида шуданд - бидуни регрессия;
• барои синфи амният - векторҳо пӯшида тасдиқ карда мешаванд, калидҳо/сиррҳо иваз карда мешаванд.

Пӯшида - танҳо пас аз ислоҳи ҷадвал, соҳибони ашёҳо ва мӯҳлатҳо.

14) Пас аз қатл (ҷазо дода намешавад)

1. Далелҳо (ҷадвал, он чизе ки корбарон/ченакҳо дидаанд).

2. Сабаби реша (техникӣ/раванд).

3. Он чизе, ки дар шиддат кор мекард/кор накард.

4. Тадбирҳои пешгирикунанда (санҷишҳо, огоҳиҳо, маҳдудиятҳо, меъморӣ).

5. Нақшаи амал бо мӯҳлатҳо ва соҳибон.

6. Истинод ба буҷаи хатогӣ ва аз нав дида баромадани SLO/равандҳо.

15) Ченакҳои камолоти раванд

Фоизи ҳодисаҳо қабл аз шикоятҳои корбар гузориш дода шуда буданд.
MTTA аз рӯи сатҳи SEV; вақт барои пайваст кардани нақши дилхоҳ.
Мувофиқат бо фосилаҳои навсозӣ (Comm SLA).
Фоизи ҳодисаҳое, ки тавассути китобҳои бозӣ бидуни дастури "эҷодкорӣ" ҳал шудаанд.
Иҷрои ашёҳои амал аз пост-марг сари вақт.

16) Анти-намунаҳо

"Касе коре мекунад" - IC/нақшҳо нест.
Полифония дар утоқи ҷанг баҳс дар бораи версияҳо ба ҷои амал аст.
Эъломияи дер → аз даст додани вақт барои ҷамъоварии одамон.
Не шарҳи яхкунӣ ва озодкунӣ - тағироти ҳамзамон сабабро ниқоб мекунанд.
Набудани иртиботи беруна - шикоятҳои афзоянда/хатари PR.
Пӯшидани бидуни қатл ва амалҳо - мо ҳамон хатогиҳоро такрор мекунем.

17) Рӯйхати санҷиши IC (корти ҷайб)

• SEV таъин кунед ва ҳуҷраи ҷангро кушоед.
• Таъин кардани TL, CL, Scribe, санҷиши ҳозираи занг.
• Озодкуниро фаъол созед (агар SEV-1 +).
• Манбаъҳои ҳақиқатро тасдиқ кунед: панелҳои SLI, синтетика, гузоришҳо, пайгирӣ.
• Амалҳои сабуккунандаи зудро қабул кунед (бозгашт/парчамҳо/нокомӣ).
• Таъмини навсозиҳои мунтазам.
• Гирифтани меъёрҳо барои ҳалли ва мониторинги пас аз барқароршавӣ.
• Пас аз қатл оғоз кунед ва ба соҳибони объектҳои амал таъин кунед.

18) Ҷобаҷогузорӣ ба амалиёти ҳаррӯза

Рӯзҳои бозӣ: моделсозӣ дар сенарияҳои асосӣ.
Каталоги китоби бозӣ: санҷидашуда, санҷидашуда, бо параметрҳо.
Воситаҳо: Фармонҳои "/эълом кунед ", "/саҳифа", "/ҳолат "," "/rollback ".
Интегратсияҳо: чиптаҳо, саҳифаи вазъ, пас аз марг, каталоги CMDB/хидмат.
Гуфтушунид бо SLO/Буҷаи хатогӣ: триггерҳои худкор ва қоидаҳои яхкунӣ.

19) Сатри поён

Авҷгирӣ як интизоми амалиётӣ аст, на танҳо даъват ба хизматчӣ. Сатҳи тозаи SEV, ки аз ҷониби IC таъин шудааст, китобҳои омодашуда, дафтарчаҳои нав ва ҳамгироӣ бо ченакҳои SLO ва сиёсати буҷа оташи хаотикиро ба раванди идорашаванда бо натиҷаи пешбинишаванда табдил медиҳанд - барқароркунии босуръати хидматҳо, хатари ҳадди ақали PR/танзим ва такмили системавӣ пас аз ҳар як ҳодиса.