Хатои автоматӣ

1) Мақсад ва принсипҳо

Ҳадаф: Кам кардани MTTR ва пешгирии авҷ гирифтани ҳодисаҳо тавассути нигоҳ доштани SLO, даромад ва риояи он.

• SLO-аввал: Амалҳои худкор танҳо дар сурате иҷозат дода мешаванд, ки хатари тасдиқшуда ба буҷаи хатогӣ вуҷуд дошта бошад.
• Аввалан амният: радиуси ҳадди ақали таркиш, маҳдудиятҳои возеҳ ва вақтсанҷҳо.
• Аз рӯи тарроҳӣ фаҳмо: Ҳар як амал фаҳмо ва шунида мешавад.
• Омодагирӣ: ҳама гуна қадам бо меъёрҳои бозгашт ҳамроҳ карда мешавад.
• Одам-дар-ҳалқа, ки хавф зиёд аст: P1-critical тағир меёбад - тавассути назорати дугона ё тасдиқи IC/зангҳо (агар дар сиёсат тартиби дигаре муқаррар нашуда бошад).

2) Истилоҳот

Барқароркунии худкор: аксуламали барномавӣ ба ҳодиса (ҳушдор/аномалия) бидуни дахолати инсон.
Посбонҳо: сиёсати маҳдудкунӣ (ҳадди ниҳоӣ, давомнокӣ, шумораи кӯшишҳо, минтақаи таъсир).
Runbook-Action: амалиёти атомӣ бо чекҳои пеш аз/пас ва бозгашт.
Муҳаррики қарор - Хидмате, ки ҳодисаро ба сиёсат харита мекунад ва амалҳоро оғоз мекунад.

3) Меъмории ҳалли

1. Сигналҳо: SLO/сатҳи сӯзондан, KRI, синтетика, RUM, саломатии амиқ.
2. Таносуби контекст: релизҳо, парчамҳои хусусӣ, кори банақшагирифташуда, провайдерҳои вобастагӣ.
3. Муҳаррики қарор: қоидаҳо/сиёсатҳо (policy-as-code), арзёбии таъсир ва хатар, интихоби сенария.
4. Иҷро: оркестри амалҳои runbook (idempotency, retrai with jitter).
5. Назорат: пеш аз санҷишҳо, пост-санҷандаҳо, timebox, rollback.
6. Аудит ва мушоҳида: пайгирии фаъолият, ченакҳои муваффақият, сабти ном (WORM/тағйирнопазир).
7. Иртибот: саҳифаи вазъ (тавассути Comms Lead), var-room, макросҳо барои дастгирӣ.

4) Policy-as-code

• 'allow агар burn_rate (пардохтҳо. auth)> зуд & & таъсир> ҳадди & & & psp_alt. солим & within_limits ("psp _ reroute") '

• 'allow агар p99 (bet_settlement)> 3x & queue_lag>limit & & feature ("repay _ center"). имконпазир '

• 'allow агар consumer_lag>target & & cost_budget. ok & region_capacity. дастрас '

• 'allow агар export_spike & no_ticket & & data_class=PII -> амал = блок + огоҳ кардан (Мувофиқат)'

Ҳар як сиёсат иборат аст: шарт, амал, маҳдудият (миқёс/вақт/басомад), меъёрҳои муваффақият, бозгашт.

5) Феҳристи амалҳои бехатар (амалҳои дафтарчаи атомӣ)

Пардохтҳо: гузариш ба трафики алтернативии PSP/бонк; тағир додани афзалиятҳои масири саломатӣ × ҳаққи хизмат × табдили; Фаъол кардани 3DS соддакардашуда маҳдудияти бозгаштро бо jitter.
Гарав/Бозӣ: Миқёси коргарон; Фаъол кардани гармкунии кэш муваққатан хомӯш кардани хусусиятҳои ғайримуқаррарӣ (аниматсияҳо, каналҳои дуюмдараҷа); фаъол кардани толори интизорӣ/саҳифаи навбатӣ.
Инфраструктура: ҳолатҳои таназзулёфтаро (детектори берунӣ) хориҷ кунед, трафикро ба AZ/минтақаи ҳамсоя интиқол диҳед; Зиёд кардани ҳавз/квота коргаронро бо чекҳои линтӣ аз нав оғоз кунед.
Маълумот/навбатҳо: тарафҳоро аз нав тақсим кунед; истеъмолкунандагонро ба ҳадди аққал расонед; гузарондани трафики хондан ба нусхаи солим; Интихоби масирро мутобиқ кунед.
Амният/риояи: муваққатан содироти PII-ро бидуни чипта манъ кунед; Мустаҳкам кардани маҳдудиятҳои баромади суръат имкон медиҳад, ки назорати дуҷониба дар амалиёти ҳассос сурат гирад.
Қабати Comma: ҳолати худкори лоиҳавӣ + ҷойҳои навсозӣ барои Comms Lead; огоҳ кардани шарикон ҳангоми таназзули PSP.

6) Санҷиши пешакӣ ва баъд аз санҷиш

• Санҷед, ки мушкилот воқеӣ ва тару тоза аст (тирезаҳои N-of-M; хомӯшӣ/кори банақшагирифташуда).
• Боварӣ ҳосил кунед, ки ин амал бо сиёсат иҷозат дода шудааст ва буҷаи захираҳо мавҷуд аст.
• Арзиши тахминӣ (FIN) ва маҳдудиятҳои мутобиқат.

• Тасдиқи кам кардани суръати/ченакҳо; натиҷаро сабт кунед; Мувофиқи шароит худкорро ба нақша гиред.

7) Rollback i "лӯлаи фирор"

Бозгашти худкор ҳангоми мӯътадил кардани ченакҳо ва тавассути амалҳои max-TTL.
Тугмаи бозгаштро барои IC/on-call дар var room.
Шиша барои дастрасӣ ба ҳолати фавқулодда; пас аз аудит лозим аст.

8) Ҳамгироӣ бо ҳушёрӣ ва ҳодисаҳо

Ҳама гуна амали худкор ба корти ҳодиса замима карда мешавад: кӣ/чӣ/вақте/чаро, натиҷа, пайвандҳо ба графикҳо.
Пейдж барои нусхабардорӣ хомӯш карда мешавад, аммо на барои ислоҳи худкори ноком (шиддат).
Саҳифаи ҳолат тавассути Comms Lead аз қолаб нав карда мешавад.

9) Тарҳи бехатарӣ ва мувофиқат

Имтиёзҳои камтарин барои оркестр; нақшҳои инфиродӣ дар як амал/домен.
Назорати дугона ва назорати дугона барои хатари баланд: масири PSP, маҳдудиятҳои бонус, содироти PII.
Санҷиши WORM/тағирёбандаи ҳама қарорҳои автоматӣ, аз ҷумла воридот ва версияҳои сиёсат.
Гигиенаи PII: бидуни идентификаторҳои шахсӣ дар тамғакоғазҳо ва гузоришҳо.

10) Мушоҳидаи ҳалқаҳои худкор

Нишондиҳандаҳо: суръати муваффақияти амалҳо, вақти аксуламал,% камшавӣ, пасандозҳои MTTR, таъсир ба SLO.
Нишонаҳо: пайҳои охири-ба-охири сигнал → қарор → амал → таъсир.
Гузоришҳо: сохташуда, бо policy_id, версияҳо ва чекҳои пеш аз/почта.
Панели панелҳо: Exec (таъсири даромад/SLO), Ops (матритсаи амал × доменҳо), FIN (арзиши ченакҳои худкор).

11) Сенарияҳои намунавӣ (IGaming)

11. 1 таназзули PSP (TR/EU)

Сигнал: муваффақияти auth дар PSP-1 ↓ 25% дар 10 дақиқа, фарогирӣ> 30% транзаксияҳо.
Амалҳо: 40% трафикро ба PSP-2/3 тақсим кунед; Имкон диҳед, ки 3DS соддакардашуда дархостҳои Bank X-ро бо jitter зиёд кунад.
Сарҳадҳо: на бештар аз 60% трафики умумии як PSP алтернативӣ; TTL 45 дақ.
Бозгашт: ҳангоми ба эътидол овардани сатҳи муваффақият ≥ ҳадаф барои 15 дақиқа.

11. 2 Болоравии p99 дар саҳмҳои ҳалшаванда

Сигнал: p99 "bet → ҳал кунед"> 3 × меъёр + истеъмол-ақиб> ҳадди.
Амалҳо: миқёси коргарон пеш аз ҳадди аққал; коэффисиенти гарм кардани кэш; муваққатан хомӯш кардани "таърихи дубора".
Бозгашт: пас аз сарпӯш> X ва p99 одатан 20 дақиқа.

11. 3 Нусхаи пойгоҳи додаҳо қафо мемонад

Сигнал: такрори ақибмонӣ> N сония, афзоиши қулфи интизорӣ.
Амалҳо: интиқоли трафики хониш ба нусхаи солим; фаъол кардани амалиётҳои навиштани афзалиятноки паст.
Бозгашт: пас аз ба эътидол овардани ақиб ва хатогиҳои қулф.

11. 4 хӯшае содироти PII

Сигнал: меъёри содирот> ибтидои × К, чипта нест.
Амалҳо: блоки содиротӣ, Огоҳиномаи мутобиқат, назорати дугона.
Бозгашт: пас аз тасдиқи дархостҳо ва бастани аномалия.

12) КПИ и КРИ

MTTR↓ барои ҳодисаҳое, ки дар он ҷо худкор кор мекард.
TTD → Амал: вақт аз муайянкунӣ то амал.
Сатҳи муваффақияти амалҳо ва сатҳи Rollback (паст - хуб, агар на аз сабаби мусбатҳои бардурӯғ).
Меъёри амали бардурӯғ (амалҳо бе натиҷа ё таъсири манфӣ).
Таъсири SLO наҷот ёфт.
Pager fatigue↓ (камтар саҳифаҳои дастӣ бо SLO-ҳои якхела/беҳтар).

13) Харитаи роҳсозӣ (8-12 ҳафта)

Нед. 1-2: сенарияи баланди 3-5 ROI-ро интихоб кунед (PSP-feilover, autoscale by lag, feature-degrade); сиёсатҳо/маҳдудиятҳо/камбудиҳоро тавсиф кунед.
Нед. 3-4: амалисозии оркестр, асрор ва нақшҳо, ҳамгироӣ бо платформаи ҳодиса; илова кардани мушоҳида ва аудит.
Нед. 5-6: пилот дар ҳолати "соя" (танҳо тақлид кардан) → сметаи эффекти A/B; пас ба маҳсулот бо фарогирии кам дохил кунед.
Нед. 7-8: тавсеаи феҳристи скриптҳо (пойгоҳи додаҳо/кэш/навбатҳо/пеш), ҳамроҳ бо саҳифаи вазъ ва Comms.
Нед. 9-10: илова кардани қоидаҳои маҳдудкунии FIN (арзиш/SLI), назорати дугонаро барои хатари баланд иҷро кунед.
Нед. 11-12: таълимоти планшет/бетартибӣ, таҷдиди KPI/KRI, нашри дастурҳо ва таълими даъват.

14) Артефактҳо ва намунаҳо

Сиёсати худкори барқарорсозӣ: ҳолат, амал, маҳдудиятҳо, TTL, бозгашт, соҳиб, синфи хатар.
Мушаххасоти Runbook-Action: шартҳо, қадамҳо, санҷишҳо, хатогиҳо, мониторинг, мантиқи бозгашт.
Назорати тағирот: Кӣ метавонад сиёсатҳо, баррасиҳои PR, санҷишҳо, фарқият ва версияро идора кунад.
Бастаи далелҳо: Гузоришҳои таъсир ба SLO/роҳҳо/ченакҳо, ҳисобот барои пас аз марг/аудит.

15) Антипаттернҳо

"Муносибат ба аломат" бидуни санҷиши сабаб ва SLO → flapping.
Амалҳо бидуни бозгашт ва TTL → таназзули яхкардашуда.
Скриптҳои универсалӣ бидуни посбон → садамаҳои садамавӣ.
Набудани аудит ва таҳрири сиёсат.
Сарфи назар кардани хароҷот (autoscale бе маҳдудият) ва мувофиқат (содироти PII).
Мустақилияти пурра бидуни Human-in-the-roop дар хавфҳои P1.

Ҷамъ

Ислоҳи хатои худкор як ҳалқаи идорашаванда аст: сигналҳои SLO → сиёсатҳо бо guardrail → амалҳои бехатари дафтарчаи парвоз бо мушоҳидашавандаи § мушоҳида ва аудит → омӯзиши ҳодисаҳо. Ин равиш MTTR-ро ба таври назаррас коҳиш медиҳад, даромадро дар белҳо нигоҳ медорад ва реҷаро аз занги телефон хориҷ мекунад, дар ҳоле ки ба талаботи бехатарӣ ва танзим мувофиқат мекунад.