Wakalaryň güýçlenmegi

1) Maksady we ýörelgeleri

Wakalaryň güýçlenmegi ulanyjylara we işewürlik metrikasyna edýän täsirini azaltmak üçin dogry rollary we serişdeleri çalt çekmek üçin dolandyrylýan prosesdir.

• Tizlik idealizmden has möhümdir. Wakany gijä galmakdan has ir yglan etmek we peseltmek has gowudyr.
• Bitewi serkerdelik. Karar üçin jogapkär biri - Incident Commander (IC).
• Aç-açanlyk. Içerki we daşarky steýkholderler üçin anyk statuslar we aragatnaşyk kanallary.
• Dokumentleşdirilmegi. Ähli ädimler, çözgütler we wagtlar audit we gowulaşdyrmalar üçin ýazylýar.

2) Agyrlyk derejesi (SEV/P-derejeleri)

• SEV-0/P0 (kritiki) - esasy funksiýanyň (login/töleg) doly elýetersizligi, maglumatlaryň syzmagy, kanuny töwekgelçilik. On-call, freeze relizleriniň ähli ýadrosyny derrew yzarlaň.
• SEV-1/P1 (ýokary) - p95/p99 pese gaçmagy, esasy prosesde ýalňyşlyklaryň/şowsuzlyklaryň köpelmegi, sebitiň/üpjün edijiniň elýeterli däldigi.
• SEV-2/P2 (orta) - çäkli kogorta (sebit, üpjün ediji) üçin bölekleýin pese gaçmak, aýlanyp geçýän ýol bar.
• SEV-3/P3 (pes) - ulanyjy üçin möhüm däl, ýöne ünsi talap edýär (ETL-iň fon gijikdirilmegi, möhleti geçen hasabat).

• Urulmagyň radiusy (näçe ulanyjy/dolanyşyk) × dowamlylygy × duýgurlygy (sazlaýjy/PR) → SEV derejesi.

3) KPI prosesi

MTTD (tapylan wagty) - wakanyň başyndan ilkinji signala çenli.
MTTA (kabul edilen wagty) - signaldan IC tassyklamasyna çenli.
MTTR (dikeldiş wagty) - SLO/funksiýany dikeltmezden öň.
Escalation Latency - tassyklamadan dogry roly/buýrugy birikdirmäge çenli.
Reopen Rate - "çözülenden" soň gaýtadan açylan hadysalaryň paýy.
Comm SLA - daşarky/içerki täzelenmeleriň aralyklarynyň berjaý edilmegi.

4) Rollar we jogapkärçilik (RACI)

Incident Commander (IC): çözgüt eýesi, derejesi, meýilnamasy, freeze, eskalasiýa, de-eskalasiýa kesgitleýär. Fiks ýazmaýar.
Tech Lead (TL): tehniki diagnostika, çaklamalar, inersenerleri utgaşdyrmak.
Comms Lead (CL): status-sahypalar, müşderi we içerki aragatnaşyk, Legal/PR bilen utgaşdyrmak.
Scribe: faktlary, wagtlaýynlygy, kabul edilen kararlary takyk kesgitlemek.
Liaisons (baglanyşyklar): daşarky üpjün edijileriň/toparlaryň wekilleri (tölegler, KYC, hosting).
On-call inersenerleri: meýilnamany ýerine ýetirmek, pleýbuklary/gaýdyşlary işe girizmek.

Her rol üçin nobatçy grafikleri we bellikleri belläň.

5) Kanallar we artefaktlar

War-room kanaly (ChatOps): awto-düşündiriş şablony (wersiýalar, baýdaklar, kanareýkalar) bilen bir koordinasiýa nokady (Slack/Teams).
SEV-1 üçin wideo köprüsi.
Wakanyň barlagy (one-pager): ID, SEV, IC, gatnaşyjylar, gipoteza/diagnoz, ädimler, ETA, status, impakt, grafiklere salgylanmalar.
Status-sahypa: köpçülige açyk/içerki; yzygiderli täzelenmeleriň tertibi (mysal üçin, SEV-1 + üçin her 15-30 minutda).

6) Wagt gutulary we standart aralyklar

T0 (min. 0-5): IC bellendi, SEV bellendi, freeze relizleri (zerur bolsa), war-room açyldy.
T + 15 min: ilkinji köpçülige/içerki habar (täsir eden, workaround, indiki täzelenme penjiresi).
T + 30/60 min: Durnukly dinamika bolmasa, indiki derejäniň güýçlenmegi (platforma/BD/howpsuzlyk/üpjün edijiler).
Yzygiderli täzelenmeler: SEV-0: her 15 minutda; SEV-1: her 30 minutda; SEV-2 +: her sagat.

7) Awto-eskalasiýa düzgünleri (işe girizmek syýasaty)

• Burn-rate býudjet ýalňyşlyklary gysga we uzyn penjirelerde bosagadan ýokarydyr.
• Daşarky nusgalaryň kworumy: 2 sebitiň ≥ HTTP/TLS/DNS-iň zaýalanmagyny hasaba alýar.
• Biznes-SLI (tölegleriň/hasaba almalaryň üstünligi) SLO-dan aşak düşýär.
• Security-signatura: syzmak/eglişik şübhesi.
• Üpjün ediji signaly: "major outage" statusynyň webhuk.

8) Tapylmakdan çözgüt tapylýança proses

1. Wakanyň deklarasiýasy (IC): SEV, gurşaw, freeze, playbuklary işe girizmek.
2. Diagnostika (TL): gipotezalar, radiusyň izolýasiýasy (sebit, üpjün ediji, fiç), barlaglar (DNS/TLS/CDN/DB/nagt/teker).
3. Mitigirleýji hereketler (çalt ýeňişler): yza gaýdmak/kanareýka ↓, pese gaçmagyň ficha-baýdagy, üpjün edijiniň failover, rate-limit, kesh-overley.
4. Aragatnaşyk (CL): status-sahypa, müşderiler/hyzmatdaşlar, Legal/PR, meýilnama boýunça täzelenmeler.
5. Dikeldiş tassyklamasy: daşarky sintetika + hakyky metrikler (SLI), freeze aýyrmak.
6. Deeskalasiýa: SEV-iň peselmegi, N minut/sagadyň gözegçiligine geçmek.
7. Ýapmak we RCA: post-mortem, action items, eýeler we möhletler.

9) Daşarky üpjün edijiler bilen işlemek

Birnäçe sebitden üpjün edijilere öz synaglary + haýyşlaryň/ýalňyşlyklaryň aýna log-mysallary.
Eskalasiýa şertnamalary (aragatnaşyklar, jogap SLA-lary, ileri tutulýan ugurlar, status webhuklary).
Üpjün edijiniň SLO boýunça traffigi awtomatiki faýlower/gaýtadan paýlamak.
Subutnama bazasy: wagtlaýyn, sample soraglar/jogaplar, gizlinlik/ýalňyşlyk grafikleri, üpjün edijiniň şahsyýetnamasy.

10) Düzgünleşdiriji, howpsuzlyk we PR

Security/P0: izolýasiýa, artefaktlary ýygnamak, aýan etmegi azaltmak, hökmany habarnamalar (içerki/daşarky/düzgünleşdiriji).
Legal: daşarky täzelenmeleriň sözleriniň ylalaşylmagy, şertnamalaýyn SLA/jerimeleriň hasaba alynmagy.
PR/Müşderi hyzmaty: jogaplaryň taýýar şablonlary, Q&A, kompensasiýa/karzlar (ulanylsa).

11) Habar şablonlary

• "Biz [funksiýa/sebite] täsir edýän SEV-1 wakasyny derňeýäris. Alamatlar: [gysgaça]. Aýlanyp geçýän ýoly işjeňleşdirdik [düşündiriş]. Indiki täzelenme [wagtda]"

• "Diagnostika: [çaklama/tassyklama]. Hereketler: [üpjün edijini çalyşdy/çykardy/zaýalanmagy açdy]. Impakt [göterim/kogorta] çenli azaldyldy. Indiki täzelenme [wagt]"

• "Waka SEV-1 çözüldi. Sebäbi: [kök]. Dikeldiş wagty: [MTTR]. Aşakdaky ädimler: [fix/check/syn N sagat]. Post-mortem - [haçan/nirede]"

12) Pleýbuklar (takmynan)

Tölegleriň şowlulygynyň pese gaçmagy: A üpjün edijiniň paýyny azaltmak, X% -i B geçirmek; "degrade-payments-UX" -ni goşmak; çäklerdäki retralary goşmak; fin toparyna habar bermek.
p99 API beýikligi: täze wersiýanyň kanareýkasyny azaltmak; agyr çitleri öçürmek; keş-TTL-i köpeltmek; BD-indeksleri/konnektleri barlamak.
DNS/TLS/CDN meselesi: şahadatnamalary/zynjyry barlamak; ýazgyny täzelemek; ätiýaçlyk CDN-e geçmek; Keshini täzeden düzüň.
Howpsuzlyk-şübhe: düwünleri izolirlemek, esasy rotasiýa, mTLS ruçkalaryny açmak, artefaktlary ýygnamak, Legal habarnamasy.

13) Deeskalasiýa we "çözüldi" ölçegleri

• SLI/SLO ýaşyl zolakda durnukly ≥ N aralyk;
• mitigasiýa hereketleri we gözegçilik - regressiz ýerine ýetirildi;
• howpsuzlyk synpy üçin - wektorlaryň ýapyklygy tassyklandy, açarlar/syrlar aýlandy.

Ýapmak - diňe wagt çäkleri, action items eýeleri we möhletler kesgitlenenden soň.

14) Post-mortem (käýinç däl)

1. Faktlar (ulanyjylaryň/metrikleriň gören wagty).

2. Kök sebäbi (tehniki/prosessual).

3. Güýçlenende näme işledi/işlemedi.

4. Öňüni alyş çäreleri (synaglar, aladalar, çäkler, binagärlik).

5. Möhletler we eýeler bilen hereket meýilnamasy.

6. Error budget bilen aragatnaşyk we SLO/proseslere täzeden garamak.

15) Prosesiň kämillik ölçegleri

Ulanyjylaryň arzalaryna çenli yglan edilen hadysalaryň paýy.
SEV derejeleri boýunça MTTA; dogry roly birikdirmek üçin wagt.
Täzelenme aralygynyň berjaý edilmegi (Comm SLA).
El bilen "döredijiliksiz" pleýbuklar bilen çözülen hadysalaryň göterimi.
Action items postmortemlerden wagtynda ýerine ýetirilýär.

16) Anti-patternler

"Kimdir biri bir zat ediň" - IC/rollar ýok.
War-roomdaky köp ses - hereketleriň ýerine wersiýalar baradaky jedel.
Giç deklarasiýa → adamlary ýygnamak üçin wagt ýitirmek.
Freeze we relizleriň düşündirişleri ýok - paralel üýtgeşmeler sebäbini gizleýär.
Daşarky aragatnaşygyň ýoklugy - şikaýatlaryň güýçlenmegi/PR töwekgelçiligi.
Post-mortemsiz we hereketsiz ýapmak - şol ýalňyşlyklary gaýtalaýarys.

17) IC çek-sanawy (jübü kartoçkasy)

• SEV bellemek we war-room açmak.
• TL, CL, Scribe bellemek, on-call barlamak.
• Goýbermek-freeze (SEV-1 bilen).
• Hakykat çeşmelerini tassyklamak: SLI dashbordlary, sintetika, logi, söwda.
• Çalt hereket etmek (yza/baýdaklar/faýlower).
• Meýilnama boýunça yzygiderli täzelenmeleri üpjün etmek.
• Criteria for Resolve we dikeldişden soň gözegçilik etmek.
• Post-mortemi başla we action items eýelerini belle.

18) Gündelik amallara goşulmak

Türgenleşikler (game-days): esasy ssenariler boýunça simulýasiýa.
Pleýbuklaryň katalogy: wersionirlenen, synag edilen, parametrleri bilen.
Gurallar: "/declare ", "/page", "/status ", "/rollback".
Integrasiýalar: tiketing, status-sahypa, post-mortemler, CMDB/hyzmat-katalog.
SLO/Error Budget bilen utgaşdyrmak: awto-eskalasiýa we freeze düzgünleri.

19) Jemleýji

Eskalasiýa diňe nobatçyny çagyrmak däl, operasiýa düzgünidir. Kesgitli SEV derejeleri, IC tarapyndan bellenen, taýýar pleýbuklar, täzelenmeleriň wagt gutulary we SLO ölçegleri we býudjet syýasatlary bilen integrasiýa, başagaýlyk ýangyny öňünden aýdyp boljak netijä - hyzmatyň çalt dikeldilmegi, iň az PR/kadalaşdyryjy töwekgelçilik we her wakadan soň ulgamlaýyn gowulaşmalar bilen dolandyrylýan prosese öwürýär.