Hadysalara we heläkçiliklere reaksiýa

(Bölüm: Amallar we Dolandyryş)

1) Kesgitlemeler we maksatlar

Waka - SLO/howpsuzlygy/laýyklygy bozýan ýa-da müşderiler, pul, maglumatlar, abraý üçin töwekgelçilik döredýän waka.
Reaksiýanyň maksatlary: hyzmaty çalt dikeltmek, zyýany azaltmak, subutnamalary düzetmek, aç-açan aragatnaşyk saklamak we gaýtalanmagynyň öňüni almak.

Esasy ýörelgeler

Safety first: adamlary/maglumatlary/pullary goramak funksiýalardan has möhümdir.
One throat to choke: one Incident Commander (IC) karar berýär.
Actionable now: her bir çaklama barlamak/hereket etmek bilen utgaşýar.
Evidence matters: hemme zat logika, artefaktlara gol çekilýär, wagt çäkleri - jikme-jik.

2) Klassifikasiýa (severity & prioritet)

Trigger: SLO-nyň bozulmagy, alert düzgüni, el bilen habar bermek, hukuk hadysasy (DPO/CCO).

3) Rollar we jogapkärçilik (RACI)

"Incident Commander" (A) - wakanyň lideri, wezipe goýmak, karar bermek, uzak hadysalarda IC çalyşmak.
Tech Lead (R) - tehniki diagnostika/fiks, SRE/in engineeringenerçiligi utgaşdyrmak.
Comms Lead (R) - status-täzelenmeleri ýazýar (içerde/daşarda), status-sahypanyň eýesi.
Scribe (R) - teswirnama, timline, artefaktlary ýygnamak.
Security/Legal (C/A security-ýagdaýlar üçin) - töwekgelçiliklere baha bermek, hökmany habarnamalar.
Customer Support (C) - jogap şablonlary, biletleriň ugrukdyrylmagy.
Partner Liaison (C) - üpjün edijiler/tenantlar bilen aragatnaşyk.
Management (I) - habar bermek, işewürlik çözgütleri (karzlar/öwezini dolmalar).

4) Ilkinji 15 minut (şablon)

1. IC belläň we hadysanyň kartoçkasyny açyň (söhbetdeşlik kanaly, wideo köprüsi, Jira/Tracker).
2. SEV bellemek we SLO-alamaty düzetmek (takyk bozulan zat).

• runbooks/runs-lary öz içine alyň: circuit-breakers, trottling, marşruty üýtgetmek, mahabaty duruzmak;
• eglişik edilende - duýgur funksiýalary öldürmek-switch.
• 4. Toparlar: Tech Lead - diagnostika; Comms - "tehniki hold" (10-15 minutdan soň - ilkinji täzelenme).
• 5. Çaklamalary kesgitlemek (iň köp üç), eýeleri bellemek, taýmerleri barlamak üçin goýmak (5-10 minut).
• 6. Artefaktlary ýygnamak: metrik snapshotlar, konfigalar, relizleriň heşleri, 'trace _ id' logleri, kwitansiýalar.

5) Birinji sagat (şablon)

Aragatnaşyk v1 (15-20 min): hakykat, gurşaw, alamatlar, näme edýäris, indiki täzelenme. Spekulýasiýa ýok.
Wakanyň çäkleri: haýsy sebitlere/tenantlara/kanallara/wersiýalara täsir edilýär.
Zyýana gözegçilik etmek: wagtlaýyn gaplar/çäklendirmeler, "şowhunly" integrasiýalaryň öçürilmegi, zaýalanma re regimeiminiň goşulmagy.
Forensika: loglaryň aýlanyşyny doňdurmak, artefaktlary goramak (WORM/gollar).
Dikeldiş ýol kartasy: T + 30/T + 60 pint-çek bilen.

6) Aragatnaşyk we status-sahypa

Içerki aralyklar: P1 - her 15 minutda, P2 - 30-60 minutda.
Daşarky: status-sahypa/tenantlar/SLA boýunça hyzmatdaşlar.

• Görünýän zat: "X: YY UTC-den EU sebitinde şowsuzlyklaryň köpelmegi (p95> 250 ms)"
• Kime täsir edýär: "A/B/C operatorlary, traffigiň 40% -inden ~"
• Näme edýäris: "alternatiw ýoly, trottling mahabatyny açdyk; PSP-1 üpjün ediji bilen işleşýäris"
• Maglumatlar/möhletler: "indiki täzelenme 15 minutdan soň"
• Kompensasiýa: "Waka ýapylandan soň SLA laýyklykda karz-notalary ulanarys"

7) Playbook (iGaming/fintech üçin salgylanmalar)

PriceMismatch (vitrina ≠ checkout): kesiň fors-maýyplygy, deňeşdirme 'fx _ version/tax _ rule _ version', dinamiki mahabaty doňdurmak, syýasat boýunça tapawutlaryň öwezini dolmak.
WebhookLag (hyzmatdaşlar/affiliates): workerleri ulaltmak, batch ulaltmak, retraýlaryň ileri tutulmagy, täze abunalyklar üçin wagtlaýyn kapka.
Payments Outage/PSP-pese gaçmak: ätiýaçlyk PSP-e geçmek, müşderileriň wagtyny azaltmak, nobatyň el bilen arassalanmagy, karantine "çal" amallar.
RTP Drift: bonuslaryň arakesmesi, töleg tablisalaryny/wersiýalaryny barlamak, gözegçilik penjiresini giňeltmek, RTP profilini yzyna gaýtarmak.
Fraud Spike: velocity/çäkleri berkitmek, goşmaça KYC-barlagy, şübheli kohortlary izolirlemek, ýokary ýeňişleri el bilen gygyrmak.
Data/PII Exposure: ulgamlaryň izolýasiýasy, DPO/Legal habarnamasy, täsir eden ýazgylaryň sanawy, möhletler boýunça kadalaşdyryjy habarnamalar.

8) Gurallar we rünler (auto-actions)

Кнопки: Pause Promo, Re-Route, Raise Limit, Rollback, Flush Cache, Disable Webhooks, Enable Safe Mode.
Gward-reiller: "sedlaniýden" gorag - yza gaýdyp gelmek çäklidir, magazinesurnallara gol çekilýär, her bir IC/Scribe hereketi.
Subut edilmegi: DSSE gollary, snapshot heşleri, girelgeleriň Merkle dilimleri.

9) Wakanyň tamamlanmagy

Ölçegler: SLO dikeldildi, nobat yzyna gaýtaryldy, maglumatlar/pul deňeşdirildi, töwekgelçilikler ýapyldy, aragatnaşyk iberildi.
Ýapylyş däp-dessury: statusyň soňky täzelenmesi, bellenen wagt möhleti, täsirleriň sanawy, sebäpleriň deslapky çaklamalary, post-mortema senesi bellendi.

10) Post-mortem (aýyplamasyz)

Möhlet: P1 - 3 iş gününiň dowamynda; P2 - 5 iş güni.
Mazmuny: faktlar/wagt, esasy sebäpler (5 Whys/FRAM), täsir (SLO, maliýe, müşderiler), näme işledi/işlemedi, action items (owner, möhlet, ölçelýän täsir).
Netijeliligi barlamak: 30-60 günden soň - ýerine ýetiriş sesleri we metrikler (gaýtalanma, MTTR, alertleriň sesi).

11) Hadysalary dolandyrmagyň metrikleri we SLO

MTTD/MTTA/MTTR, Change Failure Rate, Time to Comms v1,% awto-rugsat (runes).
Alert Noise: ähmiýetsiz signallaryň paýy, pages per on-call shift.
Repeat Incidents: 90 günde gaýtalanmalaryň paýy.
Post-mortem SLA: wagtynda geçirilen/ýapylan paýy.
Reaksiýanyň SLO: P1 - ilkinji aragatnaşyk ≤ 15 min; MTTR ≤ 60 min; artefaktlaryň dolulygy = 100%.

12) Hukuk/komplayens/gizlinlik

Hukuk habarnamalary: syzdyrmalar/hadysalar boýunça lokal düzgünleşdirijileriň möhletleri.
PII-minimalizasiýa: başlangyç nokada diňe tassyklanan joblar arkaly girmek; bellik/gizlemek.
Artefaktlary saklamak: WORM-žurnallar, ýurisdiksiýalar boýunça saklanyş döwri; giriş gözegçiligi (RBAC/ABAC, JIT).
Kontragentler: şertnamalaýyn SLA, eskalasiýa prosesi, kazyýet işleriniň kwitansiýalary.

13) Nobatçylyklary we eskalasiýalary guramak

24 × 7 on-call: rollar boýunça aýlanmalar (SRE, App, Data, Security, Payments).
Eskalasiýa matrisi: sebitler/önümler/üpjün edijiler üçin kim; aragatnaşyklary köpeltmek (söhbetdeşlik/ses/SMS).
Maşklar (GameDays): simulýasiýa - PSP-iň ýykylmagy, retraýlaryň göçmegi, bahalaryň bölünmegi, açaryň bozulmagy, sebitiň şowsuzlygy.

14) Wakalaryň daşbordlary

Heatylylyk (häzirki): SLO statusy, p95/p99, sebitleriň/tenantlaryň kartasy, wezipeleriň nobaty, artefaktlar ýygnaldy/ýygnalmady.
Taryh: hadysalaryň görnüşleri boýunça tendensiýalar, runlaryň netijeliligi, sebäpleriň gaýtalanmagy.
Hil gözegçiligi: wagtyň dolulygy, post-mortemleriň "coverage", aragatnaşyklaryň SLA.

15) Girizmegiň çek-sanawy

• SEV şkalasyny we SLO triggerlerini tassyklaň.
• Rollary (IC/Tech/Comms/Scribe/Sec/Legal) we rotasiýalary bellemek 24 × 7.
• Wakanyň kartoçkasynyň we status sahypasynyň bitewi şablonyny başla.
• Oýun kitaplaryny suratlandyryň (PriceMismatch/WebhookLag/Payments/RTP/Fraud/PII).
• Rünleri audit we "gyzyl düwme" bilen satyň.
• Forensika syýasatyny öz içine alyň: WORM/gollar/artefaktlary ýygnamak.
• Aragatnaşyk düzgünleri (içerki/daşarky) , SLA täzelenmeleri.
• Post-mortem prosesi we şablonlary; KPI action items.
• GameDays her aý; wakalaryň tendensiýalaryna çärýekleýin syn.
• Daştagtadaky IR metrikleri (MTTA/MTTR/Noise/Repeat/Comms SLA).

16) FAQ

Näme üçin "IC bir"?
Karar kabul etmegiň ýeke-täk nokady bulam-bujarlygy aýyrýar we reaksiýany çaltlaşdyrýar.

Haçan köpçülige yglan etmeli?
Tassyklanan fakt we durnuklaşdyryş meýilnamasy bolan badyna. Kadalaşdyryjy möhletlere baha beriň.

Has möhümi - fiks ýa-da hasabat?
Ilki bilen - dikeldiş we howpsuzlyk. Şol bir wagtyň özünde - artefaktlary ýygnamak. Hasabat - durnuklaşandan soň.

Hemme zady awtomatlaşdyryp bolarmy?
Ýok, ýöne runlar "ýygy-ýygydan we ýönekeý" ädimleri ýapýarlar. Galanlary - aç-açan oýunlar we türgenleşikler arkaly.

Gysgaça maglumat: Güýçli jogap diňe bir PagerDuty we söhbetdeşlik kanaly däl. Bular rollaryň tertibi, çalt ilkinji 15 minut, dolandyrylýan runlar, aç-açan aragatnaşyklar, subut edilip bilinjek forensika we hökmany post-mortem. Şeýle kontur bilen siz MTTR-i peseldýärsiňiz, pul we maglumatlary goraýarsyňyz we müşderileriň we düzgünleşdirijileriň ynamyny ýokarlandyrýarsyňyz.