Eskalasiýa matrisi

1) Matrisanyň maksady

• SEV derejeleri we olaryň ölçegleri;
• taýmingler (tapmak → ack → eskalasiýa → täzelenme);
• her ädim üçin rollar/kanallar;
• kadadan çykmalar (howpsuzlyk we laýyklyk üçin "asuda sagatlar" bolmazdan);
• pleýbuklar we status-sahypa bilen baglanyşyk.

2) Agyrlyk boýunça klassifikasiýa (SEV)

Domeniňiz we SLO üçin maksatly sanlary anyklaň.

3) Esasy matrisa "kim/haçan/nirä"

4) Möwjemegiň aýgytly agajy (düýp manysy)

1. SLO-da tassyklanan täsir barmy?

→ Hawa: IC bellemek, SEV yglan etmek, war-room açmak.
→ Nook: ticket/syn, page ýok.

2. ACK wagtynda barmy?

→ Hawa: Oýun bilen dowam edýäris.
→ Nook: P2 → IC → DM (wagt boýunça kenar).

3. Howpsuzlyk/syzmak/PII?

→ Elmydama Howpsuzlyk IR + Legal, köpçüligiň habarlary utgaşdyrylýar.

4. Daşarky üpjün ediji?

→ Wendor Owner eskalasiýasy, marşrutlary üýtgetmek, statusda fiks.

5) Eskalasiýadaky rollar we borçlar (gysgaça)

P1 (Primary): triaj, playbook başlamak, IC bilen aragatnaşyk.
P2 (Secondary): arka, çylşyrymly hereketler, konteksti saklamak.
IC (Incident Commander): SEV yglan edýär, freeze/rollback karar berýär, tizligi saklaýar.
Duty Manager: blokirlemeleri aýyrýar, çeşmeleri paýlaýar, org kararlaryny kabul edýär.
Comms: status-sahypa, SLA täzelenmeleri.
Howpsuzlyk IR: izolýasiýa, forensika, kanuny habarnamalar.
Vendor Owner: daşarky üpjün edijiler, switchover/fallback.

6) Wagtlaýyn gaýdlar (görkezmeler)

SEV-1/0: ACK ≤ 5 м, Declare ≤ 10 м, First Comms ≤ 15 м, Updates q=15–30 м.
Eskalasiýa lesenka: P1 → P2 (5 m) → IC (10 m) → Duty Manager (15 m) → Exec on-call (30 m).
Howpsuzlyk: gijikdirilmän we "asuda sagatlar", täzelenme q = 15 m.

7) Marşrut we segmentasiýa

Hyzmat/sebit/tenant boýunça: marşrutlaşdyryş açary = 'service + region + tenant'.
Zondlaryň kworumy: diňe 2 sany garaşsyz çeşmäniň (2 sebitden synthetic + RUM/business-SLI) ≥ tassyklanylanda güýçlendirmek.
Dedup: onlarça alamatyň ýerine bir ussat alert (DD "gyzyl" 5xx-sesini gysýar).

8) Kadadan çykmalar we aýratyn reimesimler

Security/Legal: Security IR we Legal-yň nobatsyz güýçlenmegi; köpçülige açyk tekstler diňe ylalaşyk arkaly.
Üpjün edijiler: aýratyn OLA/SLA matrisa (aragatnaşyklar, wagt zolaklary, ileri tutulýan ugur).
Change Freeze: SEV-1/0 - relizleriň we konfigurasiýalaryň awtomatiki freeze.

9) Matrisanyň kämillik ölçegleri

Ack p95 (SEV-1/0) ≤ 5 minut.
Time to Declare (mediana) ≤ 10 minut.
Comms SLA Adherence ≥ 95%.
Escalation Success (P1/P2 derejesinde çözüldi) ≥ 70%.
No-ACK escalations ↓ QoQ.
Şertnamanyň çäginde möhüm üpjün edijiler boýunça Vendor Response Time.

10) Çek-listler

Operatiw (on-call üçin)

• SLO impakt we potensial SEV kesgitlenildi.
• ACK tarapyndan ýasaldy we IC tarapyndan bellendi (SEV-1/0 üçin).
• Açyk otag, playbook dakyldy.
• Status-täzelenme SLA tarapyndan çap edildi/meýilleşdirildi.
• freeze (zerur bolsa), üpjün ediji/howpsuzlyk güýçlendirildi.

Amal (hepdelik syn)

• Eskalasiýa basgançagy SLA-da işledi?
• IC-den öň gereksiz ýokarlanmalar boldumy?
• Müşderileriň habarnamalary öz wagtynda we takyk?
• Blokerler barmydy (elýeterlilik, üpjün edijileriň aragatnaşyklary, "dilsiz" kanal)?
• CAPA-lar işiň şowsuzlygy üçin işleýär.

11) Şablonlar

11. 1 Eskalasiýa syýasaty (YAML pikiri)

yaml policy:
sev_levels:
- id: SEV-0 declare_tgt_min: 5 first_comms_min: 10 update_cadence_min: 15
- id: SEV-1 declare_tgt_min: 10 first_comms_min: 15 update_cadence_min: 30 ack_sla_min:
default: 5 ladder:
- after_min: 5 escalate_to: "P2:oncall-<service>"
- after_min: 10 escalate_to: "IC:ic-of-the-day"
- after_min: 15 escalate_to: "DutyManager:duty"
- after_min: 30 escalate_to: "Exec:oncall-exec"
channels:
war_room: "#war-room-<service>"
alerts: "#alerts-<service>"
security: "#sec-war-room"
providers: "vendors@list"
quorum:
required_sources: 2 sources: ["synthetic:eu,us", "rum:<service>", "biz_sli:<kpi>"]
exceptions:
security: { quiet_hours: false, legal_approval_required: true }
providers: { auto_switch: true, notify_vendor_owner: true }

11. 2 "Wagt boýunça eskalasiýa" kartoçkasy (bot üçin)

T + 05m: no ACK → escalated to P2
T + 10m: no ACK/Declare → escalated to IC, war-room open
T + 15m: no Comms → reminder Comms, escalation Duty Manager
T + 30m: no Updates → IC reminder, Exec on-call CC

11. 3 Ilkinji köpçülige açyk täzeleniş şablony

Impact: [services/regions] affected, [symptoms e.g. delays/errors].
Reason: Investigating; confirmed by monitoring quorum.
Actions: bypass routes/restrictions are enabled, provider switching is in progress.
Next update: [time, time zone].

12) Integrasiýa

Alert-as-Code: Her Page düzgüni takmynan bir pleýbuka salgylanýar we öz eskalasiýa matrisini bilýär.
ChatOps: '/declare sev1 ', '/page p2', '/status update ', täzelenmeleriň awto-taýmerleri.
CMDB/Katalog: hyzmatyň - eýeleri, on-call, matrisa, üpjün edijiler, kanallar.
Status page: SEV-1/0 şablonlary, täzelenmeleriň taryhy, RCA baglanyşyklary.

13) Anti-patternler

"Hemmäni birbada güýçlendirýäris" → ses we düşnüksiz jogapkärçilik.
IC/war-room ýok - çözgütler söhbetdeşlik arkaly ýaýraýar.
Birinji täzelenmäniň gijikdirilmegi - şikaýatlaryň we PR-töwekgelçilikleriň köpelmegi.
Howpsuzlyk üçin kadadan çykmalaryň ýoklugy - kanuny töwekgelçilikler.
Eýesiz we aragatnaşyksyz daşarky üpjün edijiler.
Basgançak awtomatlaşdyrylmady - hemme zat "tutawaçda".

14) Durmuşa geçirmegiň ýol kartasy (3-5 hepde)

1. Ned. 1: SEV-ölçegleri we taýmingleri düzetmek; rollaryň/üpjün edijileriň aragatnaşyklaryny ýygnamak; kanallary saýlaň.
2. Ned. 2: Syýasaty suratlandyrmak (YAML), Alert-as-Code bilen baglanyşdyrmak, jaň/botda çyzgyny açmak.
3. Ned. 3: 2-3 sany möhüm hyzmatlarda pilot; Comms SLA we şablonlary düzetmek.
4. Ned. 4-5: gurşawy giňeltmek, hepdelik Escalation Review we kämillik ölçeglerini girizmek.

15) Jemleýji

Eskalasiýa matrisa - hadysalaryň iş konstitusiýasy: kim, haçan we nädip birikdirilýär. Takyk SEV, taýmingler, kanallar, howpsuzlyk üçin kadadan çykmalar we playbuklar we status sahypasy bilen integrasiýa bilen topar çalt, sazlaşykly we aç-açan reaksiýa bildirýär, ulanyjylar bolsa öňünden aýdyp boljak täzelenmeleri we hyzmatyň ynamly dikeldilmegini görýärler.