Eskalatsiya matritsasi

1) Matritsaning vazifasi

• SEV darajalari va ularning mezonlari;
• tayminglar (→ ack → eskalatsiyalarni → yangilanishlarni aniqlash);
• har bir qadam uchun rollar/kanallar;
• istisnolar (security va komplayens uchun «sokin soatlarsiz»);
• pleybuklar va maqom sahifasi bilan bog’lanish.

2) Og’irlik bo’yicha tasniflash (SEV)

Domen va SLO uchun maqsadli raqamlarni aniqlang.

3) «Kim/qachon/qayerda» bazaviy matritsasi

4) Eskalatsiyaning hal qiluvchi daraxti (mohiyati)

1. SLO uchun tasdiqlangan impakt bormi?

→ Ha: IC tayinlash, SEV e’lon qilish, war-room ochish.
→ Yo’q: ticket/kuzatuv, peyjsiz.

2. Muddatida ACK bormi?

→ Ha: davom etamiz.
→ Yo’q: P2 → IC → DM (vaqt bo’yicha lesenka).

3. Security/oqish/PII?

→ Doimo Security IR + Legal, ommaviy xabarlar kelishiladi.

4. Tashqi provaydermi?

→ Vendor Owner eskalatsiyasi, yo’nalishlarni o’zgartirish, statusdagi fix.

5) Eskalatsiyadagi roli va majburiyatlari (qisqacha)

P1 (Primary): triaj, pleybukning boshlanishi, IC bilan aloqa.
P2 (Secondary): orqa, murakkab harakatlar, kontekstni ushlab turish.
IC (Incident Commander): SEV e’lon qiladi, freeze/rollback hal qiladi, tezlikni saqlaydi.
Duty Manager: blokirovkalarni olib tashlaydi, resurslarni qayta taqsimlaydi, org qarorlarini qabul qiladi.
Comms: status-sahifa, SLA boʻyicha yangilanishlar.
Security IR: izolyatsiya, forenzika, yuridik xabarnomalar.
Vendor Owner: tashqi provayderlar, switchover/fallback.

6) Vaqtinchalik gaydlar (mo’ljallar)

SEV-1/0: ACK ≤ 5 м, Declare ≤ 10 м, First Comms ≤ 15 м, Updates q=15–30 м.
Eskalatsiya lesenkasi: P1 → P2 (5 m) → IC (10 m) → Duty Manager (15 m) → Exec on-call (30 m).
Security: kechiktirmasdan va «sokin soatlarsiz», apdeytlar q = 15 m.

7) Yo’naltirish va segmentlash

Servis/mintaqa/tenant bo’yicha: yo’nalish kaliti =’service + region + tenant’.
Zondlar kvorumi: faqat 2 ta mustaqil manbalar (2 ta mintaqadan synthetic + RUM/biznes-SLI) ≥ tasdiqlanganda eskalatsiya qilish.
Dedup: o’nlab alomatlar o’rniga bitta master-alert («qizil» DB 5xx-shovqinni o’chiradi).

8) Istisnolar va alohida rejimlar

Security/Legal: Security IR va Legal eskalatsiyasi navbatdan tashqari; ommaviy matnlar faqat kelishish orqali.
Provayderlar: alohida OLA/SLA matritsasi (kontaktlar, vaqt zonalari, ustuvorlik).
Change Freeze: SEV-1/0 - relizlar va konfiguratsiyalarning avtomatik freeze.

9) Matritsaning etuklik metrikasi

Ack p95 (SEV-1/0) ≤ 5 daqiqa

Time to Declare (mediana) ≤ 10 daqiqa.
Comms SLA Adherence ≥ 95%.
Escalation Success (P1/P2 darajasida hal qilingan) ≥ 70%.
No-ACK escalations ↓ QoQ.
Vendor Response Time shartnoma doirasida tanqidiy provayderlar bo’yicha.

10) Chek-varaqlar

Operativ (on-call uchun)

• SLO impakti va potentsial SEV aniqlandi.
• ACK tomonidan ishlab chiqarilgan va IC tomonidan tayinlangan (SEV-1/0 uchun).
• war-room ochildi, pleybuk biriktirildi.
• Maqom yangilanishi SLA tomonidan e’lon qilingan/rejalashtirilgan.
• Freze (agar kerak boʻlsa) yoqilgan, provayder/xavfsizlik kuchaygan.

Protsessual (haftalik review)

• Eskalatsiya zinapoyasi SLA bilan ishladimi?
• ICgacha ortiqcha eskalatsiyalar boʻlmaganmi?
• Mijozlarning bildirishnomalari o’z vaqtida va aniq bo’ladimi?
• Blokerlar (kirish, provayderlarning aloqalari, «ovozsiz» kanal) bormi?
• CAPA muvaffaqiyatsizliklar uchun ishga tushirilgan.

11) Namunalar

11. 1 Eskalatsiya siyosati (YAML g’oyasi)

yaml policy:
sev_levels:
- id: SEV-0 declare_tgt_min: 5 first_comms_min: 10 update_cadence_min: 15
- id: SEV-1 declare_tgt_min: 10 first_comms_min: 15 update_cadence_min: 30 ack_sla_min:
default: 5 ladder:
- after_min: 5 escalate_to: "P2:oncall-<service>"
- after_min: 10 escalate_to: "IC:ic-of-the-day"
- after_min: 15 escalate_to: "DutyManager:duty"
- after_min: 30 escalate_to: "Exec:oncall-exec"
channels:
war_room: "#war-room-<service>"
alerts: "#alerts-<service>"
security: "#sec-war-room"
providers: "vendors@list"
quorum:
required_sources: 2 sources: ["synthetic:eu,us", "rum:<service>", "biz_sli:<kpi>"]
exceptions:
security: { quiet_hours: false, legal_approval_required: true }
providers: { auto_switch: true, notify_vendor_owner: true }

11. 2 «Vaqt bo’yicha eskalatsiya» kartochkasi (bot uchun)

T + 05m: no ACK → escalated to P2
T + 10m: no ACK/Declare → escalated to IC, war-room open
T + 15m: no Comms → reminder Comms, escalation Duty Manager
T + 30m: no Updates → IC reminder, Exec on-call CC

11. 3 Birinchi ommaviy yangilanish namunasi

Impact: [services/regions] affected, [symptoms e.g. delays/errors].
Reason: Investigating; confirmed by monitoring quorum.
Actions: bypass routes/restrictions are enabled, provider switching is in progress.
Next update: [time, time zone].

12) Integratsiya

Alert-as-Code: Har bir Page qoidasi aynan bitta pleybukga murojaat qiladi va o’zining eskalatsiya matritsasini biladi.
ChatOps: ’/declare sev1’, ’/page p2’, ’/status update’buyruqlari, yangilanishlar avto-taymerlari.
CMDB/Katalog: servisda - egalari, on-call, matrisa, provayderlar, kanallar.
Status page: SEV-1/0 namunalari, yangiliklar tarixi, RCA bogʻlamalari.

13) Anti-patternlar

«Hammani birdaniga eskalatsiya qilamiz» → shovqin va noaniq javobgarlik.
IC/war-room mavjud emas - echimlar chatlar orqali tarqaladi.
Birinchi yangilanishning kechikishi - shikoyatlar va PR-xavflarning oshishi.
Security uchun istisnolar yo’qligi - yuridik xavflar.
Egasi va aloqasi bo’lmagan tashqi provayderlar.
Zinapoyalar avtomatlashtirilmagan - hammasi «dastada».

14) Joriy etish yo’l xaritasi (3-5 hafta)

1. Ned. 1: SEV-mezonlar va tayminglarni qayd etish; rollar/provayderlar aloqalarini yig’ish; kanallarni tanlash.
2. Ned. 2: siyosatni tavsiflash (YAML), Alert-as-Code bilan bog’lash, peyjer/botda lesenkani yoqish.
3. Ned. 3: 2-3 ta tanqidiy servislarda uchuvchi; Comms SLA va namunalarni tuzatish.
4. Ned. 4-5: qamrovni kengaytirish, haftalik Escalation Review va etuklik metrikalarini joriy etish.

15) Jami

Eskalatsiya matritsasi - bu hodisalarning operatsion konstitutsiyasi: kim, qachon va qanday ulanadi. Aniq SEV, tayminglar, kanallar, security uchun istisnolar va pleybuklar va status-sahifa bilan integratsiyalashuv bilan jamoa tez, uyg’un va shaffof munosabatda bo’ladi, foydalanuvchilar esa oldindan aytib bo’ladigan yangilanishlarni va xizmatning ishonchli tiklanishini ko’rishadi.