Eskalacja incydentów

1) Cel i zasady

Eskalacja incydentów jest zarządzanym procesem szybkiego przyciągania odpowiednich ról i zasobów w celu zminimalizowania wpływu na użytkowników i wskaźniki biznesowe.

• Prędkość jest ważniejsza niż idealność. Lepiej ogłosić incydent wcześniej i de-escalate niż być spóźniony.
• Jednolite dowództwo. Jedną z osób odpowiedzialnych za rozwiązanie jest Incydent Commander (IC).
• Przejrzystość. Jasne statusy i kanały komunikacji dla zainteresowanych stron wewnętrznych i zewnętrznych.
• Możliwość udokumentowania. Wszystkie kroki, decyzje i harmonogramy są wychwytywane w celu audytu i poprawy.

2) Gradacja ciężkości (poziomy SEV/P)

• SEV-0/P0 (krytyczny) - pełna niedostępność kluczowej funkcji (login/payment), wyciek danych, ryzyko prawne. Natychmiastowe przywołanie całego jądra dyżurnego, zamrożenie zwolnień.
• SEV-1/P1 (wysoki) - degradacja p95/p99, zwiększony udział błędów/awarii w kluczowym procesie, niedostępność regionu/dostawcy.
• SEV-2/P2 (średni) - częściowa degradacja dla ograniczonej kohorty (region, dostawca), istnieje działanie.
• SEV-3/P3 (niski) - nie krytyczny dla użytkownika, ale wymaga uwagi (opóźnienie w tle ETL, zaległy raport).

• Promień zmiany (ile użytkowników/obroty) × czas trwania × czułość (regulacja/PR) → poziom SEV.

3) Proces KPI

MTTD (czas wykrywania) - od początku incydentu do pierwszego sygnału.
MTTA (Odbierz czas) - sygnał do potwierdzenia IC.
MTTR (czas odzysku) - do czasu przywrócenia SLO/funkcji.
Opóźnienie eskalacji - od potwierdzenia do podłączenia żądanej roli/polecenia.
Szybkość ponownego otwarcia - odsetek incydentów wznowionych po „rozwiązaniu”.
Comm SLA - zgodność z odstępami czasu zewnętrznych/wewnętrznych aktualizacji.

4) Role i obowiązki (RACI)

Incydent Commander (IC): właściciel rozwiązania, ustawia poziom, plan, zamrożenie, eskalacja, deeskalacja. Nie pisze poprawek.
Tech Lead (TL): diagnostyka techniczna, hipotezy, koordynacja inżynierów.
Comms Lead (CL): strony stanu, komunikacja kliencka i wewnętrzna, koordynacja z Legal/PR.
Scenarzysta: dokładne zapisywanie faktów, terminów, podejmowanych decyzji.
Liaisons: przedstawiciele zewnętrznych dostawców/zespołów (płatności, KYC, hosting).
Inżynierowie dyżurni: wykonanie planu, uruchomienie playbooks/rollbacks.

Przypisz harmonogram zadań i kopie zapasowe dla każdej roli.

5) Kanały i artefakty

Kanał wojenny (ChatOps): pojedynczy punkt koordynacji (Slack/Teams) z szablonem auto-adnotacji (wersje, flagi, kanary).
Most wideo dla SEV-1 +.
Bilet incydentalny (jeden pager): ID, SEV, IC, uczestnicy, hipoteza/diagnoza, kroki, ETA, status, wpływ, linki do wykresów.
Strona statusu: publiczne/wewnętrzne; harmonogram regularnych aktualizacji (na przykład co 15-30 minut dla SEV-1 +).

6) Skrzynki czasowe i standardowe przedziały

T0 (min. 0-5): przypisany IC, przypisany SEV, zwolnienia zamrożone (w razie potrzeby), sala wojenna otwarta.
T + 15 min: pierwszy komunikat publiczny/wewnętrzny (co jest dotknięte, pole robocze, następne okno aktualizacji).
T + 30/60 min: eskalacja kolejnego poziomu (platforma/DB/bezpieczeństwo/dostawcy), jeśli nie ma stabilnej dynamiki.
Regularne aktualizacje: SEV-0: co 15 minut; SEV-1: co 30 minut; SEV-2 +: co godzinę.

7) Zasady automatycznej eskalacji (zasady uruchamiania)

• Budżet błędu spalania powyżej progu w krótkich i długich oknach.
• Kworum próbek zewnętrznych: ≥ 2 regiony rejestrują degradację HTTP/TLS/DNS.
• Biznes SLI (sukces płatności/rejestracji) spada poniżej SLO.
• Podpisy bezpieczeństwa: podejrzenie przecieku/kompromisu.
• Sygnał dostawcy: status haka internetowego „poważna przerwa”.

8) Proces od odkrycia do rozwiązania

1. Deklaracja incydentu (IC): SEV, zasięg, zamrożenie, uruchomienie playbook.
2. Diagnostyka (TL): hipotezy, izolacja promienia (region, dostawca, funkcja), kontrole (DNS/TLS/CDN/DB/caches/bus).
3. Działania łagodzące (szybkie zwycięstwa): rollback/canary, funkcja flagi degradacji, awaria dostawcy, limit stawki, nakładka pamięci podręcznej.
4. Komunikacja (CL): strona statusu, klienci/partnerzy, Legal/PR, aktualizacje w harmonogramie.
5. Potwierdzenie odzysku: syntetyka zewnętrzna + metryka rzeczywista (SLI), usuwanie zamrożenia.
6. De-eskalacja: zmniejszenie SEV, przejście do obserwacji N minut/godziny.
7. Zamknięcie i RCA: przygotowanie pośmiertne, elementy akcji, właściciele i czas.

9) Współpraca z zewnętrznymi dostawcami

Własne próbki dla dostawców z kilku regionów + lustrzane przykłady żądań/błędów.
Umowy o eskalacji (kontakty, SLA odpowiedzi, priorytet, haki internetowe).
Automatyczny transfer awaryjny/ruch za pośrednictwem dostawcy SLO.
Podstawa dowodowa: linia czasu, przykładowe żądania/odpowiedzi, wykresy opóźnień/błędów, identyfikator biletu dostawcy.

10) Regulacja, bezpieczeństwo i PR

Security/P0: izolacja, zbieranie artefaktów, minimalizacja ujawniania, obowiązkowe powiadomienia (wewnętrzny/zewnętrzny/regulator).
Prawo: zatwierdzenie brzmienia zewnętrznych aktualizacji, rozliczanie umownych SLA/grzywien.
PR/Customer Service: gotowe szablony odpowiedzi, pytania i odpowiedzi, rekompensaty/kredyty (w stosownych przypadkach).

11) Szablony wiadomości

• "Badamy incydent SEV-1 wpływający na [funkcję/region]. Objawy: [krótko]. Uruchomiliśmy obejście [opis]. Następna aktualizacja jest o [czas]"

• "Diagnoza: [hipoteza/potwierdzenie]. Działania: [wyłączony dostawca/zwijany z powrotem/włączona degradacja]. Wpływ zmniejszył się do [procent/kohorta]. Następna aktualizacja to [czas]"

• "Incydent SEV-1 został rozwiązany. Powód: [korzeń]. Czas odzysku: [MTTR]. Następne kroki: [fix/checks/watch N hours]. Pośmiertnie - [kiedy/gdzie]"

12) Playbooks (przykładowe)

Spadek sukcesu płatności: zmniejszenie udziału w dostawcy A, przeniesienie X% do B; Włączenie degradacji płatności-UX obejmują retras w limitach; powiadom dowództwo płetwy.
p99 API wzrost: zmniejszenie kanarka nowej wersji; wyłączyć ciężkie funkcje; zwiększenie pamięci podręcznej-TTL; sprawdź indeksy/połączenia DB.
Problem DNS/TLS/CDN: zweryfikować certyfikaty/łańcuch; Aktualizacja rekordu Przełącznik do trybu czuwania CDN odbudować pamięć podręczną.
Podejrzenie bezpieczeństwa: odizolowanie węzłów, rotacja kluczy, włączanie długopisów mTLS, zbieranie artefaktów, Powiadomienie prawne.

13) De-escalation i kryteria „rozwiązane”

• SLI/SLO stabilne w zielonej strefie ≥ N;
• przeprowadzono działania łagodzące i obserwację - bez regresji;
• dla klasy zabezpieczeń - wektory są potwierdzone zamknięte, klucze/sekrety są obracane.

Zamknięcie - tylko po ustaleniu linii czasowej, właścicieli pozycji akcji i terminów.

14) pośmiertnie (bez sankcji)

1. Fakty (linia czasu, co użytkownicy/metryki widzieli).

2. Przyczyna (techniczna/proces).

3. Co zadziałało/nie działało w eskalacji.

4. Środki zapobiegawcze (testy, wpisy, ograniczenia, architektura).

5. Plan działania z terminami i właścicielami.

6. Link do budżetu błędu i przegląd SLO/procesów.

15) Metryka dojrzałości procesu

Odsetek zdarzeń zgłoszonych przed reklamacjami użytkowników.
MTTA według poziomów SEV; czas na podłączenie żądanej roli.
Zgodność z zaktualizowanymi odstępami czasu (Comm SLA).
Odsetek incydentów rozwiązanych przez playbooks bez ręcznej „kreatywności”.
Wykonanie pozycji akcji z pośmiertnych na czas.

16) Anty-wzory

„Niech ktoś coś zrobi” - bez IC/ról.
Polifonia w pokoju wojennym to spór o wersje zamiast działań.
Późna deklaracja → utrata czasu na gromadzenie ludzi.
Brak zamrażania i uwalniania adnotacji - równoczesne zmiany maskują przyczynę.
Brak komunikacji zewnętrznej - zwiększanie skargi/ryzyka PR.
Zamykanie bez pośmiertnych i czynów - powtarzamy te same błędy.

17) Lista kontrolna IC (karta kieszonkowa)

• Przypisać SEV i otworzyć pokój wojenny.
• Przypisz TL, CL, Scribe, sprawdź obecny dyżur.
• Włącz freeze uwalniania (jeśli SEV-1 +).
• Potwierdź źródła prawdy: deski rozdzielcze SLI, syntetyka, dzienniki, śledzenie.
• Akceptuj działania łagodzące (rollback/flags/failover).
• Należy zapewnić regularne aktualizacje.
• Kryteria wychwytywania w zakresie monitorowania rozstrzygania i monitorowania po odzyskaniu.
• Inicjowanie działań pośmiertnych i przypisywanie ich właścicielom.

18) Wbudowanie w codzienne operacje

Dni gry: symulacje na kluczowych scenariuszach.
Katalog Playbook: wersjonowany, testowany, z parametrami.
Narzędzia: ChatOps poleca „/declare „, „/page ”, „/status „, „/rollback”.
Integracje: bilet, strona stanu, pośmiertne, CMDB/katalog serwisowy.
Negocjacje z budżetem SLO/Error: wyzwalacze automatycznej eskalacji i zasady zamrażania.

19) Najważniejsze

Eskalacja to dyscyplina operacyjna, nie tylko wezwanie do stewardesy. Jasne poziomy SEV przypisane przez IC, gotowe narzędzia do odtwarzania, aktualizowanie skrzynek czasu oraz integracja z metrykami SLO i polityką budżetową przekształcają chaotyczny pożar w możliwy do opanowania proces z przewidywalnym wynikiem - szybkie odzyskiwanie usług, minimalne ryzyko PR/regulacyjne i systemowe ulepszenia po każdym incydencie.