Planowanie zmian
1) Cele i ramy
Planowanie przesunięć zapewnia ciągłą gotowość platformy do wypadków i szczytów ruchu bez wypalania dowodzenia. Cele:- gwarancja pokrycia procesów krytycznych SLO (depozyty, stawki/rozliczenie, wnioski, KYC/AML);
- Zmniejszyć MTTA/MTTR o każdej porze dnia
- przestrzeganie przepisów prawa pracy i polityki wewnętrznej (weekendy/przerwy/noce).
2) Role i poziomy wsparcia
L1 (NOC/Operations): triage podstawowy, running runbook, eskalacja.
L2 (Domain On-Call): Płatności, Gry/Rdzeń, Dane/Infra - głęboka diagnostyka i poprawki.
L3 (SRE/Platform/Dev): zmiany konfiguracji, plastry, wydania awaryjne.
IC/CL (Incydent Commander/Comms Lead): Zarządza incydentem i komunikacją.
Menedżer obowiązków (przez zmianę): potwierdza personel, ryzyko, zamrożenie okien.
3) Modele zmiany i rotacji
3. 1 24 × 7 zasięg
8 × 3 (trzy ośmiogodzinne): Dzień (08: 00-16: 00), Huśtawka (16: 00-00: 00), Noc (00: 00-08: 00). Łatwy w zarządzaniu, wymaga więcej pracowników.
12 × 2 (dwa dwanaście godzin): Dzień (08: 00-20: 00), Noc (20: 00-08: 00). Mniejsze poręcze, większe ryzyko zmęczenia - stosowanie z ograniczeniami.
Follow-the-sun: EU → AMER → APAC, minimalna noc; wymaga rozłożonego polecenia.
3. 2 Szablony rotacji (przykład)
Panama/Pitman (2-2, 3-2, 2-3): na przemian 12-godzinny z długimi weekendami (wymaga ścisłej kontroli zmęczenia).
4-on/4-off (12h): 4 dni przez 12 godzin, 4 dni wolnego; nadaje się do L1 z dobrą automatyzacją.
5 × 8 (klasyczny): na L2/L3 + dyżury/weekendy.
3. 3 Dyżury
Podstawowy/wtórny: Każda domena ma podstawowy i wtórny dyżur.
Shadow-on-call: Szkolenie nowych inżynierów pod skrzydłem Primary.
4) Obliczanie stanu i skurczu (skurcz)
4. 1 Podstawowy wzór EPC
Wymagane etaty dla roli:
FTE = (coverage hours per week/productive FTE hours per week) × (1 + shrinkage)
Skurcz obejmuje urlop/zwolnienie lekarskie/szkolenie/1: 1/retro/czas admin (zwykle 20-35%).
Przykład (L1 24 × 7, 8 godzin):- Zasięg 168 godzin/35 godzin produkcyjnych/tydzień • 4. 8
- Przy skurczu 30% → 4. 8 × 1. 3 ≈ 6. 2 EPC (okrągłe do 7 dla stabilności).
4. 2 Plan szczytowy
Dodaj czynnik szczytowy dla wydarzeń (najlepsze mecze, turnieje): + 10-25% EPC w oknach kalendarza. Użyj historycznego wpisu/działki ruchu.
5) Pokrycie SLO i okna ryzyka
Zbuduj macierz godzin krytycznych (lokalny czas główny GEO/metody płatności).
Ustawić minimalny skład na szczelinę (na przykład noc: L1 × 2, L2-Payments × 1 dyżur, L2-Games × 1 dyżur, IC przez obrót).
W przypadku zwolnień/migracji należy przypisać strażnika uwolnienia (opcja L2/SRE) na okres i + 60 minut po monitorowaniu.
6) Ręczniki (przesunięcie)
Struktura 10-15 minut:1. Status SLO/alert i otwarty incydent.
2. Planowane prace w oknie + ryzyko.
3. Blokery/czekania (dostawcy PSP/KYC, regulacja).
4. Uzgodnione plany comm (strona statusu, partnerzy).
5. Sprawdź skład zmiany i kontakty dyżurne.
Lista kontrolna przekazania musi znajdować się w wiki/bot; protokół - w kanale var-room lub wymiennym.
7) Kalendarz i zamienniki
Horyzont planowania: 8-12 tygodni; wymiana - nie później niż 2 tygodnie (z wyjątkiem siły wyższej).
Okresy zamrożenia: główne wydarzenia/wakacje - zakaz wakacji dla ról kluczowych (zrekompensowane później).
Zasada Buddy: wymiana tylko przez inżyniera tej samej domeny/kwalifikacji lub z dodatkowym cieniem.
8) Integracja platform
Alerting: routing przez aktywną zmianę i domeny (P1 → pager + var room).
Incydent bot: zespoły '/rota ', '/whoisoncall', automatycznie wymienia IC/CL.
Wydania: CAB zsynchronizowane z harmonogramem zmian; zwolnienia poza zasięgiem - zabronione.
Strona stanu: CL z aktywnej zmiany potwierdzone w bot.
9) Zrównoważony rozwój zespołu i zdrowie
Standardy pracy: noc/weekend - dopłaty i czas wolny; maksymalna noc z rzędu (na przykład ≤ 3).
Przerwy: co 2-3 godziny krótka przerwa; na 12h - obowiązkowe dwa długie.
Zegarek zmęczeniowy: limit godzin/tygodnia, zasada „nie więcej niż N P1 na zmianę na jedną”.
Wsparcie psychologiczne: sprawozdanie po ciężkim P1, comp-time.
10) Wielobranżowe i śledzenie słońca
Podziel marki/najemców według regionów (EU/LATAM/APAC) z lokalnymi L1 i domeną L2.
Regionalne IC przekształcają się w globalne IC w incydenty międzyregionalne.
Codzienne przekazanie krzyżowe (15 min) z przeniesieniem ryzyka i robót.
11) Politycy i RACI
Polityka „Shift & On-Call”: Kto wkracza, jak i kiedy; zamienniki; opieszałość; rezerwy.
SoD/access: IC/CL/transakcje finansowe - odrębne role; JIT zwiększa tylko przez bot.
RACI: każda zmiana ma IC (A), Duty Manager (A/R), L1/L2 (R), Compliance/Sec (C), management (I).
12) Narzędzia i dane
Pojedynczy kalendarz (z atrybutami: domena, region, kontakt, rezerwa).
Deski rozdzielcze: alerty/godzina, incydenty/typ, wydania/okna.
Raporty dotyczące wymiaru sprawiedliwości (fair-share): Relacja nocna/weekendowa osób.
Integracja z HR/PTO, tak aby skurcz był liczony automatycznie.
13) Wskaźniki jakości (KPI/KRI)
Wskaźnik zasięgu:% godzin z pełnym obsadą.
MTTA/MTTR według szczeliny: dzień/wieczór/noc.
Handover Defects: liczba brakujących elementów listy kontrolnej.
Zmęczenie Pagera: alert/osoba/tydzień; połączenia nocne (cel - na).
Wymiana SLA:% zamkniętych zmian przez wymianę ≤ 48 godzin przed rozpoczęciem.
Zasięg szkolenia: udział przesunięć z gniazdem cieni dla nowych operatorów.
Wskaźnik Fair-Share: Równość noclegów/dni wolnych przez pracownika.
14) Plan działania na rzecz realizacji (4-8 tygodni)
Ned. 1-2: zebrać historię wpisów/szczytów, określić krytyczne okna SLO; wybrać model (8 × 3 lub follow-the-sun), obliczyć EPC i skurcz.
Ned. 3-4: opublikuj politykę „Shift & On-Call”, włącz listę kontrolną, uruchom kalendarz ogólny i polecenia bot '/whoisoncall ', '/handover'.
Ned. 5-6: eskalacje debug i zamienniki, dodać raporty fair-share, zsynchronizować CAB/wydania z przesunięciami, wprowadzić zamrożenie okien.
Ned. 7-8: retro w zakresie wypalania i jakości rękojeści, korekta składu nocnych, uruchomienie programu cieni i certyfikat IC/CL.
15) Wzory i artefakty
Shift Rota (przykład dla UE, czas kijowski):Przekazanie listy kontrolnej (10 punktów): SLO, incydenty, prace, ryzyko, wydania, dostawcy, dostęp, strony stanu, otwarte bilety, personel.
Zastępstwo SOP: jak wydać zastępstwo, kryteria przyjmowania, kontakt rezerwowy.
Zamrożenie kalendarza: wydarzenia/wakacje i zakazy na RTO/wydania.
16) Antypattery
Jeden dyżur dla wszystkich bez separacji domeny.
12 godzin z rzędu bez ograniczeń i przerw.
Wydania w godzinach bez dostępności IC/CL/CL.
Oddaj „na słowo mówione”, bez listy kontrolnej i notatek.
Ignoruj skurcz → przewlekły niedostateczny zestaw.
Zero program cień → kruchość i SPOF u ludzi.
Razem
Planowanie zmian jest zadaniem inżynieryjnym: obliczenie EPC i skurczu, uczciwy obrót i ochrona zdrowia, ścisłe ręce i integracja z alerting/ChatOps/CAB. Ramy te zapewniają przewidywalny zasięg 24 × 7 SLO, szybkie reakcje incydentów i odporność biznesu bez wypalania zespołu.