Navbatchilikni o’zgartirish va vazifalarni topshirish
1) Nima uchun navbatchilikni rasmiylashtirish
Navbatchilikni o’zgartirish - xatarli lahzadir: kontekst yo’qoladi, reaktsiya vaqti o’sadi, harakatlar takrorlanadi. Rasmiylashtirilgan jarayon MTTA/MTTRni kamaytiradi, «unutilgan quyruqlarni» yo’q qiladi va komplayensni ta’minlaydi (mas’uliyatni kim va qachon qabul qildi).
2) Qoplamaning roli va modeli
Primary on-call (P1) - birinchi javob, triaj, IC kelguniga qadar muvofiqlashtirish.
Secondary on-call (P2) - ortiqcha yuklashda/eskalatsiyada ulanadi.
Duty Manager/IC-of-the-day - SEV-1 + uchun hodisa yetakchisi.
Follow-the-sun (ko’p taymzon) yoki Follow-the-moon (boshqa mintaqalarda tungi qoplama).
Vaqtinchalik derazalar: relizlar/xavfli ishlardan qochish ± smenadan 30 daqiqa.
3) Rotatsiya jadvallari (misollar)
24/7, 8 soatlik smenalar: ertalab/kechayu, 3 brigada, P1 + P2.
24/7, 12 soatlik smenalar: kamroq almashtirish, charchash xavfi yuqori - «kompensatsiya oynalari» kerak.
5 × 8 (ish kunlari) + Weekend Pool: kunduzgi birlamchi mahsulot, dam olish kunlari - platforma/SRE.
Gibrid: kundalik «ofis vaqtida», kechasi/dam olish kunlari - Follow-the-sun.
Adolat qoidalari: kalendar bo’yicha rotatsiya, bayramlar/ta’tillarni hisobga olish, davr uchun tungi smenalarning maksimal N.
4) Smena kartochkasi (Shift Handover Card)
Minimal tarkib standarti:- Qachon va kim:’Sana/Vaqt (UTC va mahalliy)’, uzatadi → qabul qiladi; aloqalar P1/P2.
- Tizimlarning holati: SLO/SLA maʼlumotlari, faol alertlar, maʼlum tanazzullar.
- Ochiq hodisalar: ID, SEV, joriy qadam, kim egasi, keyingi harakat/ETA.
- Smena oynasidagi xavflar: rejali ishlar, relizlar, migratsiyalar, limit holatlar (provayderlar kvotalari).
- Tanqidiy tiketlar/vazifalar: ustuvorlik, blokerlar, oxirgi muddatlar.
- Tashqi aloqalar: status-sahifadagi faol postlar/mijoz yangiliklari.
- Ma’lum aylanma yo’llar: kiritilgan degradatsiya fich-bayroqlari, vaqtinchalik limitlar.
- Domenika: to’lov provayderlari/KYC/CDN - ularning maqomi va yo’nalishi.
- Housekeeping: kim ertaga qo’ng’iroq qiladi, odamlar kira olmaydi (mitinglar/parvozlar).
5) «Smenani topshiraman» chek-varaqasi (beruvchi tomon)
- Smena kartasini (barcha maydonlarni) yangiladi va’#oncall -handover’kanaliga havolani oʻrnatdi.
- «Og’zaki bilimlarni» tiketlarga/eslatmalarga o’tkazdi; «boshida» vazifa yoʻq.
- Barcha hodisalar mavjud: SEV egasi, keyingi qadam, keyingi yangilanish vaqti.
- Maqom sahifasi va mijoz yangilanishlari haqiqiy holatga mos keladi.
- Shovqinli/yolg’on alertlarni o’chirib qo’ydi (protsedura bo’yicha) yoki kartada qayd etdi.
- Keyingi smenada tashqi provayderlarning kvotalari/limitlarini tekshirdim.
- Ovoz/video aloqasi orqali 5-10 daqiqa davomida sinxronlashtirildi (agar SEV-1 + aktiv bo’lsa).
- Topshirish faktini qayd etdi (bot/chipta), qabul qiluvchini ko’rsatdi.
6) «Smenani qabul qilaman» chek-varaqasi (qabul qiluvchi tomon)
- Kartani oʻqib, ochiq savollarga oydinlik kiritdim.
- So’nggi 2-4 soat ichida SLO/alerta dashbordlarini tekshirdim.
- P1/P2 botdagi rolini va peyjer ovozini/kanallarini tasdiqladi.
- Faol hodisalarga egalik qilish va yangilanish vaqtlarini yangilash.
- Rejalashtirilgan ishlarni/relizlarni solishtirdi, dastlabki 30 daqiqada xavfli operatsiyalarni bekor qildi.
- Kanalga "aks-sado" berdi: "Men o’zgarishni qabul qildim, faol hodisalar:..., sl. apdeyt v "....
7) Kommunikatsiyalar standartlari
Каналы: `#oncall`, `#incident-warroom-<ID>`, `#statuspage`.
Yangilanishlar oralig’i: SEV-0: 15 min, SEV-1: 30 min, SEV-2 +: 60 min.
Yangilanish formati: Impakt - Diagnostika - Harakatlar - Keyingi yangilanish (vaqt).
Eskalatsiya: N daqiqada hech qanday taraqqiyot yoʻq → Matritsada TL/Platform/DB/Sec ni ulash.
Egalik qilishning ravshanligi: har bir harakat ijrochiga va ETAga ega.
8) Vazifalarni topshirish (noxush emas)
Topshirish mezonlari: vazifa SLO/reliz/komplayensni bloklaydi yoki muddati tugaydi.
Rasmiylashtirish: «definition of next step» va kutilayotgan natijaga ega bo’lgan chipta, barcha artefaktlar (loglar/rasmlar/grafiklar) ilova qilingan.
Ustuvorlik: Kanban- swimlane «On-call Handover».
Muddatlari: eshittirishlarda due-date mavjud; kechikishlar servis egasiga eskalatsiya qilinadi.
9) Avtomatlashtirish va integratsiya
Rotatsiyalar taqvimi: peyjer bilan sinxronlashtirish; bot smena boshida «kim navbatchi» ni e’lon qiladi.
ChatOps: ’/handover start’, manbalardan karta yig’ish (SLO maqomi, ochiq hodisalar, relizlar).
Tiketing: P1/P2 bo’yicha egasining avtomatik ravishda tayinlanishi; «handover» teglari.
Maqom sahifasi: shablonli ommaviy yangilanishlar uchun brij.
Audit: uzatish jurnali (kim/qachon qabul qildi), SEV va hisobotlar bilan aloqa.
10) Charchoq va barqarorlikni boshqarish (Fatigue Management)
Limitlar: maksimal X peyj/soat va ketma-ket kechasi Y - P2/eskalatsiyaga o’tish.
Tanqidiy bo’lmagan alertlar uchun Quiet hours (peyjing o’rniga tiketlar).
After-hours kompensatsiya va post-incident rest.
Yangi on-call muhandislar uchun mashgʻulotlar va shadowing.
Shovqinli smenalarning retrospektivlari → alertlar va pleybuklarning tyuningi.
11) Smena va uzatmalar sifati metrikasi
Handover Defect Rate: oʻzgarishda kontekstni yoʻqotish bilan bogʻliq hodisalar ulushi.
Smena atrofida MTTA: almashtirishdan 30 daqiqa ± mediana/cho’qqilar.
Missed/late updates: SEV boʻyicha muddati oʻtgan yangilanishlar.
Alert Hygiene: soxta peyjlar%; runbook/egasiz alertlar.
Load per shift: peydji/soat, faol ishning oʻrtacha davomiyligi.
Satisfaction: NPS smenasi (on-call so’rovi), shkala bo’yicha charchoq.
12) Hodisa menejmenti va RCA bilan aloqa
Faol hodisalar smena vaqtida yopilmaydi; javobgarlik aniq o’tkaziladi va qayd etiladi.
RCAda «Smena ta’siri» bo’limi bo’lishi shart: kontekstning drifti, yangilanishning kechikishi, harakatlarning dubli.
CAPA: kartochka, chek-varaqlar, avtomatlashtirish, o’qitishni yaxshilash.
13) Xavfsizlik, komplayens va maxfiylik
PII/sirlar kartochkalarning erkin matnida taqiqlangan; xavfsiz saqlash uchun havolalar.
Vaqtinchalik foydalanish imkoniyati: on-call-huquqlar smena oynasiga (JIT/JEA), kalitlar rotatsiyasiga beriladi.
Audit-iz: immutable-log kim o’qigan/o’zgartirgan kartochka va maqom sahifasi.
Tartibga solish: mijozlarni xabardor qilish muddatlari smena kartochkasida nazorat qilinadi.
14) Anti-patternlar
«Og’zaki beraman» kartochkasiz/biletsiz.
IC va bekapsiz smenada chiqariladi.
Odamda P2 bo’lmagan «samolyot/metroda» peyjer.
Kartochka next step/ETAsiz «choyshab» kabi.
Shaxsiy chatlarda triaj - ma’lumotlar yo’qoladi, audit o’tkazish mumkin emas.
«Kim javob berdi» degan bahs-munozaralar mavjud emas.
15) Namunalar
Smena kartochkasining namunasi (siqilgan)
Shift: 2025-11-01 18: 00-02: 00 UTC (local: Europe/Kyiv 20: 00-04: 00)
P1: @duty-alex P2: @duty-olga IC: @ic-of-day
SLO Summary: API ok, Payments p95↑ by 12% (observation)
Active Incidents:
- INC-3421 (SEV-2): KYC's success is falling in the TR region. Owner: @ p1. Trail. step: switch 20% of traffic to provider B, update at 20:30 UTC.
Risks/jobs: 22:00 UTC - index migration to ClickHouse (read-only), owner @ data-ivan.
Providers: PSP-A green, KYC-A partially degrades TR.
Status page: post from 17:50 UTC; next update 20:30 UTC.
Next steps P1: 1) Check KYC switching effect; 2) Prepare canary 5% for v2 payments. 14.
Qabul qilishda elektron xabar namunasi
[Took over shift] 18:02 UTC. Active: INC-3421 (SEV-2). Trail. update 18:30 UTC.
Checked alerts in 2h - no new P1s. Status page availability approx.
16) Kundalik amaliyotga joriy etish
Smenaning deyli marosimi: faol hodisalarda ovoz bilan 5-10 daqiqa sinxronlashtirish.
Kartochkalarning haftalik auditi: to’liqligi/dolzarbligini tanlab tekshiramiz.
Game-days: bir nechta parallel hodisalar bilan smenalarni simulyatsiya qilish.
Dok-katalog: repozitoriyadagi kartochkalar/chek-varaqlar shablonlari, kod sifatida revyu.
17) Jami
Yaxshi tashkil etilgan smena va eshittirishlar butun operatsion mashinani «moylash» dir. Smena kartochkalari, qisqa sinxronlashuvlar, qatʼiy chek-varaqlar, avtomatlashtirish va jamoaning barqarorligiga gʻamxoʻrlik qilish xavfli lahzalarni sifatini yoʻqotmasdan odatiy holga aylantiradi: kontekst saqlanib qoladi, reaktsiya vaqti barqaror, foydalanuvchilar esa navbatchilarni umuman sezmaydi.