Smenalarni rejalashtirish
1) Maqsad va doiralar
Smenalarni rejalashtirish platformaning jamoalar yonmasdan hodisalar va trafik cho’qqilariga uzluksiz tayyorligini ta’minlaydi. Maqsadlar:- SLO-kritik jarayonlarni (depozitlar, stavkalar/settl, xulosalar, KYC/AML) qoplashni kafolatlash;
- sutkaning istalgan vaqtida MTTA/MTTRni qisqartirish;
- mehnat qonunchiligiga va ichki siyosatga (dam olish/tanaffuslar/tungi) rioya qilish.
2) Qo’llab-quvvatlash rollari va darajalari
L1 (NOC/Operations): birlamchi triaj, runbook ishga tushirish, eskalatsiya.
L2 (Domain On-Call): Payments, Games/Core, Data/Infra - chuqur diagnostika va fikslar.
L3 (SRE/Platform/Dev): konfiguratsiyani oʻzgartirish, patchlar, avariya relizlari.
IC/CL (Incident Commander/Comms Lead): hodisa va kommunikatsiyalarni boshqaradi.
Duty Manager (smenada): staffing, xavflar, freeze-derazalarni tasdiqlaydi.
3) Smena va rotatsiya modellari
3. 1 24 × 7 qoplash
8 × 3 (uch sakkiz soatlik): Day (08: 00-16: 00), Swing (16: 00-00: 00), Night (00: 00-08: 00). Boshqarish oson, ko’proq xodimlarni talab qiladi.
12 × 2 (ikki o’n ikki soatlik): Day (08: 00-20: 00), Night (20: 00-08: 00). Kamroq hendover, charchoq xavfi yuqori - cheklovlar bilan foydalanish.
Follow-the-sun: EU → AMER → APAC, minimal tungi; taqsimlangan buyruqni talab qiladi.
3. 2 Rotatsiya shablonlari (misol)
Panama/Pitman (2-2, 3-2, 2-3): 12 soatlik navbatma-navbat uzoq dam olish kunlari (charchoqni qat’iy nazorat qilishni talab qiladi).
4-on/4-off (12h): 4 kundan 12 soatgacha, 4 dam olish kunlari; yaxshi avtomatlashtirish bilan L1 uchun mos keladi.
5 × 8 (klassik): L2/L3 uchun + kechasi/dam olish kunlari on-call navbatchiligi.
3. 3 On-call navbatchiligi
Primary/Secondary: har bir domenda birlamchi va ikkilamchi on-call mavjud.
Shadow-on-call: Primary qanoti ostida yangi muhandislarni o’qitish.
4) Shtat va «cho’zilish» hisob-kitobi (shrinkage)
4. 1 FTE bazaviy formulasi
Rol uchun talab qilinadigan FTE:
FTE = (coverage hours per week/productive FTE hours per week) × (1 + shrinkage)
Bu yerda shrinkage ta’til/kasallik/ta’lim/1: 1/retro/admin-vaqt (odatda 20-35%) ni o’z ichiga oladi.
Misol (L1 24 × 7, 8 soatlik):- 168 soat qoplash/35 mahsuldor soat/hafta ≈ 4. 8
- Shrinkage 30% → 4. 8 × 1. 3 ≈ 6. 2 FTE (barqarorlik uchun 7 tagacha yaxlitlaymiz).
4. 2 Cho’qqilar rejasi
Voqealar uchun eng yuqori koeffitsiyentni qo’shing (top-o’yinlar, turnirlar): taqvim oynalariga + 10-25% FTE. Alert/trafikning tarixiy grafiklaridan foydalaning.
5) SLO qoplamasi va xavf oynalari
Kritik soatlar matritsasini tuzing (mahalliy «praym-taym» GEO/to’lov usullari).
Slotga minimal tarkibni oʻrnating (masalan, Night: L1 × 2, L2-Payments × 1 on-call, L2-Games × 1 on-call, IC rotatsiya).
Relizlar/migratsiyalar uchun release guard (qo’shimcha L2/SRE) ni tayinlang va + 60 min post-monitoring.
6) Xendoverlar (smenani topshirish)
Tuzilishi 10-15 daqiqa:1. SLO/alertlar va ochiq hodisalar maqomi.
2. Rejali ish + xavflar.
3. Blokerlar/kutishlar (PSP/KYC provayderlari, reglament).
4. Kelishilgan qo’mita-rejalar (maqom-sahifa, sheriklar).
5. On-call almashish va aloqa tarkibini tekshirish.
Hendoverning chek-varaqasi wiki/botda bo’lishi kerak; protokol - varrum yoki smena kanalida.
7) Kalendar va almashtirish
Rejalashtirish gorizonti: 8-12 hafta; almashtirish - 2 haftadan kechiktirmay (fors-major bundan mustasno).
Freeze-davrlar: yirik tadbirlar/bayramlar - asosiy rollar uchun ta’tillarni taqiqlash (keyinchalik qoplanadi).
Buddy-rule: faqat bir xil domen/malaka muhandisi yoki qoʻshimcha shadow bilan almashtirish.
8) Platforma bilan integratsiya
Alerting: faol almashtirish va domenlar bo’yicha marshrutlash (P1 → pager + var-rum).
Hodisa-bot: ’/rota’, ’/whoisoncall’buyruqlari, IC/CL avto-eslatmalari.
Relizlar: CAB smena jadvali bilan sinxronlashtirilgan; qoplamadan tashqaridagi relizlar taqiqlanadi.
Status-sahifa: Aktiv smenadan CL botda tasdiqlangan.
9) Jamoaning barqarorligi va salomatligi
Mehnat normalari: tungi/dam olish kunlari - qo’shimcha to’lovlar va dam olish kunlari; ketma-ket eng ko’p tungi (masalan, 3 ≤).
Tanaffuslar: har 2-3 soatda qisqa tanaffus; 12h bo’lganda - majburiy ikkita uzun.
Fatigue-watch: soat/hafta limiti, qoida «bir smenada N P1 dan ortiq emas».
Psixologik qo’llab-quvvatlash: og’ir P1 dan keyingi debrif, komp-taym.
10) Ko’p mintaqa va follow-the-sun
Mahalliy L1 va L2 domenlari bilan brendlarni/tenantlarni mintaqalarga ajrating (EU/LATAM/APAC).
Mintaqaviy IC kross-mintaqaviy hodisalarda global ICga nisbatan kuchaymoqda.
Har kunlik kross-mintaqaviy xendover (15 daqiqa), tavakkalchiliklar va ishlarni o’tkazish.
11) Siyosat va RACI
Policy «Shift & On-Call»: kim, qanday va qachon ishga tushadi; almashtirish; kechikish; zaxira.
SoD/kirish: IC/CL/moliyaviy operatsiyalar - alohida rollar; JIT oshirish faqat bot orqali.
RACI: har bir smenada - IC (A), Duty Manager (A/R), L1/L2 (R), Compliance/Sec (C), qo’llanma (I).
12) Asboblar va ma’lumotlar
Yagona kalendar (atributlari bilan: domen, mintaqa, aloqa, zaxira).
Smena yuklamalari dashbordlari: alertlar/soat, hodisalar/tur, relizlar/derazalar.
Adolat hisobotlari (fair-share): Odamlar boʻyicha tunlar/dam olish kunlarini qamrab olish.
Shrinkage avtomatik hisoblanishi uchun HR/PTO bilan integratsiya qilish.
13) Sifat metrikasi (KPI/KRI)
Coverage Rate:% soat toʻliq tarkibda.
MTTA/MTTR slotlar bo’yicha: kun/kecha/kecha.
Handover Defects: chek-varaqning yetishmayotgan bandlari soni.
Pager Fatigue: alertov/kishi/hafta; tungi qo’ng’iroqlar (maqsad - ↓).
Replacement SLA:% yopiq smenalar almashtirish ≤ 48 soat boshlanishi.
Training Coverage: yangi operatorlar uchun shadow-slotli smenalar ulushi.
Fair-Share Index: xodimlar boʻyicha tun/dam olish kunlarining bir tekisligi.
14) Joriy etish yo’l xaritasi (4-8 hafta)
Ned. 1-2: alert/cho’qqilar tarixini to’plash, SLO-kritik oynalarni aniqlash; modelni tanlash (8 × 3 yoki follow-the-sun), FTE va shrinkage hisoblash.
Ned. 3-4: Policy «Shift & On-Call» ni e’lon qilish, hendover-chek ro’yxatini yoqish, umumiy taqvimni va bot buyruqlarini ishga tushirish ’/whoisoncall’, ’/handover’.
Ned. 5-6: eskalatsiyalar va almashtirishlarni tuzatish, fair-share hisobotlarini qo’shish, SAV/relizlarni smenalar bilan sinxronlashtirish, freeze-derazalarni kiritish.
Ned. 7-8: hendoverlarning yonishi va sifati bo’yicha retro, tungi tarkibni tuzatish, shadow-dasturni ishga tushirish va IC/CL sertifikatlashtirish.
15) Shablonlar va artefaktlar
Shift Rota (EU uchun misol, Kiyev vaqti):Handover Checklist (10 punkt): SLO, hodisalar, ishlar, xavflar, relizlar, provayderlar, kirish, maqom sahifalari, ochiq chiptalar, staffing.
Replacement SOP: almashtirishni qanday rasmiylashtirish, ruxsat mezonlari, zaxira aloqasi.
Freeze Calendar: tadbirlar/bayramlar va taqiqlar/relizlar.
16) Antipatternlar
Bitta on-call hamma uchun domen bo’linmasdan.
12 soatlik kechalar ketma-ket cheklovlarsiz va tanaffuslarsiz.
IC/CL/CL mavjud boʻlmagan soatlardagi relizlar.
Xendover «og’zaki so’zda», chek varaqasi va yozuvlarsiz.
Ignor shrinkage → surunkali kam to’plam.
Nol shadow dasturi → zaiflik va odamlar uchun SPOF.
Jami
Smenalarni rejalashtirish - bu muhandislik vazifasi: FTE va shrinkage hisoblash, halol rotatsiya va sog’liqni saqlash, qattiq hendoverlar va alerting/ChatOps/CAB bilan integratsiya. Bunday ramka SLOni oldindan aytib boʻladigan 24 × 7 qoplashni, noxush hodisalarga tezkor munosabat bildirishni va ishbilarmonlik barqarorligini taʼminlaydi.