Nobatçylyklary üýtgetmek we wezipeleri geçirmek

1) Näme üçin nobatçylyk çalşygyny resmileşdirmeli?

Nobatçylyklary üýtgetmek - töwekgelçiligiň möhüm pursaty: kontekst ýitýär, reaksiýanyň wagty artýar, hereketler gaýtalanýar. Resmileşdirilen proses MTTA/MTTR-ni peseldýär, "ýatdan çykarylan guýruklary" aradan aýyrýar we barlagy üpjün edýär (jogapkärçiligi kim we haçan kabul etdi).

2) Örtügiň rollary we modeli

Primary on-call (P1) - ilkinji jogap, triaj, IC gelýänçä utgaşdyrmak.
Secondary on-call (P2) - ekap, artykmaç ýüklenende/güýçlenende birikdirilýär.
Duty Manager/IC-of-the-day - SEV-1 üçin hadysanyň lideri.
"Follow-the-sun" (köp wagt) ýa-da "Follow-the-moon" (beýleki sebitlerde gijeki örtük).
Wagtlaýyn penjireler: smenadan 30 minut ± goýberilmezlik/töwekgelçilikli işlerden gaça durmak.

3) Aýlanyş grafikleri (mysallar)

24/7, 8 sagatlyk çalşyk: irden/gije/gün, 3 brigada, P1 + P2.
24/7, 12 sagatlyk çalşyk: az çalşyk, has köp ýadawlyk töwekgelçiligi - "öwezini dolmak penjireleri" gerek.
5 × 8 (iş günleri) + Dynç güni howzy: önüm topary tarapyndan gündelik başlangyç örtük, dynç günleri - platforma/SRE.
Gibrid: dynç günleri "ofis wagty", gijelerine/dynç günleri - Follow-the-sun.

Adalat kadalary: senenama boýunça aýlanyş, dynç alyş/dynç alyş günleriniň hasaba alynmagy, döwür üçin iň köp gijeki çalşyk N.

4) Çalşyk kartoçkasy (Shift Handover Card)

• Haçan we kim: 'Senesi/wagty (UTC we ýerli)', geçirýär → kabul edýär; aragatnaşyklar P1/P2.
• Ulgamlaryň ýagdaýy: SLO/SLA hasabaty, işjeň alertler, belli pese gaçmalar.
• Açyk hadysalar: ID, SEV, häzirki ädim, kimiň eýesi, indiki hereket/ETA.
• Çalşyk penjiresine töwekgelçilikler: meýilleşdirilen işler, goýberişler, migrasiýa, çäkli ýagdaýlar (üpjün edijileriň kwotalary).
• Kritiki biletler/wezipeler: ileri tutulýan, blokerler, möhletler.
• Daşarky aragatnaşyklar: status-sahypadaky işjeň ýazgylar/müşderi täzelenmeleri.
• Belli aýlanyp geçýän ýollar: degradasiýanyň fiç-baýdaklary, wagtlaýyn çäkler.
• Domenika: töleg üpjün edijileri/KYC/CDN - olaryň ýagdaýy we ugry.
• Housekeeping: kim ertir jaň edýär, adamlaryň elýeterli däl penjireleri (ýörişler/uçuşlar).

5) "Çalşyga berýärin" çek-sanawy (berýän tarap)

• Çalşyk kartoçkasyny (ähli meýdanlar) täzeledi we baglanyşygy '#oncall -handover' kanalynda berkitdi.
• "Dilden bilimleri" belliklere/belliklere geçirdi; "kellede" wezipeler ýok.
• Ähli hadysalarda bar: SEV, eýesi, indiki ädim, indiki täzeleniş wagty.
• Status-sahypa we müşderi täzelenmeleri hakyky ýagdaýa laýyk gelýär.
• Şowhunly/ýalan aladalary öçürdi (prosedura boýunça) ýa-da kartoçkada bellik etdi.
• Indiki çalşygyň penjiresine daşarky üpjün edijileriň kwotalaryny/çäklerini barladym.
• 5-10 minut ses/wideo baglanyşygy bilen sinhronlaşdyryldy (SEV-1 işjeň bolsa).
• Geçirmek faktyny ýazga aldy (bot/bilet), kabul edijini görkezdi.

6) "Çalşygy kabul edýärin" çek-sanawy (kabul ediji tarap)

• Kartoçkany okadym, açyk soraglary düşündirdim.
• Soňky 2-4 sagadyň dowamynda SLO/alertleri barladym.
• Botda (assign) we ses/jaň kanallarynda P1/P2 roluny tassyklady.
• Işjeň hadysalara eýe bolmak we täzelenme wagtlaryny täzelemek.
• Meýilleşdirilen işleri/çykaryşlary barlady, ilkinji 30 minutda töwekgelçilikli amallary ýatyrdy.
• Kanala "ýaňlandy": "Çalşygy kabul etdim, işjeň wakalar:..., sl. täzelenme "....

7) Aragatnaşyk standartlary

Каналы: `#oncall`, `#incident-warroom-<ID>`, `#statuspage`.
Täzeleniş aralyklary: SEV-0: 15 minut, SEV-1: 30 minut, SEV-2: 60 minut.
Täzeleniş formaty: Impact - Diagnostika - Hereketler - Indiki täzelenme (wagt).
Eskalasiýa: N minutda öňegidişlik ýok → Matrisa boýunça TL/Platform/DB/Sec birikdiriň.
Eýelik etmegiň aýdyňlygy: her hereketiň ýerine ýetirijisi we ETA bar.

8) Wezipeleriň geçirilmegi (wakasyz)

Geçiriş ölçegleri: wezipe SLO/release/complayens-i bloklaýar ýa-da möhleti gutarýar.
Bezeg: "definition of next step" we garaşylýan netije bilen bilet, ähli artefaktlar (loglar/suratlar/grafikler) goşulýar.
Ileri tutulýan: Kanban- swimlane "On-call Handover".
Möhletler: geçirişlerde due-date bar; gijikdirmeler hyzmatyň eýesine güýçlendirilýär.

9) Awtomatlaşdyryş we integrasiýa

Aýlanyş senenamasy: habarçy bilen sinhronlamak; bot çalşygyň başynda "kimiň nobatçysy" diýip çap edýär.
ChatOps: '/handover start ', çeşmelerden kartoçkalary awto-ýygnamak (SLO statuslary, açyk hadysalar, goýberişler).
Tiketing: P1/P2 boýunça eýesiniň awtomatiki bellenilmegi; bellikler "handover".
Status-sahypa: şablonly köpçüligiň täzelenmelerine brij.
Audit: geçiriş žurnaly (kim/haçan kabul etdi), SEV we hasabatlar bilen baglanyşyk.

10) Ýadawlygy we durnuklylygy dolandyrmak (Fatigue Management)

Çäklendirmeler: iň ýokary X пейj/sagat we yzly-yzyna Y gije - P2/eskalasiýa geçmek.
Kritiki däl alertler üçin Quiet hours (jaň etmegiň ýerine biletler).
After-hours kompensasiýa we post-incident rest.
Täze on-call inersenerleri üçin okuw we shadowing.
Sesli çalşyklaryň retrospektiwleri → alertleriň we pleýbuklaryň sazlanmagy.

11) Çalşyklaryň we geçirişleriň hiliniň metrikleri

Handover Defect Rate: çalşylanda kontekstiň ýitmegi bilen baglanyşykly hadysalaryň paýy.
Çalşygyň töwereginde MTTA: çalşykdan 30 minut ± median/pikler.
Missed/late updates: SEV boýunça möhleti geçen täzelenmeler.
Alert Hygiene:% ýalan jaň; runbook/eýesi bolmadyk alertler.
Load per shift: page/h, işjeň işiň ortaça dowamlylygy.
Satisfaction: NPS çalşyk (on-call anket), şkalada ýadawlyk.

12) Waka-dolandyryş we RCA bilen aragatnaşyk

Işjeň hadysalar çalşyk wagtynda ýapylmaýar; jogapkärçilik aýdyň berilýär we kesgitlenýär.
RCA-da "Çalşygyň täsiri" bölümi hökmanydyr: kontekstiň süýşmegi, täzelenmäniň gijä galmagy, hereketleriň goşa bolmagy.
CAPA: kartoçkalary, çek-listleri, awtomatlaşdyrmagy, okuwy gowulandyrmak.

13) Howpsuzlyk, laýyklyk we gizlinlik

PII/kartoçkalaryň erkin tekstinde syrlar gadagan edilýär; howpsuz ammar baglanyşyklary.
Wagtlaýyn elýeterlilik: on-call-hukuklar çalşyk penjiresine (JIT/JEA), açarlaryň aýlanmagyna berilýär.
Audit-yzy: immutable-log kim okady/üýtgetdi kartoçka we status-sahypa.
Düzgünleşdiriji: müşderi habarnamalarynyň möhletleri çalşyk kartoçkasynda gözegçilik edilýär.

14) Anti-patternler

Kartoçkasyz/biletsiz "Dilden bererin".
IC we bekapsyz çalşyk pursatynda goýberiň.
Adamyň P2-siz "uçarda/metroda" habarçysy.
Kartoçka indiki ädim/ETA bolmazdan "düşek" ýaly.
Şahsy söhbetdeşliklerdäki triaj - maglumat ýitýär, audit mümkin däl.
"Kimiň jogap berdi" diýen jedeller.

15) Şablonlar

Çalşyk kartoçkasynyň şablony (gysgaldylan)

Shift: 2025-11-01 18: 00-02: 00 UTC (local: Europe/Kyiv 20: 00-04: 00)
P1: @duty-alex      P2: @duty-olga      IC: @ic-of-day
SLO Summary: API ok, Payments p95↑ by 12% (observation)
Active Incidents:
- INC-3421 (SEV-2): KYC's success is falling in the TR region. Owner: @ p1. Trail. step: switch 20% of traffic to provider B, update at 20:30 UTC.
Risks/jobs: 22:00 UTC - index migration to ClickHouse (read-only), owner @ data-ivan.
Providers: PSP-A green, KYC-A partially degrades TR.
Status page: post from 17:50 UTC; next update 20:30 UTC.
Next steps P1: 1) Check KYC switching effect; 2) Prepare canary 5% for v2 payments. 14.

Kabul edilende elektron poçta şablony

[Took over shift] 18:02 UTC. Active: INC-3421 (SEV-2). Trail. update 18:30 UTC.
Checked alerts in 2h - no new P1s. Status page availability approx.

16) Gündelik tejribä goşulmak

Çalşyk däp-dessury: işjeň hadysalarda 5-10 minut ses bilen sinhronlamak.
Kartoçkalaryň hepdelik barlagy: doly/aktuallygyny saýlap barlaýarys.
Game-days: birnäçe paralel hadysalar bilen çalşyk simulýasiýasy.
Dok-katalog: repozitoriýadaky kartoçkalaryň/çek-listleriň şablonlary, kod hökmünde gykylyk.

17) Jemleýji

Gowy guralan çalşyklar we geçirişler tutuş operasiýa maşynynyň "ýaglamasydyr". Çalşyk kartoçkasy, gysga senkronizasiýa, berk çek-listler, awtomatlaşdyryş we toparyň durnuklylygy barada alada etmek töwekgelçilikli pursatlary hil ýitirilmezden adaty ýagdaýa öwürýär: kontekst saklanýar, reaksiýanyň wagty durnukly we ulanyjylar nobatçylaryň üýtgemegini asla duýmaýarlar.