Командаларды жана сменаларды айлантуу
1) Ротация максаттары
Айлануу - бул үзгүлтүксүз жабууну, алдын ала жүктү жана күйүп кетпей жана контекстти жоготпой тез реакцияны камсыз кылуунун системалуу жолу. Негизги максаттары:- пейджерлерди жана түнкү сааттарды бирдей бөлүштүрүү;
- форс-мажордо кепилденген алмаштыруу;
- графиктердин, эс алуулардын жана чектөөлөрдүн ачык-айкындуулугу;
- SLA/комплаенс талаптарын сактоо жана аудитти сактоо.
2) Ролдору жана каптоо
P1 (Негизги on-call): биринчи жооп, триаж, IC менен синхрондоштуруу.
P2 (Secondary on-call): ашыкча жүктөө/эскалация үчүн backup.
IC-of-the-day/Duty Manager: SEV-1 + боюнча лидер, чечимдерди координациялоо.
Observer/Shadow: пейджерсиз "көлөкө" режиминде окутуу.
- сменадан 30 мүнөткө ± релиздерден качуу;
- татаал терезелер үчүн эки активдүү уячаларды кармап (P1 + P2);
- IC атайын өзгөртүү бар, P1 айкалыштырбайт.
3) айлануу моделдери
8-сааттык сменалар менен 24/7: эртең менен/күнү/түнү (3 бригада). Минималдуу чарчоо, көбүрөөк которуу.
12 сааттык сменалар менен 24/7: азыраак которуулар, компенсация жана катуу лимиттер керек.
Follow-the-sun: аймактар убакыт алкактары боюнча жабууну өткөрүп берет; аз түнкү пейджер.
Follow-the-moon: түнкү каптоо жергиликтүү прайм-тайм тышкары жүктөө үчүн "алыскы" аймакка өткөрүлүп берилет.
Week-on/Week-off: бир жума on-call, андан кийин бир жума пейджер жок (жетилген командалар жана төмөн ызы-чуу үчүн).
4) Адилеттүүлүк жана туруктуулук эрежелери
Түнкүсүн/дем алыш квоталары: мезгил ичинде адам башына N түндөн жана M дем алыш сменасынан ашпайт.
Пейдж балансы: эгерде инженерге туура келсе> мезгил үчүн максаттуу босого - кайра бөлүштүрүү/ремедиэйшн.
жалгыз тыюу: түнкү терезелер гана P1 + P2.
Жеткиликсиз терезелер: алдын ала пландаштырылган (эс алуу/оору/окуу), график автоматтык түрдө кайра эсептелет.
Shadow-periods: ар бир жаңы on-call көлөкөдө 2 ≥ өтөт.
5) Графикти пландаштыруу жана жарыялоо
Пландоо горизонту: 6-8 жума, кайра карап чыгуу - ар бир 2 жума.
Ротациялардын жалпы календары (жалпыга жеткиликтүү read-only), ар бир слотто - P1/P2/IC/Shadow, байланыштар.
Алмаштыруулар (swap) тикет/өтүнмө менен таризделет жана бридж-бот менен тастыкталат.
Жарыялоо: T-14 күн үчүн, жок эле дегенде, өзгөрүүлөр - команда билдирүү менен.
6) берүү жол-жоболору (handover)
Алмаштыруу карточкасы (милдеттүү талаалар): активдүү инциденттер (ID/SEV/ээси), кийинки кадам/ETA, терезе тобокелдиктери (релиздер/миграция/квоталар), SLO абалы, деградациянын фич-желектери камтылган, статус-бет/коммс.
Чек тизмеси "өткөрүп берет": карта жаңыртылды, бардык оозеки билим → билеттер, жаңыланган таймерлер коюлду, P2 байланыш тастыкталды.
Чек тизмеси "кабыл алуу": картаны окуп, 2-4 сааттын ичинде дашборддорду текшерип, инциденттерге ээлик кылууну кабыл алып, каналга жаңырык билдирүү жасады.
7) чарчоо башкаруу (fatigue)
чеги Пейдж/саат жана/же өзгөртүү, P2 боюнча авто-эскалация ашып.
P2/P3 сигналдар үчүн Quiet Hours (гана Page-сын азап).
Post-incident rest: оор түн кийин милдеттүү эс алуу (SEV-1 +).
Жумалык alert review → ызы-чууну азайтуу, эрежелерди оңдоо.
Жүктүн мониторинги: "пейджи/адам" графиги жана команданын маанайы (NPS сменасы).
8) Коопсуздук жана комплаенс
JIT/JEA-Access: On-call укуктары гана өзгөртүү терезеге берилет.
Аудит-изи: ким нөөмөттө турган, ким кабыл алган, кандай аракеттер аткарылган; туруктуу сактоо.
Сезгич операциялар менен нөөмөттөр (PII/төлөмдөр): сменалардын жана жол берүүлөрдүн өзүнчө классы; жеке түзмөктөрдү тыюу, SSO + mTLS.
Мыйзамдуу/PR/Privacy менен байланыш пункттары нөөмөт картасында белгиленген.
9) Автоматташтыруу
Календарь пейджер ChatOps: бот жарыялайт "ким on-call", берет '/swap ', түзүү карта handover булактардан (дашборддор, билеттер, релиздер).
Сменанын башталышында даярдыкты текшерүү: пейджер үнү, VPN/SSO, жеткиликтүүлүк, байланыш.
Документтердин үлгүлөрү: Рутин жана окуялар үчүн SOP/Runbook; Алерттердеги авто шилтемелер.
Релиздер менен интеграция: релиз-аннотациялар → алгачкы 30 мүнөттө ачкычсыз алерттерди убактылуу басуу.
10) Айлануу сапатын өлчөө
MTTA/MTTR тегерегинде өзгөртүү (± 30 мүнөт).
Handover Defect Rate - бир сменада контекстти жоготуу менен окуялар үлүшү.
Alerts per on-call hour (mediana/95-перцентил),% actionable.
Load per person - пейджи/адам/жума; катышуучулардын ортосундагы дисперсия.
Missed/Late Updates - Comms SLA боюнча кечиктирүүлөр.
Swap rate жана себептери (чарчоо/эс алуу/чыр-чатактар).
NPS өзгөрүүлөр (кыска сурамжылоо боюнча) жана тренд.
11) График үлгүлөрү
A. 24/7, 8-саат (3 бригада)
Brigade A: 08: 00-16: 00
Brigade B: 16: 00-00: 00
Brigade C: 00: 00-08: 00
Each team: P1 + P2, IC on a separate schedule (day slot)
Rotation: A→B→C every week; weekend moves in a circle
B. Follow-the-sun (3 аймактар)
EU: 07:00–15:00 AMER: 15:00–23:00 APAC: 23:00–07:00 (UTC)
Each region: P1 local, P2 neighboring
IC: coincides with active region; transfer 15 minutes before shift
V. week-on/Week-off (төмөн ызы-чуу)
Week 1: Team X (P1/P2) Week 2: Team Y
Daily IC common to both
Limit: no more than 2 consecutive weeks for one person
12) Чек-баракчалар
Графикти жарыялоонун алдында
- "тешик" жок 24/7 каптоо, ар бир уячада P1 + P2.
- Эс алуу/окуу/жеткиликтүүлүк чектөөлөрү эске алынган.
- Түнкү/дем алыш күндөрүнүн балансы адилеттүү.
- Дайындалган IC жана Shadow.
- Пейджер/календар менен Auto синхрондоштуруу киргизилген.
Өзгөртүү башталды
- P1/P2/IC катышуусун тастыктады (бот/чат).
- Текшерилген кирүү, байланыш, dashboard.
- Кабыл алынган handover карта, жөнөттү жаңырык билдирүү.
Өзгөртүү аяктады
- handover карта жаңыртылган жана жабык.
- Окуялар кийинки кадам менен берилген/ETA.
- Кыска AAR аткарылды, жакшыртуулар (эгерде мүчүлүштүктөр болсо) жазылган.
13) Анти-үлгүлөрү
Жалгыз P1 түнү backup жок.
Горизонт жана алмаштыруу жок бир жума мурун графикти жарыялоо.
IC жана Gates жок өзгөртүү учурунда релиздер.
Карталары жана билеттери жок "оозеки" берүүлөр.
Оор түндөрдөн кийин нөлдүк компенсация/эс алуу.
Swap's аудит жоктугу жана алмаштыруу себептери.
Окутуусуз айлануу: жаңы on-call дароо "согушка".
14) Жол картасы киргизүү (4-6 жума)
1. Нед. 1: камтуу, моделдерди тандоо (24/7 же сүйрөп-күн), ролдорду дайындоо.
2. Нед. 2: календары + пейджер + бот баштоо, handover/SOP үлгүлөрү.
3. Нед. 3: пилоттук 2-3 жумалык айлампасы, метрика чогултуу (alerts/саат, MTTA тегерегинде өзгөрүүлөр).
4. Нед. 4: alert review, тюнинг ызы-чуу жана квота, Shadow-smen киргизүү.
5. Нед. 5-6: жол-жоболоштуруу компенсация/quiet саат, башкаруу отчеттор, автоматташтыруу swap's.
15) Жыйынтык
Ротация - бул Excel эмес, процесс: ачык-айкын графиктер, ролдор жана кол карталары; календарды жана пейджерди автоматташтыруу; адилет чарчоо эрежелери жана лимиттери; сапат көрсөткүчтөрү жана үзгүлтүксүз карап чыгуу. Мындай ыкма менен сменаларды алдын ала айтууга болот, адамдар туруктуу болуп калат, ал эми колдонуучулар жана өнөктөштөр команда саат боюнча өзгөрүп жатканын байкашпайт.