Операциялар және басқару → Операциялық жауапкершілік мәдениеті

Операциялық жауапкершілік мәдениеті

1) Бұл не үшін қажет

Технология құралдарды береді, бірақ сенімділікті адамдар мен олардың мінез-құлқы жасайды. Операциялық жауапкершілік мәдениеті платформаны болжамды етеді, ақаулардан кейін қалпына келтіруді жеделдетеді, «шуды» азайтады және инциденттерді жақсарту үшін отынға айналдырады.

• «Сенімділік дегеніміз не және оған кім жауап береді» деген бірыңғай түсінік.
• Операциялардағы айқын рөлдер, міндеттер мен өкілеттіктер.
• Қателерді және жылдам түзетулерді талқылау үшін қауіпсіз орта.
• SLO, реакция уақыты мен операция құнының ырғақты жақсаруы.

2) Қағидаттар (мәдениет өзегі)

1. You build it — you run it. Команда кодтан он-коллға дейінгі домен сапасына ие.
2. SLO-first. Шешімдер SLO және error budget ықпалы арқылы бағаланады.
3. Blameless & factual. Айыптаусыз постмортемдер, тек фактілер, деректер мен әрекеттер.
4. Small & reversible. Аздаған өзгерістер, фичефлагтар, канареялар, тез қайту.
5. Safety to speak up. Әркім «қызыл ту» көтере алады.
6. Evidence over opinions. Деректер мен артефактілер пікірлер мен мәртебеден маңызды.
7. Continuously learn. Инциденттер → гипотезалар → эксперименттер → стандарттар.

3) Рөлдер және игеру

Домен иесі (Payments/Bets/Games/KYC): SLO, он-колл, жақсарту жол картасы, қателер бюджеті.
Инцидент-менеджер (ротация): реакцияны үйлестіру, таймлайн, коммуникация сапасы.
SRE/Платформа: сенімділік құралдары (бақылау, алерта, фичефлагтар, канарейка).
Team Lead/EM: күту, құзыреттілікті дамыту, ритуалдарды сақтау.
Бизнес-стейкхолдер: SLO/басымдықтарды келіседі, тәуекелдерді/ымыраларды қабылдайды.

4) SLO жауапкершілік келісімшарты ретінде

Шындықтың жалғыз көзі: метриктерді, терезелерді, ерекшеліктерді анықтау.
Error budget: анық тәуекел шегі → релиздер/эксперименттер.
SLO тіліндегі талқылау: "Бұл релиз бюджеттің 20% -ын жаға ма? ».
Тексеру тоқсанына бір рет: өніммен және бизнеспен бірге.

5) On-call және тосын оқиғаларға дайындық

Нақты күту: реакция уақыты, арналар, өкілеттіктер («тоқтату кранының» құқығы).
Жаттығулар: инциденттерді эмуляциялау, shadow-кезекшілік, DR-жаттығулар.
Артефакттар: тірі runbook 'i, эскалация матрицасы, апдейт үлгілері.
Адамдарға қамқорлық: ауыспалы жүктеме, өтемақы, ротация, «no heroics» саясаты.

• Рұқсаттар мен VPN тексерілді.
• Хабарландыру арналары мен сақтық контактілер жарамды.
• Runbook 30 күн бұрын ≤ жаңартылды.
• Соңғы 90 күнде DR-қатысу.

6) Операциялардағы коммуникациялар

Бірыңғай үлгілер: оқиғалар бойынша қысқа апдейттер, ауысымдар арасындағы «handover» пакеттері.
Шешімдердің жариялылығы: негізгі мәмілелер жазбаша тіркеледі.
Кестедегі аннотациялар: релиздер, фичефлагтар, провайдерлердің терезелері.
Барлығы үшін SLO панельдері: күй ашықтығы және қателер бюджеті.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Айыптаусыз постмортем

Фактілер және таймлайн: кім, қашан, не істеді, қандай деректер негізінде.
Жүйелік себептер: «кінәлілер» емес, процестер, құралдар, интерфейстер.
Мерзімдері бар іс-әрекеттер: түзету және алдын алу.
Сабақ алу: стандарттар, чек парақтары, runbook жаңартулары.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Әдет-ғұрыптар мен каденция

Апта сайынғы Ops-шолу (30 мин): SLO, инциденттер, алаңдаушылықтар, іс-қимылдардың ілгерілеуі.
Ай сайынғы сенімділік ретроспективасы: сабақтар, трендтер, стандарттарды жаңарту.
Тоқсандық Reliability Review: SLO/бюджеттерді қайта қарау, жол картасына интеграциялау.
Game-days/Chaos: істен шығу және фейловерді пысықтаудың жоспарлы сценарийлері.

9) Мотивация, өсу және траекториялар

Құзыреті: он-колл, инцидент-менеджмент, бақылау, SLO-инжиниринг, FinOps.
Мансаптық деңгейлер: сенімділікке қосқан үлесі бойынша күту (бастамалар, постмортемдер, тәлімгерлік).
Материалдық емес мотивация: мойындау, жақсартулардың авторлығы, «Reliability Champion» кварталы.
Материалдық: он-колла өтемақысы, SLO-KPI жетістіктері үшін бонустар.

10) Саясат және мінез-құлық нормалары (фрагменттер)

• Кез келген он-колл SLO қаупі туындаған кезде релизді/фичті үзіліске қоя алады.
• Шешім тәуекел жойылғаннан кейін тіркеледі және қайта қаралады.

• Тек фичефлагтар мен канарейкалармен ғана ірі өзгерістер.
• SLO-метриктер бойынша автогейттер; ауытқу → үзіліс/кері қайту.

• Барлық сындарлы ақпарат - ортақ арналарда, жеке шешімдерсіз.
• ETS (Estimated Time to Status) P1/P2 оқыс оқиғалары үшін міндетті.

11) Мәдениет өлшемдері (жетілу KPI)

SLO Coverage: формалды сипатталған SLO/алерті бар сындарлы жолдардың үлесі.
Pre-Incident Detect Rate: тозу сатысында ұсталған оқыс оқиғалардың үлесі.
MTTR/MTTD: тоқсандар бойынша динамика.
Change Failure Rate: релизден кейін кері/кері қайту.
Postmortem Action SLA: мерзімінде жабылған әрекеттер үлесі.
Alert Fatigue Index: он-колл/ауысымда алерт.
Handoff Quality Score: ауысым арасындағы беріліс сапасы.
Psychological Safety Pulse: қысқа тұрақты сауалнама (жасырын).

12) Енгізу чек-парағы

• Домендер, иелері, on-call және SLO анықталған.
• «Тоқта-кран», постмортем және коммуникация саясаты қабылданды.
• SLO панелі және жарияланым аңдатпалары көтерілді.
• Рәсімдер іске қосылды: апта сайынғы Ops-шолу және үлгі бойынша хендоверлер.
• Постмортем үлгілері мен action-трекер жасалды.
• Бірінші game-day/DR-жаттығу өткізілді.
• KPI мәдениет және шолу ай сайын теңшелген.

13) Қарсы үлгілер

Батырларға табыну: жүйелі түзетулердің орнына соңғы минутта құтқарамыз.
Адамдардың кінәсі: себептерді емес, «кінәліні» іздеу.
Жасырын шешімдер: жеке сөйлесу, «ауызша келісімдер».
Үлкен түнгі релиздер: жалауларсыз және канареяларсыз.
Әрекетсіз метрика: есептер бар, шешімдер жоқ.
Хаотикалық хендоверлер: үлгі немесе қабылдауды растау жоқ.

14) Аспаптар мен артефактілер (минимум)

Иелері бар SLO/алерт каталогы.
Runbook-репозиторий (домендер бойынша, жаңарту ≥ ай сайын).
Үлгілер: постмортем, хендовер, инцидент апдейт, деградация жоспары.
Панели: SLO Overview, Incidents, Change Safety, Providers.
Әрекеттер трекері: SLA және иелері бар бірыңғай бэклог.

15) HR-контурларға кірістіру

Онбординг: SLO, он-колл, постмортем бойынша тренингтер.
Тиімділікті бағалау: сенімділік пен мәдениетке қосқан үлесі - performance review бөлігі.
Тәлімгерлік: shadow-кезекшілік, инциденттерді жұптасып жүргізу.
Пульс-сауалнамалар: тоқсан сайын қауiпсiздiктi/жануды бағалау.

16) 30/60/90 - іске қосу жоспары

• Домен және on-call иелерін тағайындау, SLO (p95, success rate) бойынша минимумды бекіту.
• «Тоқта-кран» және постмортем саясатын қабылдау, үлгілерді бекіту.
• Апталық Ops-шолу мен хендовер-ритуалды іске қосу.

• 2 game-day/DR-жаттығуларын өткізу, SLO және Change Safety панелін көтеру.
• 1-2 маңызды сервистерде SLO бойынша канарейка мен автогейттерді ендіру.
• Мәдениет өлшемдерін іске қосу (MTTR, Action SLA, Pulse-сауалнама).

• Трендтерді талдау, SLO/бюджеттерді жаңарту, жақсартуларды жол картасына біріктіру.
• «Reliability Champion» және тәлімгерлік бағдарламасын енгізу.
• Ретроспектив нәтижелері бойынша ритуалдар мен саясатты түзету.

17) Үлгілер (фрагменттер)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: Техниканы ғана емес, «мәдениетті» қалай өлшеуге болады?
A: Pulse-сұрау енгізіңіз (психологиялық қауіпсіздік), Action SLA постмортемалар, жария шешімдер үлесі, HQS хендоверлер.

Q: «Ерлікпен» не істеу керек?
A: Алғыс айтыңыз, бірақ ерліктің талап етілмеуі үшін жүйелі өзгерістерді белгілеңіз. Performance-да тек «ерліктерді» ғана емес, профилактика мен жақсартуларды ескеру керек.

Q: Бизнесті мәдениеттің құндылықтарына қалай сендіруге болады?
A: Байланыс көрсету: MTTR/Change Failure Rate → конверсия/түсімнің өсуі, айыппұлдар мен түнгі пейджерлер, болжамды релиздер.