Операциялар жана башкаруу → Операциялык жоопкерчилик маданияты

Иштөө жоопкерчилиги маданияты

1) Эмне үчүн керек

Технология куралдарды берет, бирок ишенимдүүлүктү адамдар жана алардын жүрүм-туруму түзөт. Операциялык жоопкерчилик маданияты платформаны алдын ала айтууга болот, бузулуулардан кийин калыбына келтирүүнү тездетет, "ызы-чууну" азайтат жана окуяларды жакшыртуу үчүн күйүүчү майга айлантат.

• "Ишенимдүүлүк деген эмне жана ага ким жооп берет" деген бирдиктүү түшүнүк.
• Операцияларда ачык ролдор, милдеттер жана ыйгарым укуктар.
• Каталарды жана тез оңдоолорду талкуулоо үчүн коопсуз чөйрө.
• SLO, жооп убакыт жана иш наркы ритмикалык жакшыртуу.

2) Принциптер (маданияттын өзөгү)

1. You build it — you run it. Команда коддон он-коллга чейин өз доменинин сапатына ээ.
2. SLO-first. Чечимдер SLO жана error budget таасир аркылуу бааланат.
3. Blameless & factual. Айыпсыз постмортемалар, фактылар, маалыматтар жана аракеттер гана.
4. Small & reversible. Кичинекей өзгөрүүлөр, phicheflagy, канарейка, тез артка.
5. Safety to speak up. Ар бир адам коркпостон "кызыл желекти" көтөрө алат.
6. Evidence over opinions. Маалыматтар жана экспонаттар пикирлерден жана статустан маанилүү.
7. Continuously learn. Окуялар → гипотезалар → эксперименттер → стандарттар.

3) Ролдору жана ээлик

Domain ээси (Payments/Bets/Games/KYC): SLO, On-call, жакшыртуу жол картасы, жаңылыштык бюджети.
Инцидент-менеджер (ротация): реакцияны координациялоо, таймлайн, байланыштын сапаты.
SRE/Platform: ишенимдүүлүк инструменттери (байкоо, Алерт, ficheflages, канарейка).
Team Lead/EM: күтүүлөр, компетенттүүлүктү өнүктүрүү, ырым-жырымдарды сактоо.
Бизнес Stakholder: SLO/артыкчылыктарын макул, тобокелдиктерди/компромисстерди кабыл алат.

RACI матрицасы

4) SLO жоопкерчилик келишими катары

Чындыктын жалгыз булагы: метрикаларды, терезелерди, өзгөчөлүктөрдү аныктоо.
Error budget: так тобокелдик чектери → бошотуу/эксперименттер боюнча дарбазасы.
SLO тилинде талкуу: "Бул релиз бюджеттин 20% өрттөп жиберет? ».
Чейректе бир жолу текшерүү: продукт жана бизнес менен бирге.

5) On-call жана окуяларга даяр

Так күтүүлөр: жооп убактысы, каналдар, ыйгарым укуктар ("токтоо-кран" укугу).
Машыгуулар: окуяларды эмуляциялоо, shadow-милдети, DR-машыгуулары.
Артефакттар: тирүү runbook 'i, эскалация матрицасы, жаңылоо шаблондору.
адамдарга кам көрүү: алмаштыруу жүк, ордун толтуруу, айлануу, "no heroics" саясат.

• Кирүү жана VPN текшерилген.
• Эскертүү каналдары жана резервдик байланыштар жарактуу.
• Runbook 30 күн мурун ≤ жаңыртылды.
• DR-катышуу акыркы 90 күн.

6) Операцияларда байланыш

Бирдиктүү үлгүлөрү: окуя кыска Апдейт, "handover" алмашуу пакеттери.
Чечимдердин жалпылыгы: негизги компромисстер жазуу жүзүндө белгиленет.
Графиктеги аннотациялар: релиздер, фичефлагдар, провайдерлердин терезелери.
бардык үчүн SLO панелдер: статусу жана бюджет каталар ачык-айкындуулук.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Айыпсыз постмортем

Фактылар жана таймлайн: ким, качан, эмне кылды, кандай маалыматтардын негизинде.
Системалык себептер: процесстер, инструменттер, интерфейстер, "күнөөлүүлөр" эмес.
Мөөнөтү менен иш-аракеттер: түзөтүү жана алдын алуу.
Сабак алуу: стандарттар, чек баракчалары, runbook жаңыртуу.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Ырым-жырымдар жана каденция

Жумалык Ops-Review (30 мин): SLO, окуялар, тобокелдик, иш-аракеттердин прогресс.
Айлык ишенимдүүлүк retrospective: сабактар, тенденциялар, стандарттарды жаңыртуу.
Чейректик Reliability Review: SLO/бюджеттерди кайра карап чыгуу, жол картасына интеграциялоо.
Game-days/Chaos: пландаштырылган ийгиликсиз сценарийлер жана Failover иштеп чыгуу.

9) Мотивация, өсүү жана траектория

Компетенциялар: колл, инцидент-менеджмент, байкоо, SLO-инженердик, FinOps.
Мансаптык деңгээлдер: ишенимдүүлүккө салым боюнча күтүүлөр (демилгелер, постмортемалар, насаатчылык).
Материалдык эмес мотивация: таануу, жакшыртуулардын авторлугу, кварталдын "Reliability Champion".
Материалдык: он-колла компенсациясы, SLO-KPI жетишкендиги үчүн бонустар.

10) Саясат жана жүрүм-турум нормалары (үзүндүлөр)

• Ар бир On-Call SLO коркунуч менен тыныгуу бошотуу/Fich коюуга болот.
• Чечим тобокелдикти четтеткенден кийин бекитилет жана кайра каралат.

• Чоң өзгөрүүлөр фичефлагдар жана канарейкалар менен гана.
• SLO-метриктер боюнча автогейттер; → тыныгуу/артка чегинүү.

• Бардык сын маалымат - жалпы каналдарда, жеке чечимдерсиз.
• ETS (Туруктуу убакыт статусу) P1/P2 окуялар үчүн милдеттүү болуп саналат.

11) Маданият Метрика (KPI жетилген)

SLO Coverage: формалдуу сүрөттөлгөн SLO/алерталар менен критикалык жолдордун үлүшү.
Pre-Incident Detect Rate: деградация стадиясында кармалган окуялардын үлүшү.
MTTR/MTTD: чейрек динамикасы.
Change Failure Rate: релиздер кийин кайра/регрессия.
Postmortem Action SLA: өз убагында жабылган иш-аракеттердин үлүшү.
Alert Fatigue Index: On-call/өзгөртүү боюнча alertov.
Handoff Quality Score: нөөмөт ортосунда берүү сапаты.
Psychological Safety Pulse: кыска үзгүлтүксүз сурамжылоо (жашыруун).

12) Киргизүү чек-тизмеси

• Аныкталган домендер, ээлери, on-call жана SLO.
• "стоп-кран", постмортем жана байланыш саясаты кабыл алынган.
• SLO панелин жана релиздердин аннотацияларын көтөрдү.
• Башталган ырым-жырымдар: жума сайын Ops карап чыгуу жана шаблон боюнча hendovers.
• Postmortem жана action-tracker үлгүлөрү иштелип чыккан.
• Биринчи оюн-күнү/DR-машыгуу өткөрүлдү.
• Белгиленген KPI маданият жана ай сайын карап чыгуу.

13) Анти-үлгүлөрү

Баатырлардын сыйынуусу: системалык оңдоолордун ордуна акыркы мүнөттө сактап калуу.
Адамдардын күнөөсү: себептерин эмес, "күнөөкөрдү" издөө.
Жашыруун чечимдер: жеке баарлашуу, "оозеки келишимдер".
Чоң түнкү релиздер: желектери жана канарейкалары жок.
Иш-аракет жок метрика: отчеттор бар, эч кандай чечим жок.
Башаламан Hendovers: эч кандай шаблон жана кабыл алуу ырастоо.

14) Аспаптар жана экспонаттар (минималдуу)

Ээлери менен SLO/алерт каталогу.
Runbook репозиторий (домендер боюнча, жаңыртуу ≥ ай сайын).
Шаблондор: postmortem, hendover, окуя апдейт, деградация планы.
Панели: SLO Overview, Incidents, Change Safety, Providers.
Иш-аракет трекери: SLA жана ээлери менен бирдиктүү бэклог.

15) HR контурга киргизүү

Онбординг: SLO боюнча тренингдер, он-колла, постмортемалар.
Натыйжалуулукту баалоо: ишенимдүүлүккө жана маданиятка салым - performance review бир бөлүгү.
Насаатчылык: shadow-нөөмөт, инциденттерди жуп жүргүзүү.
Пульс сурамжылоолор: чейректик коопсуздук/күйүп баалоо.

16) 30/60/90 - ишке киргизүү планы

• домендердин жана on-call ээлерин дайындоо, SLO (p95, success rate) боюнча минималдуу бекитүү.
• "Стоп-кран" жана постмортем саясатын кабыл алуу, шаблондорду бекитүү.
• Жумалык Ops-карап чыгуу жана hendover-ырым баштоо.

• 2 оюн-күнү/DR көнүгүүлөрдү өткөрүү, SLO панелин жана Change Safety жогорулатуу.
• 1-2 маанилүү кызматтарда SLO боюнча канарейка жана автогейттерди киргизүү.
• Маданият метрикасын ишке киргизүү (MTTR, Action SLA, Pulse-сурамжылоо).

• тенденцияларды талдоо, SLO/бюджеттерди жаңылоо, жол картасына жакшыртууларды интеграциялоо.
• "Reliability Champion" жана насаатчылык программасын киргизүү.
• Ритуалдарды жана саясатты ретроспективдик натыйжалар боюнча тууралоо.

17) Үлгүлөр (үзүндүлөр)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: "маданиятты" гана эмес, кантип өлчөө керек?
A: Pulse-сурамжылоо (психологиялык коопсуздук), Action SLA PostMortems, коомдук чечимдер үлүшү, HQS Hendovers киргизүү.

Q: "баатырдык" менен эмне кылуу керек?
A: рахмат, бирок баатырдык талап кылынбайт үчүн системалык өзгөрүүлөрдү чечүү. аткаруу гана эмес, алдын алуу жана жакшыртуу эске алуу менен "эрдик".

Q: маданияттын баалуулуктарына бизнести кантип ынандыруу керек?
A: байланыш көрсөтүү: кыскартуу MTTR/өзгөрүү Failure Rate → конверсия/кирешенин өсүшү, азыраак айып жана түнкү пейджер, алдын ала релиздер.