Operatsiyalar va Boshqaruv → Operatsion javobgarlik madaniyati

Operatsion javobgarlik madaniyati

1) Nima uchun bu zarur?

Texnologiyalar vositalarni beradi, lekin odamlar va ularning xatti-harakatlari ishonchlilikni yaratadi. Operatsion javobgarlik madaniyati platformani oldindan aytib bo’lmaydigan qiladi, muvaffaqiyatsizliklardan keyin tiklanishni tezlashtiradi, shovqinni kamaytiradi va hodisalarni yaxshilash uchun yoqilg’iga aylantiradi.

• "Ishonchlilik nima va u uchun kim masʼul?
• Operatsiyalardagi shaffof rollar, majburiyatlar va vakolatlar.
• Xatolar va tezkor tuzatishlarni muhokama qilish uchun xavfsiz muhit.
• SLOni, reaktsiya vaqtini va operatsiyalar qiymatini ritmik yaxshilash.

2) Prinsiplar (madaniyat yadrosi)

1. You build it — you run it. Buyruq koddan on-call ga qadar oʻz domenining sifatiga ega.
2. SLO-first. Qarorlar SLO va error budgetga ta’siri orqali baholanadi.
3. Blameless & factual. Ayblovsiz postmortemlar, faqat faktlar, ma’lumotlar va harakatlar.
4. Small & reversible. Kichik o’zgarishlar, chicheflaglar, kanareykalar, tez qaytish.
5. Safety to speak up. Har kim «qizil bayroqni» qoʻrqmasdan koʻtarishi mumkin.
6. Evidence over opinions. Maʼlumot va artefaktlar fikr va maqomdan ham muhimroqdir.
7. Continuously learn. Hodisalar → gipotezalar → eksperimentlar → standartlar.

3) Rollar va egalik

Domen egasi (Payments/Bets/Games/KYC): SLO, on-call, yaxshilanishlarning yoʻl xaritasi, xatolar byudjeti.
Insident-menejer (rotatsiya): reaksiyani muvofiqlashtirish, taymline, kommunikatsiya sifati.
SRE/Platforma: ishonchlilik vositalari (kuzatuv, alertlar, fitzeflaglar, kanareykalar).
Team Lead/EM: kutish, kompetensiyalarni rivojlantirish, marosimlarga rioya qilish.
Biznes-steykxolder: SLO/ustuvorliklarni kelishib oladi, tavakkalchiliklarni/murosalarni qabul qiladi.

4) SLO mas’uliyat kontrakti sifatida

Haqiqatning yagona manbai: metriklar, derazalar, istisnolar.
Error budget: aniq xavf chegaralari → relizlar/tajribalar uchun geyt.
SLO tilidagi munozara: "Bu reliz byudjetning 20 foizini yoqib yuboradimi? ».
Har chorakda bir marta taftish: mahsulot va biznes bilan birgalikda.

5) On-call va hodisalarga tayyorlik

Aniq kutishlar: reaktsiya vaqti, kanallar, vakolatlar («stop-kran» huquqi).
Mashqlar: hodisalar emulyatsiyasi, shadow-navbatchilik, DR-mashqlar.
Artefaktlar: jonli runbook’i, eskalatsiya matritsasi, yangilanish namunalari.
Odamlarga gʻamxoʻrlik: smena yuklamasi, kompensatsiya, rotatsiya, «no heroics» siyosati.

• Kirish va VPN tekshirildi.
• Ogohlantirish kanallari va zaxira aloqalar yaxshi.
• Runbook 30 kun oldin ≤.
• So’nggi 90 kun ichida DR ishtiroki.

6) Operatsiyalardagi kommunikatsiyalar

Yagona namunalar: qisqa hodisa yangiliklari, smenalar orasidagi «handover» paketlar.
Qarorlarning oshkoraligi: asosiy murosalar yozma ravishda qayd etiladi.
Grafiklardagi izohlar: relizlar, ficheflaglar, provayderlar oynalari.
Hamma uchun SLO panellari: status shaffofligi va xato byudjeti.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) Ayblovsiz postmortem

Faktlar va taymline: kim, qachon, nima qildi, qanday ma’lumotlar asosida.
Tizimli sabablar: «aybdorlar» emas, balki jarayonlar, vositalar, interfeyslar.
Muddatlar bilan harakatlar: tuzatish va oldini olish.
Dars olish: standartlar, chek varaqlari, runbook yangilanishi.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) Marosimlar va kadensiya

Haftalik Ops-sharh (30 daqiqa): SLO, hodisalar, alertlar, harakatlar taraqqiyoti.
Har oylik ishonchlilik retrospektivi: darslar, trendlar, standartlarni yangilash.
Choraklik Reliability Review: SLO/byudjetlarni qayta ko’rib chiqish, yo’l xaritasiga integratsiya qilish.
Game-days/Chaos: fayloverni bajarishdan bosh tortish va ishlash uchun rejalashtirilgan stsenariylar.

9) Motivatsiya, o’sish va trayektoriyalar

Kompetensiyalar: on-call, insident-menejment, kuzatuv, SLO-injiniring, FinOps.
Martaba darajalari: ishonchlilikka hissa qo’shish bo’yicha kutishlar (tashabbuslar, postmortemlar, murabbiylik).
Nomoddiy motivatsiya: «Reliability Champion» kvartalidagi yaxshilanishlarni tan olish, mualliflik qilish.
Moddiy: on-kolla kompensatsiyasi, SLO-KPIga erishganlik uchun bonuslar.

10) Siyosat va xulq-atvor normalari (parchalar)

• Har qanday on-call SLO xavfi mavjud bo’lganda to’xtab qolishi mumkin.
• Qaror tavakkalchilik bartaraf etilgandan keyin qayd etiladi va qayta ko’rib chiqiladi.

• Katta o’zgarishlar ficheflaglar va kanareykalardir.
• SLO-metriklar bo’yicha avtogeytlar; tanaffus → pauza/orqaga qaytish.

• Barcha tanqidiy ma’lumotlar umumiy kanallarda, shaxsiy yechimlarsiz.
• ETS (Estimated Time to Status) P1/P2 hodisalari uchun majburiydir.

11) Madaniyat metrikasi (yetuklik KPI)

SLO Coverage: SLO/alertlar bilan rasmiy tavsiflangan tanqidiy yo’llar ulushi.
Pre-Incident Detect Rate: tanazzulga uchragan hodisalar ulushi.
MTTR/MTTD: choraklar bo’yicha dinamika.
Change Failure Rate: relizlardan keyin qaytish/regressiya.
Postmortem Action SLA: muddatida yopilgan harakatlar ulushi.
Alert Fatigue Index: on-call/smena uchun alertlar.
Handoff Quality Score: smenalar orasidagi uzatish sifati.
Psychological Safety Pulse: qisqa muntazam so’rov (anonim).

12) Joriy etish chek-varaqasi

• Domenlar, egalari, on-call va SLO aniqlangan.
• «Stop-kran», postmortemlar va kommunikatsiyalar siyosati qabul qilindi.
• SLO paneli va relizlar izohlari koʻtarildi.
• Marosimlar ishga tushirildi: haftalik Ops-sharh va xendoverlar.
• Postmortem va action-treker namunalari ishlab chiqilgan.
• Birinchi game-day/DR-mashqlar o’tkazildi.
• KPI madaniyatlar va oylik sharh sozlangan.

13) Anti-patternlar

Qahramonlarga sig’inish: tizimli tuzatishlar o’rniga oxirgi daqiqada qutqaramiz.
Odamlarning aybi: sababni emas, «aybdorni» izlash.
Yashirin qarorlar: shaxsiy suhbatlar, «og’zaki kelishuvlar».
Katta tungi relizlar: bayroqlar va kanareykalarsiz.
Harakatsiz metrika: hisobotlar bor, echimlar yo’q.
Xaotik xendoverlar: hech qanday shablon va qabul qilinganligi tasdiqlanmagan.

14) Asboblar va artefaktlar (minimal)

Egalari bilan SLO/alertlar katalogi.
Runbook repozitoriyasi (domenlar boʻyicha, yangilanish ≥ har oyda).
Shablonlar: postmortem, hendover, hodisa yangilanishi, degradatsiya rejasi.
Панели: SLO Overview, Incidents, Change Safety, Providers.
Harakatlar trekeri: SLA va egalari bilan yagona beklog.

15) HR-konturlarga kiritish

Onbording: SLO, on-koll, postmortemlar bo’yicha treninglar.
Samaradorlikni baholash: ishonchlilik va madaniyatga qoʻshgan hissasi - performance review qismidir.
Murabbiylik: shadow-navbatchilik, hodisalarni juftlikda yuritish.
Puls-so’rovlar: har chorakda xavfsizlikni/charchashni baholash.

16) 30/60/90 - ishga tushirish rejasi

• Domen va on-call egalarini tayinlash, SLO (p95, success rate) boʻyicha minimal belgilash.
• «Stop-kran» va postmortemlar siyosatini qabul qilish, shablonlarni tasdiqlash.
• Haftalik Ops koʻrib chiqish va hendover marosimini boshlash.

• 2 ta game-day/DR mashqlarini o’tkazish, SLO va Change Safety panelini ko’tarish.
• 1-2 ta muhim xizmatlarda SLO bo’yicha kanareyka va avtogeytlarni o’rnatish.
• Madaniyat metrikalarini ishga tushirish (MTTR, Action SLA, Pulse-so’rov).

• Trendlarni tahlil qilish, SLO/byudjetlarni yangilash, yaxshilanishlarni yo’l xaritasiga integratsiyalash.
• «Reliability Champion» va murabbiylik dasturini joriy etish.
• Retrospektiv natijalar bo’yicha marosim va siyosatni tuzatish.

17) Shablonlar (parchalar)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: Faqat texnikani emas, balki «madaniyatni» qanday o’lchash mumkin?
A: Pulse-so’rov (psixologik xavfsizlik), Action SLA postmortemlari, ommaviy qarorlar ulushi, HQS hendoverlarini kiriting.

Q: «Qahramonlik» bilan nima qilish kerak?
A: Rahmat, lekin qahramonlik talab qilinmasligi uchun tizimli o’zgarishlarni qayd etish. Faqat «jasorat» emas, balki profilaktika va yaxshilanishlarni hisobga olish.

Q: Biznesni madaniyatning qadriyatlariga qanday ishontirish mumkin?
A: Aloqa ko’rsatish: MTTR/Change Failure Rate → konversiya/daromad o’sishi, kamroq jarima va tungi peyjlar, bashorat qilinadigan relizlar.