Operatsion intizomni boshqarish

1) Maqsad va viloyat

Operatsion intizom - bu platformaning kundalik ishini oldindan bilish, xavfsizlik va samaradorlikni kafolatlaydigan qoidalar, odatlar va vositalar to’plamidir. iGaming uchun bu tushum (depozitlar/stavkalar), tartibga solish muvofiqligi (KYC/AML/RG) va obro’siga (SLO, status-kommunikatsiyalar) bevosita ta’sir qiladi.

2) Qonunning

1. SLO-first: qarorlar kirish/sifat maqsadlariga qarab qabul qilinadi.
2. Standard Work: barcha tanqidiy narsalar SOPda tasvirlangan va chek varaqlari bilan tekshiriladi.
3. Xato - tizim signali: hodisalar «aybdorlarni qidirish» emas, balki yaxshilanishga olib keladi.
4. Minimal zarur imtiyozlar va SoD: vazifalarni ajratish va isbotlash.
5. Tartibni avtomatlashtirish, qolganlarini standartlashtirish.
6. Shaffoflik: kuzatuv, maqom sahifalari, ochiq metriklar.
7. Kichik o’zgarishlar batchlari: qisqa tsikllar, qaytish qobiliyati, kanar relizlari.

3) Rollar va javobgarlik (RACI)

Head of Ops/SRE - fan, byudjet, siyosat egasi.
Service Owners (domen lidlari) - SLI/SLO, o’zgarishlar, tavakkalchilik-baholash.
On-call/IC (navbatchilar) - tezkor yechimlar, eskalatsiyalar.
Comms Lead - tashqi/ichki yangilanishlar, maqom sahifalari.
Change Manager - relizlar va oʻzgarishlar jarayoniga rioya qilish.
QA/Compliance/Security - SoD nazorati, auditlar, regulyator.
Training Lead - operatorlarni o’qitish, sertifikatlash.

4) Hujjatlar karkasi

SOP: bosqichma-bosqich protseduralar (ishga tushirish/toʻxtatish, rejali ishlar, PSP-faylover, mablagʻlarni olib chiqish).
Runbooks: alertlar boʻyicha tezkor harakatlar (diagnostika/fiks/orqaga qaytish).
Siyosati: SoD, kirish (RBAC/ABAC), change-management, post-mortemalar, loglarni saqlash.
Chek-varaqlar: reliz/ishlar oldidan pre-flight; post-checks keyin.
Kataloglar: egalari, provayderlarning aloqalari, CMDB, SLI → SLO muvofiqligi.

5) Marosimlar va tsikllar

• smenali uzatish (10-15 daqiqa), noxush hodisalar/alertlar/rejali ishlar sharhi; navbatchi dashbordlarni tekshirish.

• stand-up Ops/SRE (15 daqiqa): burn-rate, «issiq» navbatlar, xavf-derazalar.

• change-board (CAB) 30-45 daqiqaga: relizlar/ishlar rejasi, xavflar/migratsiyalar.
• review alerting: soxta/o’tkazib yuborilgan, chegaralarni tuzatish.

• post-mortem klubi: top-hodisalarni tahlil qilish, yaxshilash bo’yicha harakatlar.
• FinOps-sharh: kuzatish/infra qiymati, optimallashtirish samaradorligi.

• P1 (tabletop/game-day) mashqlari, DR/feyloverni tekshirish, SLOni qayta ko’rib chiqish.

6) O’zgarishlarni boshqarish (Change Management)

Klasslar: Standard (oldindan tasdiqlangan), Normal (CAB orqali), Emergency (IC/CL va CAB post-faktum orqali).
Geytlar: testlar, xavfsizlik, komplayens, qaytariluvchanlik, reliz-notalar.
Texnikalar: kanareya/blue-green, fich-bayroqlar, progressiv sirpanish, shiddatli voqealarga muzlatish.
«go/no-go» mezonlari: yashil rangdagi SLO-viu, burn-rate yo’qligi, qaytarish oynasi zaxirasi.
Chek varaqasi bilan majburiy post-reliz monitoringi (30-60 daqiqa).

7) Hodisalar va post-mortemalar

P1-P4 tasnifi, temp SLA yangilanishlari (masalan, P1: ≤ 10 min birinchi yangilanish, keyingi o’rinlarda 15-30 min).
ChatOps/hodisa-bot: status-sahifaga yagona kartochka, varrum, taymerlar, draft → publish.
Ayblovsiz post-mortem: faktlar, ildiz sabablari (ular, jarayon, odamlar), oldini olish choralari; e’lon qilish muddati ≤ D + 5.
Harakatlar trekingi: owner, muddat, o’lchanadigan effekt (SLO/tushum dastagi).

8) Kuzatuv va nazorat

SLI/SLO: login, depozit, stavka → settl, chiqish; xato budjetlari.
Oltin signallar: latency, error, traffic, saturation; biznes-SLI (auth-success, muvaffaqiyatli stavkalar).
Alerting: burn-rate, dedup/gisterezis/kvotalar; runbook bogʻlamalari.
Maqom-sahifalar: ommaviy va ichki; tarix, mahalliylashtirish, rejali ishlar.
Anomaliyalar: STL/CUSUM/CPD; kontekst (relizlar/bayroqlar/provayderlar).

9) Kirish va SoD

Eng kichik imtiyozlar, JIT/PAM, audit huquqlarini oshirish.
SoD/4-eyes: xulosalar, bonuslar, PSP-routing, eksport PII.
Telemetriyadan foydalanish siyosati: PII taqiqlash, tokenizatsiya, geo-chegara.
Huquqlar va kalitlarning har choraklik ravishi; jadval bo’yicha sirlarni almashtirish.

10) toil kamaytirish va avtomatlashtirish

Avto harakatlar katalogi: PSP-feylover, fich degradatsiyasi, lag bo’yicha avtoskeyl, PII eksport bloki.
Guardrails bilan siyosatlar: limitlar, TTL, qaytarish mezonlari.
Self-service asboblari: reliz shablonlari, dashbordlar, hisobot generatorlari, rejali ish shakllari.
Takrorlanadigan ishlarni me’yorlash → ROI bilan avtomatlashtirilgan bekloglar.

11) Sifat nazorati va audit

Sifat KPI: MTTA/MTTR, muddatida post-mortemlar%, shikoyatgacha ushlangan hodisalar ulushi, maqom yangilanishlari aniqligi, relizlar tartibi (qaytishlarsiz).
KRI xavfi: DLQning o’sishi, jarayonlarning burn-rate muddati, PII-eksport/SoD-buzilishlarning avj olishi.
Audit-iz: WORM-jurnallar, siyosat versiyalari, maqom xabarlarining difflari.
Tartibga soluvchi hisobotlar: SLA KYC/AML/xulosalar, to’lov operatsiyalarining mavjudligi, hodisalar tarixi.

12) O’qitish va sertifikatlashtirish

Operatorlarning onbordinglari: bazaviy SOP, alerting, ChatOps, status-kommunikatsiyalar.
Amaliy mashqlar: P1 simulyatsiyasi, DR-feylover, PSP-rad etish.
Rollarni sertifikatlash: IC/CL/Domain Lead - imtihon/sertifikat 12 oy.
Materiallar: video, bosqichma-bosqich simulyatorlar, test-keyslar, SSS.

13) Etuklik modeli (L1 → L5)

L1 Reaktiv: xaotik reaksiya, SLO yo’q, qo’l relizlari.
L2 Boshqariladigan: SOP/alertlar, CAB, maqom sahifasi, asosiy SLO.
L3 Mahsuldor: ChatOps, burn-rate, kanar relizlari, post-mortemalar.
L4 Preventiv: anomaliyalar, guardrails, FinOps paneli bilan avtomatik harakatlar.
L5 O’zini o’zi davolash: relizlarning SLO-geytlari, bashoratli signallar, «zero-surprise» kommunikatsiyalari.

14) Operatsion intizom metrikasi (KPI/KRI)

Kommunikatsiya intizomi: MTTA-Comms, yangilanishlar oralig’iga rioya qilish, kanallar tafovuti = 0.
Jarayonlar: kanareykali relizlar%, qaytish ulushi, o’rtacha «monitoring vaqti».
Ishonchlilik:% hodisalar sintetik/SLI tomonidan aniqlangan, reaksiyaga qadar o’rtacha burn-rate.
Avtomatlashtirish: auto-fix rate, operatorsiz bajarilgan vazifalar ulushi.
Moliya: $/hodisa, $/RPSda kuzatish, avto-choralardan tejash.
Komplayens: SoD buzilishlar, kechiktirilgan KYC/AML/xulosalar, audit-nuqsonlar.

15) Joriy etish yo’l xaritasi (6-10 hafta)

• Joriy jarayonlar auditi, SLI/SLO-karta, SOP/siyosat reyestri, RACI rollarini tayinlash.
• Smenali uzatish va kunduzgi stendaplarni joriy etish; minimal CAB.

• Status-sahifa va ChatOps-bot (MVP) ni ishga tushirish; birinchi yangiliklar shablonlari; burn-rate-alertlar.
• Post-mortemlarning qattiq shabloni, nashr etish muddati ≤ D + 5.

• SLO bo’yicha kanar relizlari va reliz-geytlar; guardrails bilan 5-7 auto-harakatlar katalogi.
• FinOps kuzatuv paneli; kirish/sirlarni choraklik yig’ish.

• P1 mashqlari (tabletop), DR/faylover shablonlari; SOP/runbooks.
• Exec/Ops dashbordlarida intizom metrikasi; SLA maqomi va komm-kadens.

• Alerting (dedup/kvota/gisterezis) ni optimallashtirish, soxta tashvishlarni kamaytirish.
• IC/CL sertifikatlash; SoD/4-eyes reglamenti; operatsion gaydbukni e’lon qilish.

16) Artefaktlar

Operational Handbook: printsiplar, rollar, marosimlar, metriklar, shablonlar.
SOP/Runbook Library: versioned, egalari va sanalari bilan review.
Change Policy & CAB Charter: mezonlar, shakllar, geytlar, freeze-kalendar.
Incident Comms Kit: P1-P3 namunalari, lokalizatsiya, ETA/ETR siyosati.
Access/SoD Matrix: kim nima qila oladi, JIT/PAM, revyu davri.
Training & Certification Pack: rejalar, testlar, chek varaqlari.

17) Antipatternlar

Geytsiz va qaytariluvchisiz relizlar.
«Xom» metriklar bo’yicha peyjer, SLO/burn-rate yo’q.
SOP «tur uchun» - chek-varaqlarsiz va ijrosini nazorat qilmasdan.
Post-mortemsiz va harakatsiz hodisalar; tizimli o’zgarishlar o’rniga aybdorlarni qidirish.
PII loglarda/dashbordlarda/alertlarda; SoD yo’qligi.
Maqom sahifasi va yangilanish taymerlari bo’lmagan monolit aloqa.

Jami

Operatsion intizom - bu turli reglamentlar to’plami emas, balki tashkilotning ish rejimidir. SLO fikrlash, standartlashtirilgan SOP/Runbook, o’zgarishlar intizomi, kuzatish qobiliyati, ChatOps va auto harakatlarni guardrails bilan birlashtirish orqali siz oldindan aytib bo’ladigan relizlarga, hodisalarga tezkor munosabatlarga, barqaror daromadlarga va tartibga soluvchi talablarga javob bera olasiz.