Operatsiyalardagi buyruqlar
1) Nima uchun
iGaming platformasi - bu oʻnlab domenlar (Payments, Games/Core, Risk/KYC, Data, Infra/SRE, Support, Compliance). Rasmiy hamkorliksiz MTTR, CFR va operatsion xavflar ortib bormoqda. Maqsad - tarqoq funksiyalarni yagona operatsion tizimga aylantirish: bashorat qilinadigan aloqalar, shaffof navbatlar, umumiy signallar va kelishilgan ustuvorlik.
2) Qonunning
1. SLO-first: Qoʻshma yechimlar SLO/xato byudjetlariga bogʻliq.
2. Haqiqatning yagona manbai: umumiy dashbordlar, yagona maqomlar va artefaktlar.
3. Aniq chegaralar va interfeyslar: har bir juftlikda tavsiflangan shartnoma (OLA/Runbook/API) mavjud.
4. Kichik batchi va qaytaruvchanlik: ficheflaglar/kanareya orqali o’zgarishlar, tezkor rollback.
5. No blame - yes data: tafsilotlar, yaxshilanishlar - tsiklning majburiy qismi.
6. Minimal zarur imtiyozlar va SoD: sezgir operatsiyalar uchun rollarni ajratish.
7. Tartibni avtomatlashtirish, qolganlarini standartlashtirish.
3) Rollar va RACI (uzluksiz)
Head of Ops/SRE Lead - operatsion ramka egasi, KPI/KRI. A
Service Owners (Payments/Games/KYC/Data) - domen maqsadlari, o’zgarishlar, xavf. A/R
Platform/Infra - foydalanish imkoniyati, spektakl, relizlar/kanareyalar. R
Risk/Compliance/Security - SoD, RG/KYC/PII, auditlar. C/A
Support/CRM - oʻyinchilar uchun shikoyatlar, kommunikatsiyalar fronti. R/C
On-call IC/CL - hodisa-menejment va tashqi yangilanishlar. R
Release Manager - taqvim, CAB, oʻzgarishlar holati. R
Data/Analytics - oziq-ovqat va operatsion metriklar, RCA-qo’llab-quvvatlash. R/C
4) O’zaro hamkorlik kontraktlari (OLA/SLx)
OLA (Operational Level Agreement) - jamoalar o’rtasidagi ichki kelishuvlar (tashqi SLA emas). Quyidagilar kiradi:- Mas’uliyat zonalari: qaysi zona (masalan, PSP-routing - Payments; kesh/BD - Infra).
- Maqsad/chegara metrikasi: hodisaning MTTA, eskalatsiyaga javob berish vaqti, post-monitoring oynasi.
- Navbat va ustuvorliklar: P1-P4, biznes-tanqidiylik, freeze-derazalar.
- Interfeyslar: kanallar, bot buyruqlari, API/Runbook, egalari kataloglari.
- Artefaktlar: qanday hujjatlar/loglar/dashbordlar voqeani kuzatib borishi shart.
5) Muloqot kanallari va protokollari
Operatsion chat (smenali): kundalik yangilanishlar, mini-marosimlar, handover.
Hodisalar bo’yicha varrumlar: bot tomonidan yaratiladi; IC/CL rollari jamoa tomonidan tayinlanadi.
CAB/Change kanali: o’zgarishlar, xavflar, reliz taqvimini muhokama qilish.
Status-kanal (read-only): SLO/hodisalar/rejali ishlar haqida ma’lumot.
Eskalatsiyalar: ’/page’, ’/escalate’, SLA hisobot namunalari.
Yagona xabar protokoli: «fakt → ta’sir → ETA/ETR → keyingi yangilanish oynasi → egasi».
6) Smenalar va mintaqalar o’rtasidagi xendoverlar
Namuna 10-15 daqiqa:1. SLO/SLI: bu yerda byudjetning ishdan chiqishi xavfi mavjud.
2. Ochiq hodisalar/eskalatsiyalar va ularning ETA.
3. Yaqin 24-48 soatlarda rejali ishlar/relizlar
4. Provayderlar (PSP/KYC/studiyalar): faol tiketlar, kutishlar.
5. On-call tarkibi va kontaktlar (IC/CL/domains).
6. «Watchlist» - yuqori e’tibor zonalari (navbatlar/replikatsiyalar/kesh).
Hendover smena jurnalida qayd etiladi, varrumlar va dashbordlarga havolalar qayd etiladi.
7) Hodisalarda birgalikda ishlash
Start: alert → bot’#inc-YYYY-MM-DD-XXX’kartochkasini yaratadi, IC/CL va domen lidlarini tayinlaydi.
Bitta ovoz berish qoidasi: IC - yakuniy qaror; CL - kommunikatsiyalar.
Faktlar va farazlar: ajratamiz; «qizil» signallar - ustuvor.
Guardrails: ficheflaglar/PSP-routing faqat SoD/dual-control bilan runbook orqali oʻzgaradi.
Kommunikatsiyalar: CL orqali ommaviy yangilanishlar loyihalari, sheriklar - maqsadli.
Yopish: post-monitoring, post-mortem va egalari/muddatlari bilan yaxshilash vazifalarini ishlab chiqish.
8) O’zgarishlarda birgalikda ishlash
Relizlar taqvimi: hammaga ochiq, freeze-davrlar va on-call slotlari bilan.
Sifat geytlari: unit/contract/e2e, xavfsizlik, SLO-geytlar staging.
Kanareyochnыe prokatki: 5% → 25% → 100% po GEO/tenantam/bankov.
Avto-qaytish: asosiy SLI/KRI siyosati, WORM jurnali.
Komm paketlar: CL/Legal bilan oldindan kelishilgan yangiliklar loyihalari.
RACI o’zgarishlar: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).
9) Yagona telemetriya va artefaktlar
Metriklarning umumiy katalogi: SLI/SLO, biznes-metrika, KRI (navbatlar, PSP, replikatsiyalar).
Dashbord «Operatsiyalar xaritasi»: domenlar, hududlar, hodisalar/ishlar maqomi bo’yicha ma’lumot.
Taymlinlar: yagona format (vaqt, muallif, harakat, natija, havolalar).
Post-mortemalar: ayblovsiz shablon, oldini olish choralari, taftish sanasi.
Runbooks/Checklists: versioned; alertlar va hodisalar kartochkalaridan havola.
10) Ustuvorlik va rejalashtirish
Haftalik Ops-reja (30-45 daqiqa): top-tavakkalchiliklar, relizlar, limitlar, post-mortemlardan yaxshilanishlarni kelishish.
Operatsiyalar kanbani:’Backlog → Ready → In Progress → Validate → Done’ustunlari, WIP-limitlar.
Ustuvorlik mezonlari: SLO/tushum/komplayensga ta’siri, hajmi/qaytariluvchanligi, provayderlarga bog’liqligi.
11) Eskalatsiyalar matritsasi (siqish)
12) Siyosat va SoD
SoD/4-eyes: xulosalar/bonuslar/routing PSP/eksport PII - faqat ikki marta ma’qullanganda.
JIT huquqlari: runbook amallari uchun imtiyozlarni vaqtincha kuchaytirish.
Ma’lumotlar siyosati: ochiq kanallar/dashbordlarda PIIni taqiqlash; geo-chegaralar.
Audit: oʻzgarmas harakatlar jurnallari (WORM), siyosat taftishlari.
13) O’zaro hamkorlik vositalari
Hodisa-bot: ’/incident new’, rollar, yangilanishlar taymeri, komm-loyihalar, ’/runbook’, ’/flag’, ’/config’.
Metrics API: RCA uchun umumiy SLO-vyu va KRI, exemplars (trace_id).
Release-portal: manifestlar, geytlar, yoyilish/qaytish maqomi.
Egalari/CMDB maʼlumotnomasi: domenlar, kontaktlar, zaxira kanallar.
14) Kollaboratsiya metrikasi (KPI/KRI)
MTTA/MTTR domenlar va slotlar bo’yicha (kun/tun), shikoyatgacha ushlangan hodisalar ulushi.
Handover Quality: uzatish nuqsonlari (chek-varaq punktlari o’z vaqtida yopilmagan).
Change Collaboration:% tayyor kompakt paketlar va qaytarishsiz relizlar.
Guardrail Discipline: SoD/siyosat buzilishlarining chastotasi (maqsad - 0).
Comms Cadence: P1/P2 paytida ommaviy yangilanishlar oraligʻiga rioya qilish.
Post-mortem SLA: post-mortemlar ulushi ≤ D + 5, harakatlarning bajarilishi.
Fair-share Load: kechalarni/cho’qqilarni odamlar/jamoalar bo’yicha taqsimlash.
Customer Signal Lead: ob’ektiv tanazzul va birinchi shikoyatlar o’rtasida.
15) Joriy etish yo’l xaritasi (6-10 hafta)
Ned. 1-2: domenlarni/egalarini xatlovdan o’tkazish; OLA shablonlari; smena kanali va xendover-chek-varaqani ishga tushirish; bazaviy eskalatsiya matritsasi.
Ned. 3-4: hodisa-bot (MVP), umumiy maqom-kanal, yagona SLO/SLI/KRI xaritasi; runbooks.
Ned. 5-6: SAV/reliz-kalendar, komm-paketlar va freeze-derazalar; sezgir operatsiyalar uchun SoD/4-eyes.
Ned. 7-8: standart sifatida kanar sirpanish va avto-otkat; post-mortem shablon, Exec/Ops-dashbordlar hamkorligi.
Ned. 9-10: P1 mashqlari, kross-mintaqaviy xendoverlar, WORM auditi, KPI/KRI hisobotlari, OLA tuzatishlari.
16) Shablonlar (parchalar)
16. 1 OLA (Payments ↔ Infra/SRE)
yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"16. 2 Xendover chek-varag’i (10 punkt)
1. Domenlarning SLO maqomi
2. Ochiq hodisalar (ETA/egalari)
3. Rejali ishlar/relizlar + kuzatuv oynalari
4. Provayderlar (PSP/KYC/studiyalar) - xavflar/kutishlar
5. Navbatlar/replikatsiyalar/kesh - lag/anomaliyalar
6. Limitlar/ficheflaglar o’zgarishi
7. Shikoyatlar/tiketlar va yuk chegaralari
8. Komm-rejalar va maqom-loyihalar
9. On-call tarkibi va zaxira
10. «Watchlist» slotiga
17) Antipatternlar
«Kimdir qiladi?» RACI va egasiz.
IC/CL va yangilanish taymerlari bo’lmagan hodisalar.
Maxfiy oʻzgarishlar (qoʻlda bosish), Git/Audit yoʻq.
Umumiy bo’lmagan telemetriya: turli jamoalarda turli raqamlar.
Komm-paketlar va kanarlarsiz relizlar.
Tezlik uchun SoD buzilishlari.
Xendoverlar og’zaki, yozuvsiz va chek varaqlarsiz.
Amal qilish muddatlarisiz post-mortemalar.
Jami
Operatsiyalardagi jamoalarning oʻzaro hamkorligi shartnomaviy hamkorlikdir: OLA/SLx, aniq kanallar va rollar, hendoverlar intizomi, umumiy telemetriya, kelishilgan relizlar va noxush jarayonlar. Ushbu ramka MTTR va CFRni kamaytiradi, ustuvorliklarni tenglashtiradi, SLO, daromad va komplayensni himoya qiladi va kundalik ishni oldindan aytib bo’ladigan va barqaror qiladi.