Hodisa-bot va chat operatsiyalari

1) Maqsad va qadriyat

• rutinani avtomatlashtirish hisobiga MTTA/MTTRni qisqartiradi;
• faktlar va kommunikatsiyalarning yagona konturini (SoT) yaratadi;
• isbotlanishini ta’minlaydi (audit, taymlaynlar, SLA yangilanishlar);
• konsollarda on-call va «dafn etish» ga yukni kamaytiradi.

2) Chat operatsiyalaridagi rollar va RACI

Incident Commander (IC) - hodisaning egasi: ochilish/yopilish, ustuvorlik, yechimlar.
Comms Lead (CL) - matnlar va yangilanishlar jadvali (tashqi/ichki).
Domain Leads (Payments/Games/Core/Infra) - texnfaktlar va fikslar.
Scribe - taymline, harakat jurnali.
Bot Admin - bot huquqlari/siyosati/integratsiyasi.

Qoida: bitta hodisada bitta IC va bitta CL; rolni o’zgartirish - botning aniq buyrug’i.

3) Bazaviy stsenariylar (end-to-end)

1. Hodisa boshlanishi: alert → ’/incident new p1 «Deposits EU down»’→ bot kartochka, varrum yaratadi, IC/CL tayinlaydi, birinchi apdeyt taymerini qo’yadi.
2. Yuritish: `/incident add-facts`, `/incident status set degraded`, `/incident assign @payments-lead`, `/incident timer 20m`.
3. Kommunikatsiyalar: ’/incident publish status’(CL loyihasi), ’/incident partners notify’, ’/incident regulator draft’.
4. Harakatlar: `/runbook psp-failover PSP1→PSP2`, `/feature toggle replay-center off 60m`, `/traffic shift 30% eu→uk`.
5. Yopish va post-mortem: ’/incident resolve’, taymlaynni avto-yigʻish, ’/postmortem generate’.

4) Bot jamoalari (yadro)

Yaratish/tasniflash

`/incident new p{1|2|3|4} "<title>" [components=…] [regions=…]`

`/incident severity set p2`, `/incident tag add payments,psp`

Egaligi va roli

`/incident ic @user`, `/incident comms @user`, `/incident assign @user [domain]`

Yangilanishlar taymeri va SLO

’/incident next-update 15m’, ’/incident remind’(bot pingut CL), ’/incident eta set 18: 30 ’

Faktlar va maqom

`/incident fact "auth-success PSP1 -25% TR/EU"`, `/incident status {investigating|degraded|monitoring|resolved}`

Kompakt paketlar

`/incident draft public|partners|regulator`, `/incident publish public`

Integratsiya

’/runbook ’(avto harakatlar katalogi), ’/dashboard link ’, ’/ticket create ’

Post-mortemni yopish

`/incident resolve [reason=…]`, `/postmortem generate`, `/postmortem assign @owner`

5) Integratsiya (minimal zarur)

Monitoring/Observability: alertlar, SLI/SLO (burn-rate), dashbordlarga linkalar.
Incident Manager (ITSM): maqom/maydonlarni ikki tomonlama sinxronlashtirish.
Maqom sahifasi: loyihalar va CL (policy-gate) orqali nashr etish.
Provayderlar (PSP/KYC/Oʻyin studiyalari): aloqa maʼlumotnomalari, tezkor xatlar/kanallar.
Release/Feature Flags: kanar oyoqlari/orqaga qaytish, relizlarga havolalar.
Runbooks/Auto-remediation: guardrails bilan xavfsiz harakatlar katalogi.
CMDB/egalari: domen lidlarining avto- vazifasi, eskalatsiya.
Vaqt taymlari ombori: audit/post-mortemlar uchun WORM/immutable.

6) Bot arxitekturasi

Gateway (Chat Adapter): Slack/Teams/Telegram interfeyslari.
Command Parser + Policy Engine: avtorizatsiya, validatsiya, SoD va cheklovlar.
Orchestrator: hodisa stsenariylari, taymerlar, eslatmalar.
Integrations Layer: ITSM, monitoring, maqom sahifasi, relizlar, runbooks uchun mijozlar.
Evidence Store: voqealar, faktlar, xabarlar difflari, ilovalar (WORM).
Metrics & Audit: sifat metrikalari, harakatlar loglari, buyruqlarni izlash.

7) Siyosat, huquq va xavfsizlik

RBAC/ABAC: kim yaratishi/yopishi, severity o’zgartirishi, tashqariga chiqarishi mumkin.
SoD: Comms publish CL rolini talab qiladi; high-risk harakati (PSP-routing, PII-eksport) - dual control.
JIT huquqlari: hodisa vaqtida domen lidlarini vaqtincha berish.
Imzo va shifrlash: vebxuk/tizim soʻrovlari - HMAC/mTLS.
«Fat-finger» dan himoyalanish: xavfli buyruqlar, dry-run va TTLni tasdiqlash.
PII-gigiyena: loyihalarda/loglarda niqoblash; ochiq kanallarda PII taqiqlash.

8) Avtomatlashtirish oqimlari (misol)

Alert P1 → bot var-rum (’#inc -2025-11-01-001’) yaratadi, navbatchilarni pingut qiladi (IC, CL, Payments/Infra).
Dashboard/SLI bogʻlaydi, ITSM chiptasini ochadi, birinchi ommaviy yangilanish namunasini tayyorlaydi.
Taymerlarni qo’yadi: «keyingi yangilanish 15 daqiqada», CL eslatmalari.
Taklif qiladi runbooks: “PSP reroute 30% → PSP2”, “degrade replay-center”, “autoscale settle-workers”.
E’lon qilishda - matnning versiyasini qayd etadi va status-sahifaga/ijtimoiy tarmoqlarga (CL orqali) joylashtiradi.
Yopilganda - taymline, metrika, post-mortem loyihasini, VIP/sheriklarga tarqatishni yig’adi.

9) Taymlaynlar va isbotlanganlik

Har bir hodisa quyidagicha izohlanadi:’T + mm: tavsif, muallif/bot, buyruq, natija, havolalar’.
Xabarlar tahririyati (diff), relizlarga/fichflaglarga/rejali ishlarga bogʻlanishi qoʻllab-quvvatlanadi.
Eksport: Audit va regulyatorlar uchun PDF/CSV.

10) Metrika (KPI/KRI ChatOps)

MTTA (chat): alertdan ’/incident new’gacha.
MTTS (setup): varrum tayyor bo’lgunga va rollar tayinlangunga qadar.
Cadence adherence: ommaviy yangilanishlar oraligʻiga rioya qilish.
Runbook usage rate: avtomatlashtirilgan harakatlar bilan bogʻliq hodisalar ulushi.
Consistency score: kanallar orasidagi tafovutlar = 0 - maqsad.
Pager fatigue ↓: xuddi shu/eng yaxshi SLO bilan qo’l peyjerlarini kamaytirish.
Postmortem SLA: D + 5 ≤ to’plangan post-mortemlar ulushi.

11) Shablon katalogi (parchalar)

/incident new p1 "Deposits EU down" components=payments,deposits regions=EU

/incident draft public
/incident publish public

/runbook psp-failover PSP1→PSP2 30%
/feature toggle replay-center off 45m

/postmortem generate
/postmortem assign @owner

12) Jarayonlarga qo’shish

Kommunikatsiyalar: «Hodisalardagi kommunikatsiya» va «Tizim maqomi sahifalari» bilan bog’lanish.
Kuzatish qobiliyati: SLO/SLI va sintetikaga tezkor havolalar; grafiklarni avtomatik ilova qilish.
Alerting: P1/P2 paytida sodir bo’lgan baxtsiz hodisaning avtosanoati; bir oqimga signal berish.
Avto tuzatishlar: guardrails va qaytish bilan bir toqli runbooks.
Workflow Engine: human-tasks (4-eyes), eskalatsiya taymerlari, chek varaqlari.

13) Joriy etish yo’l xaritasi (4-8 hafta)

Ned. 1-2: MVP buyruqlari: ’/incident new’, rollar (IC/CL), var-rum, yangiliklar taymeri, ITSM va monitoring bilan aloqa.
Ned. 3-4: xabar shablonlari (ommaviy/hamkorlar/regulyatorlar), maqom sahifasi (loyiha → nashr), 5-7 runbooks katalogi.
Ned. 5-6: policy-as-code (RBAC/SoD/JIT), high-riskdagi dual control, WORM jurnali, KPI dashbord ChatOps.
Ned. 7-8: tabletop- P1/P2 o’quv mashg’ulotlari, relizlar/fitflaglar bilan integratsiya, post-mortem avto-yig’ish, mahalliylashtirish.

14) Antipatternlar

«Hammasi bot orqali» guardrails → tasodifiy xavfli harakatlar.
CL/Legal-review roliga ega boʻlmagan maqom sahifasiga maqolalar.
Log/versiyasiz buyruqlar → tasdiqlanmagan.
Chatda murakkab shakllar (20 + maydon) - tezlik pasayadi; yaxshiroq qisqa buyruqlar + havolalar.
P1 uchun yangilanish taymeri yoʻq.
CMDB/egalari bilan integratsiya yo’qligi → vazifalarda tartibsizlik.

15) Jami

Hodisa-bot va ChatOps - bu «jamoalar bilan bot» emas, balki operatsion platforma: hodisaning tez boshlanishi, yangilanishlar tartibi, xavfsiz cheklovlar bilan avtomatlashtirilgan harakatlar, kuzatish va isbotlash. Bunday kontur MTTRni pasaytiradi, kommunikatsiyalar sifatini oshiradi va eng yuqori nuqtalarda iGaming-biznesning daromadlarini himoya qiladi.