Hadisə-bot və chat əməliyyatları

1) Məqsəd və dəyəri

• rutinin avtomatlaşdırılması ilə MTTA/MTTR azaldır;
• faktların (SoT) və kommunikasiyaların vahid konturunu yaradır;
• sübut oluna biləcəyini təmin edir (audit, vaxt, SLA yeniləmələri);
• konsollarda on-call və «dəfn» yükünü azaldır.

2) Chat əməliyyatlarında rollar və RACI

Incident Commander (IC) - hadisənin sahibi: açılış/bağlanış, prioritet, həllər.
Comms Lead (CL) - mətnlər və yeniləmə cədvəli (xarici/daxili).
Domain Leads (Payments/Games/Core/Infra) - texniki faktlar və fikslər.
Scribe - time line, fəaliyyət jurnalı.
Bot Admin - hüquqlar/siyasət/botun inteqrasiyası.

Qayda: bir hadisə bir IC və bir CL var; rolun dəyişdirilməsi - aydın bot komandası.

3) Əsas ssenarilər (end-to-end)

1. Hadisənin başlanğıcı: alert → '/incident new p1 «Deposits EU down» '→ bot kart yaradır, var-room, IC/CL təyin edir, ilk yeniləmə zamanlayıcısını qoyur.
2. Idarə: `/incident add-facts`, `/incident status set degraded`, `/incident assign @payments-lead`, `/incident timer 20m`.
3. Kommunikasiyalar: '/incident publish status '(CL layihəsi), '/incident partners notify', '/incident regulator draft '.
4. Fəaliyyətlər: `/runbook psp-failover PSP1→PSP2`, `/feature toggle replay-center off 60m`, `/traffic shift 30% eu→uk`.
5. Bağlanması və post-mortem: '/incident resolve ', auto-collection time line, '/postmortem generate'.

4) Bot komandaları (nüvə)

Yaradılma/təsnifat

`/incident new p{1|2|3|4} "<title>" [components=…] [regions=…]`

`/incident severity set p2`, `/incident tag add payments,psp`

Sahiblik və rollar

`/incident ic @user`, `/incident comms @user`, `/incident assign @user [domain]`

Zamanlayıcılar və SLO yeniləmələri

'/incident next-update 15m ', '/incident remind' (bot ping CL), '/incident eta set 18: 30 '

Faktlar və status

`/incident fact "auth-success PSP1 -25% TR/EU"`, `/incident status {investigating|degraded|monitoring|resolved}`

Komm paketləri

`/incident draft public|partners|regulator`, `/incident publish public`

İnteqrasiya

'/runbook '(avtomatik hərəkət kataloqu), '/dashboard link ', '/ticket create '

Bağlanma/post-mortem

`/incident resolve [reason=…]`, `/postmortem generate`, `/postmortem assign @owner`

5) İnteqrasiya (minimal zəruri)

Monitorinq/Observability: alertlər, SLI/SLO (burn-rate), dashboard linkləri.
Incident Manager (ITSM): status/sahələrin ikitərəfli sinxronizasiyası.
Status-səhifə: CL (policy-gate) vasitəsilə layihələr və nəşr.
Provayderlər (PSP/KYC/Oyun Studiyaları): Əlaqə kitabçaları, sürətli məktublar/kanallar.
Release/Feature Flags: Kanarya ayaqları/Releases, Releases links.
Runbooks/Auto-remediation: guardrails ilə təhlükəsiz fəaliyyət kataloqu.
CMDB/sahibləri: avto-təyinatlı domen lidləri, eskalasiya.
Time Line Depolama: WORM/immutable audit/post-mortem üçün.

6) Bot arxitekturası

Gateway (Chat Adapter): Slack/Teams/Telegram interfeysləri.
Command Parser + Policy Engine: avtorizasiya, validasiya, SoD və tolerantlar.
Orchestrator: hadisə ssenariləri, zamanlayıcılar, xatırlatmalar.
Integrations Layer: ITSM, monitorinq, status-səhifə, relizlər, runbooks üçün müştərilər.
Evidence Store: hadisələr, faktlar, mesaj diffları, əlavələr (WORM).
Metrics & Audit: keyfiyyət metrikası, hərəkət qeydləri, komanda izi.

7) Siyasət, hüquq və təhlükəsizlik

RBAC/ABAC: kim yaratmaq/bağlamaq, severity dəyişdirmək, nəşr edə bilər.
SoD: Comms publish CL rolu tələb edir; yüksək riskli fəaliyyət (PSP-routing, PII-ixrac) - dual nəzarət.
JIT hüquqları: hadisə zamanı domen lidlərinin müvəqqəti verilməsi.
İmza və şifrələmə: vebhuk/sistem sorğuları - HMAC/mTLS.
"Fat-finger 'dən qorunma: təhlükəli komandaların, dry-run və TTL-in təsdiqlənməsi.
PII-gigiyena: layihələr/yuvalarda maskalanma; açıq kanallarda PII qadağası.

8) Avtomatlaşdırma axınları (nümunə)

Alert P1 → bot var-rum yaradır ('#inc -2025-11-01-001'), növbətçi pinqlər (IC, CL, Payments/Infra).
Daşbordları/SLI bağlayır, ITSM biletini açır, ilk ictimai yeniləmənin şablonunu hazırlayır.
Zamanlayıcılar qoyur: «növbəti yeniləmə 15 dəqiqə sonra», CL xatırladır.
Təklif edir runbooks: “PSP reroute 30% → PSP2”, “degrade replay-center”, “autoscale settle-workers”.
Dərc edildikdə - mətnin versiyasını qeyd edir və status/sosial şəbəkədə (CL vasitəsilə) dərc edir.
Bağlandıqda - time line, metrik, post-mortem layihəsi, VIP/tərəfdaşlara poçt toplayır.

9) Zaman laynları və sübuta yetirilebilirlik

Hər bir hadisə: 'T + mm: təsvir, müəllif/bot, komanda, nəticə, linklər'.
Mesajların redaktələri (diff), buraxılışlara/fiçflaglara/planlı işlərə qoşulma dəstəklənir.
İxrac: Audit və tənzimləyicilər üçün PDF/CSV.

10) Metriklər (KPI/KRI ChatOps)

MTTA (chat): alertdən '/incident new '-ə qədər.
MTTS (setup): var-room hazır və rolları təyin qədər.
Cadence adherence: ictimai yeniləmə intervallarına riayət.
Runbook usage rate: avtomatlaşdırılmış fəaliyyət ilə insidentlərin payı.
Consistency score: kanallar arasında uyğunsuzluqlar = 0 - hədəf.
Pager fatigue ↓: Eyni/ən yaxşı SLO ilə əl çağrı cihazlarının azaldılması.
Postmortem SLA: D + 5 ≤ toplanan post-mortemlərin payı.

11) Şablon kataloqu (fraqmentlər)

/incident new p1 "Deposits EU down" components=payments,deposits regions=EU

/incident draft public
/incident publish public

/runbook psp-failover PSP1→PSP2 30%
/feature toggle replay-center off 45m

/postmortem generate
/postmortem assign @owner

12) Proseslərə inteqrasiya

Kommunikasiyalar: «İnsidentlərdə kommunikasiya» və «Sistem statusu səhifələri» ilə əlaqə.
Müşahidə: SLO/SLI və sintetikaya sürətli istinadlar; qrafiklərin avtomatik tətbiqi.
Alerting: P1/P2 zamanı hadisənin avtomobil yaradılması; bir axın siqnalları deadup.
Auto düzəlişlər: guardrails və rebooks ilə bir dişli runbooks.
Workflow Engine: human-tasks (4-eyes), eskalasiya zamanlayıcıları, yoxlama vərəqləri.

13) Yol xəritəsi (4-8 həftə)

Ned. 1-2: MVP komandaları: '/incident new ', rollar (IC/CL), var-room, update timer, ITSM və monitorinq ilə əlaqə.
Ned. 3-4: mesaj şablonları (ictimai/tərəfdaşlar/tənzimləyicilər), status-səhifə (layihə → nəşr), 5-7 runbooks kataloqu.
Ned. 5-6: policy-as-code (RBAC/SoD/JIT), yüksək riskli dual nəzarət, WORM jurnalı, KPI ChatOps dashboard.
Ned. 7-8: tabletop- P1/P2 təlimləri, relizlər/fitflaglar ilə inteqrasiya, avto-toplama post-mortem, lokalizasiya.

14) Antipattern

guardrails → təsadüfi təhlükəli hərəkətlər olmadan «bot vasitəsilə hamısı».
CL/Legal-review rolu olmadan status səhifəsinə nəşrlər.
Log/versiyası olmayan komandalar → sübut olunmazdır.
Çatda mürəkkəb formalar (20 + sahə) - sürət düşür; daha yaxşı qısa əmrlər + linklər.
P1-də yeniləmə vaxtı yoxdur → «sükut».
CMDB/sahibləri ilə inteqrasiya yoxdur → təyinatlarda xaos.

15) Yekun

Hadisə bot və ChatOps «komandalarla bot» deyil, əməliyyat platformasıdır: hadisənin sürətli başlaması, yeniləmə intizamı, təhlükəsiz məhdudiyyətlərlə avtomatlaşdırılmış hərəkətlər, tam müşahidə və sübut oluna bilər. Bu kontur MTTR-ni proqnozlaşdırıla bilən şəkildə azaldır, kommunikasiyaların keyfiyyətini artırır və iGaming biznesinin gəlirlərini pik nöqtələrdə qoruyur.