Hadisə-bot və chat əməliyyatları
1) Məqsəd və dəyəri
Hadisə-bot birbaşa korporativ söhbətdən (Slack/Teams/Telegram) hadisəni idarə etmək üçün interfeysdir: onlarla sistemdə bir mətn → hərəkət daxil etmək. O:- rutinin avtomatlaşdırılması ilə MTTA/MTTR azaldır;
- faktların (SoT) və kommunikasiyaların vahid konturunu yaradır;
- sübut oluna biləcəyini təmin edir (audit, vaxt, SLA yeniləmələri);
- konsollarda on-call və «dəfn» yükünü azaldır.
2) Chat əməliyyatlarında rollar və RACI
Incident Commander (IC) - hadisənin sahibi: açılış/bağlanış, prioritet, həllər.
Comms Lead (CL) - mətnlər və yeniləmə cədvəli (xarici/daxili).
Domain Leads (Payments/Games/Core/Infra) - texniki faktlar və fikslər.
Scribe - time line, fəaliyyət jurnalı.
Bot Admin - hüquqlar/siyasət/botun inteqrasiyası.
Qayda: bir hadisə bir IC və bir CL var; rolun dəyişdirilməsi - aydın bot komandası.
3) Əsas ssenarilər (end-to-end)
1. Hadisənin başlanğıcı: alert → '/incident new p1 «Deposits EU down» '→ bot kart yaradır, var-room, IC/CL təyin edir, ilk yeniləmə zamanlayıcısını qoyur.
2. Ведение: `/incident add-facts`, `/incident status set degraded`, `/incident assign @payments-lead`, `/incident timer 20m`.
3. Kommunikasiyalar: '/incident publish status '(CL layihəsi), '/incident partners notify', '/incident regulator draft '.
4. Действия: `/runbook psp-failover PSP1→PSP2`, `/feature toggle replay-center off 60m`, `/traffic shift 30% eu→uk`.
5. Bağlanması və post-mortem: '/incident resolve ', auto-collection time line, '/postmortem generate'.
4) Bot komandaları (nüvə)
Yaradılma/təsnifat
`/incident new p{1|2|3|4} "
`/incident severity set p2`, `/incident tag add payments,psp`
Sahiblik və rollar
`/incident ic @user`, `/incident comms @user`, `/incident assign @user [domain]`
Zamanlayıcılar və SLO yeniləmələri
'/incident next-update 15m ', '/incident remind' (bot ping CL), '/incident eta set 18: 30 '
Faktlar və status
`/incident fact "auth-success PSP1 -25% TR/EU"`, `/incident status {investigating|degraded|monitoring|resolved}`
Komm paketləri
`/incident draft public|partners|regulator`, `/incident publish public`
İnteqrasiya
'/runbook
Bağlanma/post-mortem
`/incident resolve [reason=…]`, `/postmortem generate`, `/postmortem assign @owner`
5) İnteqrasiya (minimal zəruri)
Monitorinq/Observability: alertlər, SLI/SLO (burn-rate), dashboard linkləri.
Incident Manager (ITSM): status/sahələrin ikitərəfli sinxronizasiyası.
Status-səhifə: CL (policy-gate) vasitəsilə layihələr və nəşr.
Provayderlər (PSP/KYC/Oyun Studiyaları): Əlaqə kitabçaları, sürətli məktublar/kanallar.
Release/Feature Flags: Kanarya ayaqları/Releases, Releases links.
Runbooks/Auto-remediation: guardrails ilə təhlükəsiz fəaliyyət kataloqu.
CMDB/sahibləri: avto-təyinatlı domen lidləri, eskalasiya.
Time Line Depolama: WORM/immutable audit/post-mortem üçün.
6) Bot arxitekturası
Gateway (Chat Adapter): Slack/Teams/Telegram interfeysləri.
Command Parser + Policy Engine: avtorizasiya, validasiya, SoD və tolerantlar.
Orchestrator: hadisə ssenariləri, zamanlayıcılar, xatırlatmalar.
Integrations Layer: ITSM, monitorinq, status-səhifə, relizlər, runbooks üçün müştərilər.
Evidence Store: hadisələr, faktlar, mesaj diffları, əlavələr (WORM).
Metrics & Audit: keyfiyyət metrikası, hərəkət qeydləri, komanda izi.
7) Siyasət, hüquq və təhlükəsizlik
RBAC/ABAC: kim yaratmaq/bağlamaq, severity dəyişdirmək, nəşr edə bilər.
SoD: Comms publish CL rolu tələb edir; yüksək riskli fəaliyyət (PSP-routing, PII-ixrac) - dual nəzarət.
JIT hüquqları: hadisə zamanı domen lidlərinin müvəqqəti verilməsi.
İmza və şifrələmə: vebhuk/sistem sorğuları - HMAC/mTLS.
"Fat-finger 'dən qorunma: təhlükəli komandaların, dry-run və TTL-in təsdiqlənməsi.
PII-gigiyena: layihələr/yuvalarda maskalanma; açıq kanallarda PII qadağası.
8) Avtomatlaşdırma axınları (nümunə)
Alert P1 → bot var-rum yaradır ('#inc -2025-11-01-001'), növbətçi pinqlər (IC, CL, Payments/Infra).
Daşbordları/SLI bağlayır, ITSM biletini açır, ilk ictimai yeniləmənin şablonunu hazırlayır.
Zamanlayıcılar qoyur: «növbəti yeniləmə 15 dəqiqə sonra», CL xatırladır.
Предлагает runbooks: “PSP reroute 30% → PSP2”, “degrade replay-center”, “autoscale settle-workers”.
Dərc edildikdə - mətnin versiyasını qeyd edir və status/sosial şəbəkədə (CL vasitəsilə) dərc edir.
Bağlandıqda - time line, metrik, post-mortem layihəsi, VIP/tərəfdaşlara poçt toplayır.
9) Zaman laynları və sübuta yetirilebilirlik
Hər bir hadisə: 'T + mm: təsvir, müəllif/bot, komanda, nəticə, linklər'.
Mesajların redaktələri (diff), buraxılışlara/fiçflaglara/planlı işlərə qoşulma dəstəklənir.
İxrac: Audit və tənzimləyicilər üçün PDF/CSV.
10) Metriklər (KPI/KRI ChatOps)
MTTA (chat): alertdən '/incident new '-ə qədər.
MTTS (setup): var-room hazır və rolları təyin qədər.
Cadence adherence: ictimai yeniləmə intervallarına riayət.
Runbook usage rate: avtomatlaşdırılmış fəaliyyət ilə insidentlərin payı.
Consistency score: kanallar arasında uyğunsuzluqlar = 0 - hədəf.
Pager fatigue ↓: Eyni/ən yaxşı SLO ilə əl çağrı cihazlarının azaldılması.
Postmortem SLA: D + 5 ≤ toplanan post-mortemlərin payı.
11) Şablon kataloqu (fraqmentlər)
P1 yaradılması:
/incident new p1 "Deposits EU down" components=payments,deposits regions=EU
İlk ictimai yeniləmə (CL vasitəsilə):
/incident draft public
/incident publish public
PSP Routing və Fich deqradasiya:
/runbook psp-failover PSP1→PSP2 30%
/feature toggle replay-center off 45m
Post-mortem:
/postmortem generate
/postmortem assign @owner
12) Proseslərə inteqrasiya
Kommunikasiyalar: «İnsidentlərdə kommunikasiya» və «Sistem statusu səhifələri» ilə əlaqə.
Müşahidə: SLO/SLI və sintetikaya sürətli istinadlar; qrafiklərin avtomatik tətbiqi.
Alerting: P1/P2 zamanı hadisənin avtomobil yaradılması; bir axın siqnalları deadup.
Auto düzəlişlər: guardrails və rebooks ilə bir dişli runbooks.
Workflow Engine: human-tasks (4-eyes), eskalasiya zamanlayıcıları, yoxlama vərəqləri.
13) Yol xəritəsi (4-8 həftə)
Ned. 1-2: MVP komandaları: '/incident new ', rollar (IC/CL), var-room, update timer, ITSM və monitorinq ilə əlaqə.
Ned. 3-4: mesaj şablonları (ictimai/tərəfdaşlar/tənzimləyicilər), status-səhifə (layihə → nəşr), 5-7 runbooks kataloqu.
Ned. 5-6: policy-as-code (RBAC/SoD/JIT), yüksək riskli dual nəzarət, WORM jurnalı, KPI ChatOps dashboard.
Ned. 7-8: tabletop- P1/P2 təlimləri, relizlər/fitflaglar ilə inteqrasiya, avto-toplama post-mortem, lokalizasiya.
14) Antipattern
guardrails → təsadüfi təhlükəli hərəkətlər olmadan «bot vasitəsilə hamısı».
CL/Legal-review rolu olmadan status səhifəsinə nəşrlər.
Log/versiyası olmayan komandalar → sübut olunmazdır.
Çatda mürəkkəb formalar (20 + sahə) - sürət düşür; daha yaxşı qısa əmrlər + linklər.
P1-də yeniləmə vaxtı yoxdur → «sükut».
CMDB/sahibləri ilə inteqrasiya yoxdur → təyinatlarda xaos.
15) Yekun
Hadisə bot və ChatOps «komandalarla bot» deyil, əməliyyat platformasıdır: hadisənin sürətli başlaması, yeniləmə intizamı, təhlükəsiz məhdudiyyətlərlə avtomatlaşdırılmış hərəkətlər, tam müşahidə və sübut oluna bilər. Bu kontur MTTR-ni proqnozlaşdırıla bilən şəkildə azaldır, kommunikasiyaların keyfiyyətini artırır və iGaming biznesinin gəlirlərini pik nöqtələrdə qoruyur.