Инцидент-бот және чат операциялары

1) Мақсаты мен құндылығы

• дағдыны автоматтандыру есебінен MTTA/MTTR қысқартады;
• фактілер мен коммуникациялардың бірыңғай контурын (SoT) жасайды;
• дәлелденуін қамтамасыз етеді (аудит, таймлайндар, SLA жаңартулары);
• консольдарда on-call және «жерлеуге» жүктемені азайтады.

2) Чат операцияларындағы RACI рөлдері

Incident Commander (IC) - оқыс оқиғаның иесі: ашу/жабу, басымдық, шешімдер.
Comms Lead (CL) - мәтіндер және жаңартулар кестесі (сыртқы/ішкі).
Domain Leads (Payments/Games/Core/Infra) - техфактілер мен фикстер.
Scribe - таймлайн, әрекеттер журналы.
Bot Admin - боттың құқықтары/саясаты/интеграциясы.

Ереже: бір инцидентте бір IC және бір CL; рөлді ауыстыру - боттың айқын командасы.

3) Базалық сценарийлер (end-to-end)

1. Оқиғаның басталуы: алерт → '/incident new p1 «Deposits EU down» '→ бот карточка жасайды, вар-рум, IC/CL тағайындайды, бірінші апдейт таймерін қояды.
2. Жүргізу: `/incident add-facts`, `/incident status set degraded`, `/incident assign @payments-lead`, `/incident timer 20m`.
3. Коммуникациялар: '/incident publish status '(CL жоба нұсқасы), '/incident partners notify', '/incident regulator draft '.
4. Әрекеттер: `/runbook psp-failover PSP1→PSP2`, `/feature toggle replay-center off 60m`, `/traffic shift 30% eu→uk`.
5. Жабу және пост-мортем: '/incident resolve ', таймлайнды авто-жинау, '/postmortem generate'.

4) Бот командалары (ядро)

Жасау/жіктеу

`/incident new p{1|2|3|4} "<title>" [components=…] [regions=…]`

`/incident severity set p2`, `/incident tag add payments,psp`

Иелену және рөлдер

`/incident ic @user`, `/incident comms @user`, `/incident assign @user [domain]`

Таймерлер және SLO жаңартулары

'/incident next-update 15m ', '/incident remind' (бот CL пингует), '/incident eta set 18: 30 '

Фактілер мен мәртебе

`/incident fact "auth-success PSP1 -25% TR/EU"`, `/incident status {investigating|degraded|monitoring|resolved}`

Комм-пакеттер

`/incident draft public|partners|regulator`, `/incident publish public`

Интеграция

'/runbook '(авто әрекеттер каталогы), '/dashboard link ', '/ticket create '

Жабу/пост-мортем

`/incident resolve [reason=…]`, `/postmortem generate`, `/postmortem assign @owner`

5) Интеграция (ең аз қажетті)

Мониторинг/Observability: алерталар, SLI/SLO (burn-rate), дашбордқа арналған линкалар.
Incident Manager (ITSM): мәртебені/өрістерді екі жақты үндестіру.
Мәртебе-бет: Жоба жазбалар және CL (policy-gate) арқылы жариялау.
Провайдерлер (PSP/KYC/Ойын студиялары): байланыс анықтамалықтары, жедел хаттар/арналар.
Release/Feature Flags: канареялық табандар/кері қайтулар, релиздерге сілтемелер.
Runbooks/Auto-remediation: guardrails көмегімен қауіпсіз әрекеттер каталогы.
CMDB/иелері: домендік лиддердің авто-мақсаты, эскалация.
Таймлайндар қоймасы: аудит/пост-мортемалар үшін WORM/immutable.

6) Боттың сәулеті

Gateway (Chat Adapter): Slack/Teams/Telegram интерфейстері.
Command Parser + Policy Engine: авторизация, валидация, SoD және рұқсаттар.
Orchestrator: оқиғалар сценарийі, таймерлер, ескертулер.
Integrations Layer: ITSM, мониторинг, статус-бет, релиздер, runbooks клиенттері.
Evidence Store: оқиғалар, фактілер, хабарламалар, тіркемелер (WORM).
Metrics & Audit: сапа өлшемдері, әрекеттер логтары, командаларды трассалау.

7) Саясат, құқықтар және қауіпсіздік

RBAC/ABAC: кім жасайды/жабады, severity өзгерте алады, сыртқа жариялай алады.
SoD: Comms publish CL рөлін талап етеді; high-risk әрекеті (PSP-роутинг, PII-экспорт) - dual control.
JIT құқықтары: оқиға уақытында домендік көшбасшыларға уақытша беру.
Қолтаңба және шифрлау: HMAC/mTLS.
«fat-finger» -ден қорғау: қауіпті командаларды растау, dry-run және TTL әрекет ету.
PII-гигиена: черновиктерде/логтарда бүркемелеу; ашық арналарда PII тыйым салу.

8) Автоматтандыру ағындары (мысал)

Алерт P1 → бот вар-рум жасайды ('#inc -2025-11-01-001'), кезекшілерді пингтейді (IC, CL, Payments/Infra).
Дашбордтарды/SLI байланыстырады, ITSM тикетін ашады, бірінші ашық жаңартудың үлгісін дайындайды.
Таймерлерді қояды: «келесі апдейт 15 минуттан кейін», CL ескертулері.
Ұсынады runbooks: “PSP reroute 30% → PSP2”, “degrade replay-center”, “autoscale settle-workers”.
Жарияланым кезінде - мәтіннің нұсқасын тіркейді және статус-бетке/әлеуметтік желіге (CL арқылы) жариялайды.
Жабу кезінде - таймлайн, метриканы, пост-мортеманың жоба нұсқасын, VIP/серіктестерге таратуды жинайды.

9) Таймлайндар және дәлелденуі

Әрбір оқиға: 'Т + мм: сипаттама, автор/бот, команда, нәтиже, сілтемелер'.
Хабарламалардың редакциялары (diff), релиздерге/фичфлагтарға/жоспарлы жұмыстарға байланыстыру қолдау көрсетеді.
Экспорт: Аудит және реттегіштер үшін PDF/CSV.

10) Өлшемдер (KPI/KRI ChatOps)

MTTA (чат): алертінен '/incident new 'дейін.
MTTS (setup): вар-рум дайын болғанға және рөлдерді белгілегенге дейін.
Cadence adherence: жария жаңартулар аралығын сақтау.
Runbook usage rate: автоматтандырылған әрекеттері бар оқиғалар үлесі.
Consistency score: арналар арасындағы айырмашылықтар = 0 - мақсат.
Pager fatigue ↓: сол/жақсы SLO кезінде қол пейджерлерін азайту.
Postmortem SLA: D + 5 ≤ жиналған пост-мортемалардың үлесі.

11) Үлгілер каталогы (фрагменттер)

/incident new p1 "Deposits EU down" components=payments,deposits regions=EU

/incident draft public
/incident publish public

/runbook psp-failover PSP1→PSP2 30%
/feature toggle replay-center off 45m

/postmortem generate
/postmortem assign @owner

12) Процестерге кіріктіру

Коммуникациялар: «Инциденттер кезіндегі коммуникация» және «Жүйе мәртебесінің беттері» байланысы.
Бақылау қабілеті: SLO/SLI және синтетикаға жылдам сілтемелер; графиктерді автотіркеу.
Алертинг: P1/P2 кезіндегі инциденттің автосоздануы; сигналдардың бір ағынға түсуі.
Автоматты түзетулер: guardrails және кері шегінісі бар бір тұтқалы runbooks.
Workflow Engine: human-tasks (4-eyes), эскалация таймерлері, чек парақтары.

13) Енгізу жол картасы (4-8 апта)

Нед. 1-2: Командалардың MVP: '/incident new ', рөлдері (IC/CL), вар-рум, апдейт таймері, ITSM және мониторингпен байланыс.
Нед. 3-4: хабарлама үлгілері (жария/серіктестер/реттеушілер), статус-бет (жоба → жариялау), 5-7 runbooks каталогы.
Нед. 5-6: policy-as-code (RBAC/SoD/JIT), high-riske арналған dual control, WORM журналы, дашборд KPI ChatOps.
Нед. 7-8: tabletop-жаттығулар P1/P2, релиздермен/фичфлагтармен интеграциялау, пост-мортеманы авто-жинау, оқшаулау.

14) Антипаттерндер

guardrails → кездейсоқ қауіпті әрекеттерсіз «Барлығы бота арқылы».
CL/Legal-review рөлі жоқ күй- бетте жарияланымдар.
Логсыз/нұсқасыз командалар → дәлелденбейді.
Чатта күрделі нысандар (20 + өріс) - жылдамдық төмендейді; жақсы қысқа командалар + сілтемелер.
P1 кезінде «тыныштық» апдейтінің таймерлері жоқ.
CMDB/иелерімен интеграцияның жоқтығы → тағайындаулардағы хаос.

15) Қорытынды

Инцидент-бот және ChatOps - бұл «командалармен бот» емес, операциялық платформа: инциденттің тез басталуы, апдейт тәртібі, қауіпсіз шектеулермен автоматтандырылған әрекеттер, толассыз бақылау және дәлелдеу. Мұндай контур болжамды түрде MTTR төмендетеді, коммуникация сапасын арттырады және ең жоғары сәттерде iGaming-бизнестің кірісін қорғайды.