Ауысым және өнімділік талдауы

1) Мақсаты мен құндылығы

Ауысым талдауы - бұл 24 × 7 операцияларды басқаруды болжамды ететін өлшеу жүйесі: SLO жабылғанын растайды, тар жерлерді (түнгі слоттарды, шамадан тыс жүктелген домендерді) анықтайды, жанудың алдын алады және хендоверлердің сапасын арттырады. iGaming үшін бұл депозиттердің/сеттлдердің жылдамдығына, KYC/AML мерзімдеріне және беделіне тікелей әсер етеді.

2) Метриктердің таксономиясы

2. 1 Жабу және дайындық

Coverage Rate - толық құраммен сағат% (рөлі/домені/аймағы бойынша).
On-Call Readiness - тағайындалған IC/CL және валидті байланыстары бар ауысымдардың үлесі.
Handover SLA - беру терезесін (10-15 мин) және чек парағын сақтау.

2. 2 Реакция және қалпына келтіру жылдамдығы

MTTA/MTTR (Day/Swing/Night слоттары бойынша, домендер бойынша): медиана, p90.
Detection Lead - SLI-деградация мен бірінші әрекет арасындағы лаг.
Post-Release Monitoring Time - релизді нақты бақылау.

2. 3 Ауысымды беру сапасы

Handover Defect Rate - чек парағының толтырылмаған тармақтары.
Info Drift - вар-рум, ITSM және статус-арна арасындағы фактілердің алшақтығы.
Action Carryover - иесі/ЕТ-сыз «көшіп келген» тапсырмалар үлесі.

2. 4 Жүктеме және шаршау

Pager Fatigue: алерт/адам/апта, түнгі пейдждер, P1/адам/ауысым.
Escalation Density: L2/L3 жеткен оқыс оқиғалар үлесі (L1 runbook-фикстеріне қарсы).
Idle vs. Busy Ratio: өнімді жүктеу уақыты vs. күту.

2. 5 Тиімділік және автоматтандыру

Auto-Fix Rate - автоматты әрекет/ботпен шешілген тосын оқиғалар.
Runbook Usage - стандартты сценарийлер бойынша жабылған қателер%.
First Contact Resolution (FCR) - эскалациясыз L1 деңгейінде жабу.
Mean Time Between Incidents (MTBI) - домен/слоттың тұрақтылығы.

2. 6 Әділеттілік пен тұрақтылық

Fair-Share Index - адамдар бойынша түннің/демалыстың біркелкілігі.
Replacement SLA - ауысымға дейін 48 сағат ≥ расталған ауыстыру.
Training Coverage - онбордингке арналған shadow-слоты ауысымдардың үлесі.

2. 7 Бизнес-байланыс

SLO Impact Score - ауысым SLO-ны жасыл аймақта қанша уақыт ұстады.
Revenue at Risk (proxy) - ауысымдағы P1/P2 жіберіп алған түсімді бағалау.
Partner Latency/Declines - PSP/KYC-серіктестерінің ауысым оқиғаларына қосқан үлесі.

3) Деректер моделі

3. 1 Оқиға астығы

shift_event: басы/соңы, құрамы, рөлдері (IC/CL/L1/L2), аймағы, домендері.
alert_event: сигнал, басымдық, иесі, жабу, runbook/auto әрекет.
incident_event: P1-P4, таймлайндар, IC/CL, жарияланым мәртебесі.
handover_check: чек парағының белгілері + ақаулар/түсініктемелер.
release_watch: бақылау терезелері, гейттер, авто-кері қайтулар.
worklog: өнімді минуттар (диагностика, фикстер, комм-апдейттер, пост-мортем).
fatigue_signal: пейджер/түннің жиілігі, жұмыс істеген сағаттар.

3. 2 Схема (оңайлатылған)

Ключи: `timestamp`, `tenant`, `region`, `environment`, `domain`, `role`, `severity`.
Сақтау нұсқалары: оқиға lake (parquet/iceberg) + DWH/TSDB алдыңғы агрегаттар.
PII саясаты: тек агрегаттар мен бүркеншік атаулар; e-mail/ID жасырын.

4) Деректер жинау (ETL)

1. ChatOps/бот: '/handover ', '/incident', '/runbook '→ WORM журналы.
2. ITSM: инциденттер/тикеттер мәртебесі, вар-румдармен байланыс.
3. Metrics API: SLI/SLO (auth-success, bet→settle p99, error-rate), KRI (queue lag, PSP declines).
4. Ауысымды жоспарлаушы: күнтізбелер, ауыстыру, рөлдер, shadow.
5. CI/CD: релиздер, бақылау терезелері, автотіркеулер.

ETL қалыпқа келтіреді, 'shift _ slot' (Day/Swing/Night) қосады, derived-метриканы есептейді (MTTA/MTTR, Fair-Share).

5) Дашбордтар

5. 1 Exec (аптаға/айға шолу)

CFR, MTTR, Auto-Fix Rate, SLO Impact, Revenue-at-Risk (proxy).
Слоттар мен домендерді қайта тиеу картасы (жылу).

5. 2 Ops/SRE (ауысым/күн сайын)

Нақты уақыт панелі: ашық P1-P4, burn-rate, кезектер/репликалар, guardrails.
Чек-парақ және ақаулар мәртебесінің хендовер-картасы.
Fatigue панелі: пейджи/адам, түн/адам (соңғы 4 апта), ескертулер.

5. 3 Team/Domain

Домен бойынша MTTA/MTTR, FCR, Runbook Usage, L2/L3 эскалация үлесі.
Нақты пәрмен үшін Fair-Share және Replacement SLA.

6) Формулалар мен табалдырықтар

Coverage Rate = жабылған сағат/168. Мақсат ≥ 99%.
Handover SLA =% ауысым, мұнда беру орындалды және чек парағы 15 минутқа ≤ жабық (мақсаты ≥ 95%).
Pager Fatigue (апта.) : мақсатты ≤ p95 алерт/адам; > p90 кезінде ескерту.
Fair-Share Index = 1 − (σ түн/ target_ночей). Мақсат ≥ 0. 8.
Auto-Fix Rate ≥ тоқсан ішінде L1 үшін 40% (мақсаты жетілуіне байланысты).
Runbook Usage ≥ қайталанатын қателіктер үшін 70% (топ-10 сигналдар).

MTTA/MTTR және Defect Rate үшін бақылау карталары (X-MR, p-charts); бақылау шегінен шығу кезіндегі алерттар.

7) Талдамалық әдістер

Аномалиялар: STL/ESD/CUSUM алерт және MTTA/MTTR бойынша, аутлерлер мен себептерді белгілеу (релиз, провайдер).
Жүктемені болжау: Алерт бойынша Prophet/ARIMA және слотқа P1/P2 → FTE жоспарлау.
Нәтиженің атрибуциясы: процестердегі өзгерістердің uplift үлгісі (мысалы, жаңа хендовер үлгісі) → MTTR.
Бақылау эксперименттері: A/B ішкі процестерде (чек парағының нұсқасы, жаңа runbook).
Когорт талдауы: жаңадан келгендердің өнімділігі (shadow → solo) және т.б. тәжірибелі.

8) Интеграция

Инцидент-бот: ауысым метрикасын қояды, жабық хендоверді еске салады, ретро басталады.
Release-портал: релиз терезелерін жүктеме шыңдарымен байланыстырады; қызыл SLO кезінде auto-pause.
Metrics API: RCA үшін дайын SLO-view + exemplars (trace_id).
HR/PTO: шөгу факторлары (shrinkage) → жоспарлау және талдау fair-share.

9) Саясат және RACI

Ops Analytics Owner (SRE/Platform): деректер моделі, дашбордтар, метрикалардың дәлдігі.
Service Owners: домендік сигналдарды түсіндіру, жақсарту жоспарлары.
Duty Manager: KPI/KRI апта сайынғы талдау, слоттар балансы.
Compliance/Sec: телеметрия мен есептерде PII/SoD сақтау.
Training Lead: талдау қорытындыларынан онбордингтің жоспарлары.

10) Артефактілердің үлгілері

10. 1 Метрика каталогы (YAML)

yaml apiVersion: ops.analytics/v1 kind: MetricCatalog items:
- id: coverage_rate owner: "SRE"
formula: "covered_hours / 168"
slice: ["region","slot","domain"]
target: ">=0.99"
- id: mtta_p50 owner: "Ops"
formula: "median(ack_ts - alert_ts)"
slice: ["slot","severity","domain"]
target: "<=5m (P1)"
- id: handover_defect_rate owner: "Ops"
formula: "defects / handovers"
target: "<=5%"
- id: pager_fatigue_p95 owner: "SRE"
formula: "p95(alerts_per_person_week)"
target: "<=team_threshold"

10. 2 Сұрау үлгісі (SQL-агрегат)

sql
SELECT slot, domain,
percentile_cont(0.5) WITHIN GROUP (ORDER BY ack_s-emit_s) AS mtta_p50,
percentile_cont(0.9) WITHIN GROUP (ORDER BY ack_s-emit_s) AS mtta_p90,
AVG(auto_fix)::float AS autofix_rate
FROM alerts_fact
WHERE ts BETWEEN:from AND:to AND severity IN ('P1','P2')
GROUP BY slot, domain;

10. 3 Хендовер чек-парақ (сапа сигналдары)

SLO/SLI мәліметі қосылды

Ашық инциденттердің иелері/ЕА

Жоспарлы жұмыстар/релиздер байланыстырылған

Провайдерлік тәуекелдер тіркелген

Комм-жобалауыштар дайын

On-call контактілері өзекті

Watchlist жаңартылды

11) Тәуекелдерді және жақсартуларды басқару

KRI: DLQ/queue-lag түнгі слотта өсуі, FCR құлауы <мақсатты, Info Drift өрісі.
Жақсарту жоспары: апталық Ops-жоспар иелерімен/ЕТ топ-3 сәтсіздікке.
Ауысым тәртібінің пост-мортемасы: хендоверлердің ақаулары және алерттердің флаппингі бойынша ретро.
Процестік A/B: жаңа регламенттердің MTTR/Auto-Fix-ке әсерін тексеру.

12) KPI/OKR мысалдары (тоқсан)

KR1: MTTR P1 (медиана) ↓ 22 минуттан 15 минутқа дейін.
KR2: Handover SLA ≥ 95% үш слотта.
KR3: Auto-Fix Rate ≥ 45% жоғары 10 сигналдық ережелер үшін.
KR4: Pager Fatigue p95 ↓ 20% -ға (алертингті оңтайландырғаннан кейін).
KR5: Fair-Share Index ≥ 0. Барлық командаларда 85.

13) Енгізу жол картасы (6-10 апта)

Нед. 1-2: оқиғалар схемасы, боттан ETL/ITSM/Metrics API, метрлердің бірінші каталогы, базалық дашбордтар.
Нед. 3-4: бақылау карталары мен табалдырықтары, fatigue панелі, handover-сапасы, релиздермен байланысы.
Нед. 5-6: жүктемені болжау (слоттар/домендер), fair-share және replacement-аналитика.
Нед. 7-8: авто-кеңестер (қандай runbooks автоматтандыру), авто-фикстердің ROI есептері, ретро-шаблондар.
Нед. 9-10: процестердегі эксперименттер (A/B чек парақтары), Exec панельдеріндегі KPI, командаларды оқыту.

14) Антипаттерндер

«Ауысымның табысы» тек жабық тикеттердің саны бойынша есептелсін (MTTR/SLO-контекстісіз).
Хендовер-ақауларды елемеу («онсыз да түсінікті»).
Трафик көлемі/маусымдық шыңдар бойынша қалыпқа келтірілмейтін метриктер.
Күрделілік/кіру шарттарын ескермей дербестендіру және «адамдардың рейтингі».
fair-share → жоқтығы және қателердің өсуі.
Релиздермен/эксперименттермен нөлдік корреляция → жалған қорытындылар.
WORM аудиті жоқ және PII саясаты жоқ деректер.

Жиынтық

Ауысым және өнімділік талдауы - бұл ChatOps, ITSM және телеметрия үстіндегі өлшемдердің өндірістік жүйесі: KPI/KRI нақты таксономиясы, дұрыс деректер модельдері, түрлі рөлдерге арналған дашбордтар, статистикалық әдістер және SLO/бизнес әсерімен байланыс. Бұл тәсіл жүктемені теңестіреді, реакцияны жылдамдатады, жануды азайтады және iGaming-платформасының операцияларының сапасын жақсартады.