Маалымат агымынын алерттери

1) Эмне үчүн жана кайда колдонуу керек

iGaming маанилүү иш-чаралар реалдуу убакытта ишке ашат: депозиттер кечигип, оюн провайдери түшүп, когортада RG тобокелдиги өстү, chargeback-рейт секирип кетти. Агымдык алерталар аномалияларды акча, UX жана комплаенс жабыркаганга чейин жазышат.

• Маалыматтар/төлөмдөр/оюндар инциденттерин эрте аныктоо.
• Автоматтык реакциялар (маршруттун өзгөрүшү, деградация, фич-желектер).
• акылдуу босоголор жана бириктирүү аркылуу MTTR жана "Алерт чарчоо" азайтуу.

2) Архитектура (референс)

Event Bus/Log: Kafka/Pulsar/Kinesis - баштапкы агымдар (төлөмдөр, оюн раунддары, логистика ETL, RG сигналдары).
Stream Processing: Flink/Spark/Faust - терезелер, агрегаттар, байланыштар, CEP (Complex Event Processing).
Rules & Models: эрежелердин кыймылдаткычы (DSL/YAML), статикалык жана аномалиялардын онлайн моделдери.
Alert Router: нормалдаштыруу жана багыттоо (PagerDuty/Slack/Email/Webhook), дубликат басуу.
Incident Mgmt: билеттер, эскалация, runbooks, SOAR playbook.
Observability & Storage: Алерт метрика, тарых, "этикеткалар" (labels), аудитордук WORM-лог.

3) Агымы терезелер жана агрегаттар

Tumbling (белгиленген интервалдар: 1, 5, 15 мүнөт) - туруктуу бизнес-метриктер.
Sliding (жабылган терезелер) - тренддерди эрте аныктоо.
Session Windows - оюнчу жүрүм-турум учурларда.
Watermarks - кеч окуялар; Терезени бүтүрүү алдында кечигүүгө жол беребиз (мисалы, 120с).
Демпотенттүүлүк - уникалдуу event-id, дедупликация, exactly-once семантика, кеч маалыматтар боюнча "кайра салыштыруу".

4) Алерт түрлөрү

1. босого (threshold): p95 latency PSP> 2000 ms, ийгилик баасы <99. 5%.
2. Тенденцияны өзгөртүү (CUSUM/ADWIN): GGR/мин кескин өзгөрүү, депозиттерди конвертациялоодогу аномалиялар.
3. Корреляция/SER: окуялардын ырааттуулугу "KYC fail → депозит → чарджбек".
4. Component: "төмөн сергектик + өзгөрүүлөр каталардын өсүшү".
5. Этикалык/RG: сегментте жогорку тобокелдик үлүшүнүн өсүшү> X p.p. 10 мин.
6. Маалымат/сапат: схемасы drift, кескин төмөндөшү, null/duplicates.
7. Купуялык/коопсуздук: PII логтордо, уруксатсыз детокенизация.

5) Ызы-чууну азайтуу (SNR)

Histeresis жана туруктуу бузулуу (Y терезеден X) чокуларына туруштук бере албайт.
Динамикалык босоголор: базалык сызык + σ, же жылма терезе боюнча квантиль.
Sample Alert: бир 'labels' -dabor үчүн T мүнөт N ашык эмес.
Окуя топтоо: оюн боюнча жүздөгөн алерттердин ордуна "оюн провайдери иштебей калган" үчүн бир билет.
Сезондук: түнкү/прайм жана акциялар/турнирлер үчүн өзүнчө босоголор.
SLO-аң-сезимдүү эрежелер: бузуу колдонуучунун SLO таасир гана триггер.

6) Артыкчылыктуу жана эскалация

P1: бөгөттөө акча/жөнгө салуу (төлөмдөр, RG-бузуулар, масштабдуу берүү).
P2: байкаларлык деградация (latency/ката/сергектик), регресс KPI коркунучу.
P3: кулак талап сапатынын начарлашы (DQ, үлгүлөрүнүн жылып).

Эскалация: домен ээси → нөөмөтчү SRE/DS → продукт менеджери → кризистик штаб.

7) Купуялык жана комплаенс

Zero-PII in payload alerts: гана токендер/агрегаттар/учурларда шилтемелер.
RG/AML режимдери: өзүнчө каналдар жана кирүү тизмелери, текст redaction.
Аудит жөнгө салуучулар жана пост-морттор үчүн өзгөрүлбөйт (WORM).
Geo/tenant-изоляция: бренд/өлкө боюнча багыттоо; ар кандай ачкычтар/топиктер.

8) SLO жана Алертинг сапаты метриктер

MTTD (time to detect) и MTTA/MTTR (ack/recover).
Precision/кайра (окуя-чындык боюнча).
False Alarm Rate жана Suppression Rate (канча ызы-чуу кесип).
Coverage:% критикалык жолдор (payments, game_rounds, KYC, RG) Алерт астында.
Drift Detection Latency: Алерт үчүн Drift чындык убакыт.
On-call Load: alertov/өзгөртүү жана "түнкү ойготкуч".

9) iGaming учурларда (эрежелердин мисалдары)

Төлөмдөр/PSP: 'success _ rate _ deposits _ 5m <99. 5% 'I' PSP = XYZ 'I' country in [EE, LT, LV] '→ P1, SOAR: багытын которуп, retra жогорулатуу.
Оюн провайдерлери: 'game _ rounds _ per _ min drop> 40% vs baseline_28d' оюн кластеринде' provider = A '→ P1, жөнөтүүчүгө кабарлоо, лобби тилдерин жашыруу.
RG: 'high _ risk _ share _ 10m ↑> 3 p.p.' v 'brand = B' → P2, жумшак чектерди киргизип, RG командасына кабарлаңыз.
Frod: 'chargeback _ rate _ 60m> μ + 3 σ' I 'new _ device _ share ↑' → P1, антифрод катуулатууну камтыйт.
Данные/DQ: `freshness_payments_gold > 15m` И `ingest_errors > 0. 5% '→ P2, отчетторду тоңдуруп, статус баннерин күйгүзүү.

10) Эрежелердин үлгүлөрү (DSL/YAML)

10. 1 босого + гистерезис

yaml rule_id: psp_success_drop severity: P1 source: stream:payments. metrics_1m when:
metric: success_rate filter: {psp: ["XYZ"], country: ["EE","LT","LV"]}
window: {type: sliding, size: PT5M, slide: PT1M}
threshold:
op: lt value: 0. 995 sustain: {breaches_required: 3, within: PT5M}
actions:
- route: pagerduty:payments
- runbook: url://runbooks/payments_psp_drop
- soars: [{name: "switch_route", params: {psp_backup: "XYZ2"}}]
privacy: {pii_in_payload: false}

10. 2 Негизги сызыкка каршы аномалия

yaml rule_id: provider_volume_anomaly severity: P1 source: stream:games. rounds_1m baseline: {type: rolling_quantile, period: P28D, quantile: 0. 1}
anomaly:
op: lt_ratio value: 0. 6 # drop below 60% of baseline labels: {provider: "$ provider"}
suppress: {per: provider, max: 1, within: PT10M}
actions:
- route: slack:#games-ops
- feature_flag: {hide_provider_tiles: true}

10. 3 Composite менен CEP

yaml rule_id: kyc_deposit_chargeback severity: P2 pattern:
- event: kyc_result where: {status: "fail"}
- within: PT24H
- event: payment where: {type: "deposit"}
- within: PT14D
- event: chargeback actions:
- route: antifraud_queue
- create_case: {type: "investigation", ttl: P30D}

11) Интеграция жана автоматтык жооп

SOAR: PSP/End Point которуу, Retrains жогорулатуу, Fich желектерин жандандыруу, убактылуу API деградация.
Feature Flags: RG үчүн көйгөйлүү оюндарды/виджеттерди, "ой тосмолорду" өчүрүү.
Status Page: ички/өнөктөш панелдер үчүн автоматтык баннерлер.
Ticketing: талаа толтуруу "ээси, домен, runbook, trace_id".

12) Операциялар жана процесстер

RACI: эрежелердин ээлери - домендик командалар; платформа - кыймылдаткыч, SLO, масштаб.
Versioning: Git эрежелери, 'MAJOR/MINOR/PATCH', canary-режими.
Тесттер: агымдардын симуляциялары, replays, белгилүү окуялар боюнча ретроспективдүү текшерүүлөр.
Пост-мортемалар: ар бир P1/P2 - сабактар, босоголорду/гистерезистерди жаңылоо, CEP чектөөлөрүн кошуу.

13) Ишке ашыруунун жол картасы

0-30 күн (MVP)

1. маанилүү жолдорун камтыйт: payments, game_rounds, ingest freshness.
2. эрежелер үчүн DSL/YAML баштоо, Git-сактоо жана ээлеринин каталогу.
3. Гистерезис жана дубль басуу кирет; Slack/PagerDuty каналдары.
4. 3 runbook 'a баштоо: "төлөмдөр", "оюндар", "DQ/freshness".
5. Метрика: MTTD/MTTR, кол менен белгилөө боюнча Precision/кайра.

30-90 күн

1. Негизги аномалдуу детекторлор (baseline/quantiles), CEP үлгүлөрү.
2. SOAR-автоматташтыруу (PSP которуу, fich-желектер, статус-беттер).
3. SLO-аң-сезимдүү эрежелер жана инциденттерди топтоо.
4. "Регрессия" сыноо эрежелери үчүн окуялар Replay.
5. Редакциялоо жана кирүү чектөөлөрү менен RG/AML каналдары.

3-6 ай

1. эрежелер жана аномалиялар моделдер үчүн Champion-Challenger.
2. Эффекттердин каталогу (кандай коркунучтар MTTR/жоготууларды чындап азайткан).
3. AIOps-гистерезистин босоголору жана авто-тюнинги.
4. Кол коюлган вебхуктар менен тышкы интеграциялар (оюн провайдерлери/PSP).
5. Чейректик гигиена сессиялары: "өлүк" эрежелерди алып салуу, кайталоочу эрежелерди бириктирүү.

14) Ийгиликтин метрикасы (мисал)

MTTD/MTTR: медиа жана p90 окуя түрлөрү боюнча.
Alert Precision/Recall: максаттуу босого ≥.
Noise ↓: − X% 4хх/" жалган "P3; "түнкү ойготкучтар" ≤ Y/жума.
Coverage: ≥ 95% активдүү эрежелер менен маанилүү жолдор.
SOAR таасири: кол менен кийлигишүүгө чейин убакытты үнөмдөө.
Бизнес таасири: сакталган депозиттер/төлөмдөр, жоголгон раунддардын төмөндөшү.

15) Анти-үлгүлөрү

негизги сызык жана гистерезис жок "көз" босогосу.
SLO/бизнес тобокелдик менен байланышкан эмес, Алерт.
PII алерттердин денелеринде, жалпы каналдардагы маалыматтар менен скриншоттор.
suppression/grouping → "бороон" билдирүүлөр жок.
Эч кандай реплика - эрежелер ар бир чокусунда бузулат.
"Түбөлүк" эрежелер ревю жана ээси жок.

16) Байланыштуу бөлүмдөр

DataOps-практикасы, API аналитика жана метрика, Аудит жана версиясы, Access Control, Коопсуздук жана шифрлөө, Сактоо саясаты, MLOps: моделдерди иштетүү, Жооп берүү оюну, Антифрод/Төлөмдөр.

Жыйынтык

Агымдык алерталар - бул операциялык нерв маалымат системасы: алар көйгөйлөрдүн каскадын өз убагында токтотуу үчүн окуяларды, контекстти жана автоматтык аракеттерди бириктирет. Туура архитектура, босоголордун гигиенасы жана купуялуулукту урматтоо менен алерталар MTTR кыскартат, кирешени коргойт жана оюнчулардын жана жөнгө салуучулардын ишенимин сактайт.