Maglumat akymlaryndan alertler

1) Näme üçin we nirede ulanmak

"iGaming" -de möhüm wakalar hakyky wagtda bolup geçýär: goýumlar yza süýşürildi, oýun üpjün ediji ýykyldy, kogortada RG töwekgelçiligi ýokarlandy, çargeback-reýt bökdi. Akym alertleri pul, UX we gabat gelmezden ozal anomaliýalary düzedýärler.

• Maglumat/töleg/oýun hadysalarynyň irki ýüze çykmagy.
• Awtomatiki reaksiýalar (marşrutyň üýtgemegi, zaýalanmalar, fiç-baýdaklar).
• Akylly bosagalar we birleşmek arkaly MTTR we "aladanyň ýadawlygyny" azaltmak.

2) Binagärlik (salgylanma)

Event Bus/Log: Kafka/Pulsar/Kinesis - başlangyç akymlary (tölegler, oýun tapgyrlary, logistika ETL, RG-signallar).
Stream Processing: Flink/Spark/Faust - penjireler, agregatlar, baglanyşyklar, CEP (Complex Event Processing).
Rules & Models: düzgünleriň hereketlendirijisi (DSL/YAML), statik çyzyklar we anomaliýalaryň onlaýn modelleri.
Alert Router: kadalaşmak we marşrutlaşdyrmak (PagerDuty/Slack/Email/Webhook), dublikatlary basyp ýatyrmak.
Incident Mgmt: biletler, eskalasiýa, runbooks, SOAR pleybuklary.
Observability & Storage: alertleriň metrikleri, taryhy, "bellikler" (labels), auditoriýa WORM-log.

3) Akym penjireleri we agregatlary

Tumbling (kesgitlenen aralyklar: 1, 5, 15 minut) - durnukly iş metrikleri.
Sliding (örtülen penjireler) - tendensiýalary irki ýüze çykarmak.
Windows session - oýunçynyň özüni alyp barşy.
Watermarks - gijä galan wakalar; penjire gutarmanka gijä galmaga ýol berýäris (mysal üçin, 120s).
Idempotentlik - özboluşly event-id, de-duplikasiýa, exactly-once semantika, giç maglumatlarda "gaýtadan deňeşdirme".

4) Alertleriň görnüşleri

1. Bosagaly (threshold): p95 latency PSP> 2000 ms, üstünlik derejesi <99. 5%.
2. Tendensiýanyň üýtgemegi (CUSUM/ADWIN): GGR/minutyň ýiti üýtgemegi, goýumlaryň öwrülmesindäki anomaliýalar.
3. Habarlaşma/SER: wakalaryň yzygiderliligi "KYC fail → depozit → çarjbek".
4. Komponent: "pes täzelik + transformasiýa ýalňyşlyklarynyň ösüşi".
5. Etik/RG: segmentde ýokary töwekgelçiligiň paýynyň ösüşi> X p.p. 10 minutda.
6. Maglumat/hil: shema drift, dolulygyň düýpgöter peselmegi, null/duplicates.
7. Gizlinlik/howpsuzlyk: Bloglarda PII, rugsatsyz detokenizasiýa.

5) Sesiň peselmegi (SNR)

Histerezis we dowamly bozulma (Y penjireden X).
Dinamiki bosagalar: esasy çyzyk + σ ýa-da süýşýän penjire boýunça kwantil.
Alertleriň semplenmegi: bir 'labels' -namor üçin N-den köp bolmadyk T minut.
Wakany toparlamak: oýunlar boýunça ýüzlerçe alertiň ýerine "oýun üpjün edijisiniň şowsuzlygy" üçin bir bilet.
Möwsümlilik: gije/prime we aksiýalar/ýaryşlar üçin aýratyn çäkler.
SLO-aňly düzgünler: düzgün bozma ulanyjynyň SLO-syna täsir eden ýagdaýynda diňe trigger.

6) Ileri tutulýan we eskalasiýa

P1: petikleýän pul/düzgünleşdiriji (tölegler, RG-düzgün bozmalar, uly göwrümli töleg).
P2: göze görnüp duran pese gaçma (latency/ýalňyşlyk/täzelik), KPI regress töwekgelçiligi.
P3: ünsi talap edýän hiliň ýaramazlaşmagy (DQ, modelleriň süýşmegi).

Eskalasiýa: domen eýesi → nobatçy SRE/DS → önüm dolandyryjysy → krizis merkezi.

7) Gizlinlik we gabat gelmek

Alertleriň töleginde Zero-PII: diňe tokenler/agregatlar/ýagdaýlara baglanyşyklar.
RG/AML usullary: aýratyn kanallar we giriş sanawlary, tekst redaction.
Düzgünleşdirijiler we post-mortemler üçin üýtgemeýän audit (WORM).
Geo/tenant-izolýasiýa: marka/ýurt boýunça marşrut; dürli açarlar/topikler.

8) SLO we alerting hiliniň metrikleri

MTTD (time to detect) и MTTA/MTTR (ack/recover).
Precision/Recall alerts (hakykat hadysalary boýunça).
"False Alarm Rate" we "Suppression Rate" (näçe ses kesildi).
Coverage: Alertleriň aşagyndaky möhüm ýollaryň% -i (payments, game_rounds, KYC, RG).
Drift Detection Latency: Drift faktyndan alerte çenli wagt.
On-call Load: alertler/çalşyk we "gijeki jaň sagatlary".

9) iGaming ýagdaýlary (düzgünleriň mysallary)

Tölegler/PSP: 'success _ rate _ deposits _ 5m <99. 5% 'I' psp = XYZ 'I' country in [EE, LT, LV] '→ P1, SOAR: marşruty üýtgetmek, retralary ýokarlandyrmak.
Oýun üpjün edijileri: 'game _ rounds _ per _ min drop> 40% vs baseline_28d' oýun klasterinde' provider = A '→ P1, üpjün edijä habar bermek, lobbi taýlaryny gizlemek.
RG: 'high _ risk _ share _ 10m ↑> 3 p.p.' v 'brand = B' → P2, ýumşak çäkleri goşmak, RG-topara habar bermek.
Frod: 'chargeback _ rate _ 60m> μ + 3 σ' I 'new _ device _ share ↑' → P1, antifrodyň berkidilmegini öz içine alýar.
Данные/DQ: `freshness_payments_gold > 15m` И `ingest_errors > 0. 5% '→ P2, hasabatlary doňduryň, status bannerini açyň.

10) Düzgünler şablonlary (DSL/YAML)

10. 1 Bosagasy + histeresis

yaml rule_id: psp_success_drop severity: P1 source: stream:payments. metrics_1m when:
metric: success_rate filter: {psp: ["XYZ"], country: ["EE","LT","LV"]}
window: {type: sliding, size: PT5M, slide: PT1M}
threshold:
op: lt value: 0. 995 sustain: {breaches_required: 3, within: PT5M}
actions:
- route: pagerduty:payments
- runbook: url://runbooks/payments_psp_drop
- soars: [{name: "switch_route", params: {psp_backup: "XYZ2"}}]
privacy: {pii_in_payload: false}

10. 2 Esasy çyzyga garşy anomaliýa

yaml rule_id: provider_volume_anomaly severity: P1 source: stream:games. rounds_1m baseline: {type: rolling_quantile, period: P28D, quantile: 0. 1}
anomaly:
op: lt_ratio value: 0. 6 # drop below 60% of baseline labels: {provider: "$ provider"}
suppress: {per: provider, max: 1, within: PT10M}
actions:
- route: slack:#games-ops
- feature_flag: {hide_provider_tiles: true}

10. 3 CEP bilen kompozit

yaml rule_id: kyc_deposit_chargeback severity: P2 pattern:
- event: kyc_result where: {status: "fail"}
- within: PT24H
- event: payment where: {type: "deposit"}
- within: PT14D
- event: chargeback actions:
- route: antifraud_queue
- create_case: {type: "investigation", ttl: P30D}

11) Integrasiýa we awtomatiki reaksiýalar

SOAR: PSP/endpoint geçiş, retraýlary köpeltmek, fiç baýdaklary işjeňleşdirmek, API-leriň wagtlaýyn pese gaçmagy.
Feature Flags: RG üçin "akyl ýelekleri", problemaly oýunlary/widgetleri öçürmek.
Status Page: Içerki/hyzmatdaş paneller üçin awtomatiki bannerler.
Ticketing: meýdanlary doldurmak "eýesi, domen, runbook, trace_id".

12) Amallar we prosesler

RACI: düzgünleriň eýeleri - domen buýruklary; platforma - hereketlendiriji, SLO, masştab.
Versioning: Git, 'MAJOR/MINOR/PATCH', canary-re.
Synaglar: akym simulýasiýalary, replays, belli hadysalar boýunça retrospektiv barlaglar.
Post-mortemalar: her P1/P2 - sapaklar, çäkleri/histerezisleri täzelemek, CEP-çäklendirmeleri goşmak.

13) Durmuşa geçirmegiň ýol kartasy

0-30 gün (MVP)

1. Möhüm ýollary gurşap almak: payments, game_rounds, ingest freshness.
2. Düzgünler, Git-ammar we eýeleriň katalogy üçin DSL/YAML açyň.
3. Gisterezisi we goşa basyşy öz içine alyň; Slack/PagerDuty kanallary.
4. 3 runbook 'a: "tölegler", "oýunlar", "DQ/freshness" başla.
5. Metrikler: MTTD/MTTR, El bellikleri boýunça Precision/Recall.

30-90 gün

1. Esasy anomal detektorlar (baseline/kwantili), CEP şablonlary.
2. SOAR-awtomatlaşdyryş (PSP, fiç baýdaklary, status sahypalaryny üýtgetmek).
3. SLO-aňly düzgünler we hadysalaryň toparlanmagy.
4. Düzgünleriň "regression" synaglary üçin hekaýalaryň sözleri.
5. Redaksiýa we giriş çäklendirmeleri bolan RG/AML kanallary.

3-6 aý

1. Anomaliýalaryň düzgünleri we modelleri üçin çempion-Challenger.
2. Effektler katalogy (haýsy töwekgelçilikler MTTR/ýitgileri azaltdy).
3. AIOps - gisterezisiň bosagalarynyň we awto-sazlamalarynyň maslahatlary.
4. Gol çekilen webhuklar bilen daşarky integrasiýa (oýun üpjün edijileri/PSP).
5. Çärýekleýin arassaçylyk-sessiýalar: "öli" düzgünleri aýyrmak, gaýtalanýanlary birleşdirmek.

14) Üstünlik metrikleri (mysal)

MTTD/MTTR: hadysalaryň görnüşleri boýunça mediana we p90.
Alert Precision/Recall: Maksat çäklerini ≥.
Noise ↓: − X% 4xx/" ýalan "P3; "Gijeki jaň sagady" ≤ U/hepde.
Coverage: Işjeň düzgünler bilen möhüm ýollaryň 95% -ini ≥.
SOAR effekti: el bilen gatyşmazdan ozal wagt tygşytlamak.
Iş täsiri: saklanylan goýumlar/tölegler, ýitirilen tapgyrlaryň azalmagy.

15) Anti-patternler

Esasy çyzyksyz we gisterezissiz "göz bilen" bosagasy.
SLO/iş töwekgelçiligine bagly bolmadyk alertler.
Alertleriň bedenlerinde PII, umumy kanallarda maglumatlar bilen skrinshotlar.
Suppression/grouping → "tupan" habarnamalarynyň ýoklugy.
Hiç hili söz ýok - düzgünler her pikde bozulýar.
Gykylyksyz we eýesiz "baky" düzgünler.

16) Baglanyşykly bölümler

DataOps-practices, API analitikleri we metrikleri, Audit we wersiýalylyk, Giriş gözegçiligi, Howpsuzlyk we şifrlemek, Saklamak syýasaty, MLOps: Modelleriň işleýşi, Jogapkär oýun, Antifrod/Tölegler.

Jemi

Akym alertleri - amalyň nerw maglumatlary ulgamy: olar meseleleriň kaskadyny wagtynda duruzmak üçin wakalary, konteksti we awtomatiki hereketleri birleşdirýär. Dogry arhitektura, çäkleriň arassaçylygy we gizlinlige hormat goýmak bilen, alertler MTTR-ni gysgaldýarlar, girdejini goraýarlar we oýunçylaryň we düzgünleşdirijileriň ynamyny saklaýarlar.