Əməliyyatlarda anomaliyaların aşkarlanması

1) Niyə

Anomaliyalar hadisələrin və maliyyə itkilərinin erkən markerləridir. iGaming-də uğurlu avtorizasiyaların düşməsi, taymaut sıçrayışları, növbələrin artması, KYC dönüşümlərində uğursuzluqlar, bahis sapmalarının sıçrayışları, oyun provayderlərinin səhvləri var. Məqsəd istifadəçini əvvəlcədən aşkar etmək, səbəbini lokallaşdırmaq və avtomatik/operator reaksiyalarını başlamaqdır.

2) Siqnallar və müşahidə domenləri

Ödənişlər/maliyyə: PSP/banklar/GEO, soft/hard declines, klirinq vaxtı, chargeback-erkən göstəricilər üzrə icazələrin success-rate.
Oyun nüvəsi: p95/p99 bahislər və settles, error-rate, balans uyğunsuzluğu, əmsalları/xətt outliers.
Infrastruktur: latency/5xx API, saturation (CPU/RAM/IO), replication lag DB, consumer-lag növbələri, cache-hit/eviction.
KYC/AML: yoxlama növbələri, TAT (turnaround time), əl yoxlama payı.
Ön/RUM: TTFB/LCP, JS səhvləri, geo-spesifik deqradasiyalar.
Təhlükəsizlik/saxtakarlıq: girişlər/qeydlər/nəticələr, velocity-anomaliyalar, atipik nümunələr.

3) Anomaliyaların növləri

Nöqtə (point): birdəfəlik sıçrayış/uğursuzluq (məsələn, AB-də auth-success-in 20% azalması).
Kontekst (contextual): 'bu saat/gün/hadisə üçün anormal "(gecə pik - tamam, gündüz - yox).
Kollektiv (collective): hadisəni yaradan kiçik sapmalar ardıcıllığı (p99 sürünən böyümə).
Modun dəyişdirilməsi (change-point): seriyanın yeni səviyyəsi (buraxıldıqdan/konfiqurasiyadan/provayderdən sonra).

4) Aşkarlama üsulları (sadədən mürəkkəbə)

1. Eşik qaydaları: statik və ya dinamik (sürüşmə pəncərəsi, mediana ± k· MAD).
2. Mövsümi dekompozisiya (STL): trend/mövsümilik → balans analizi (residual) və IQR/MAD.
3. Nəzarət kartları (CUSUM/EWMA): orta/dispersiyanın kiçik sürüşmələrinə həssasdır.
4. Dəyişikliyin aşkarlanması (Change Point Detection): BOCPD, ruptures/PELT; rejim dəyişikliyi anlarını qeyd edirik.
5. Çoxölçülü anomaliyalar: Mahalanobis, Isolation Forest/LOF (latency, error-rate, lag, hit-ratio).
6. Stream metodları: ADWIN, SSD, sketch-statistika; low-latency və məhdud yaddaş.
7. Proqnoz + delta: ARIMA/ETS/Prophet/GBM → etibarlı interval ilə fakt müqayisə (xüsusilə iş sıraları üçün).
8. Yarı nəzarət olunan ML: «norma» (One-Class SVM/Autoencoder) üzrə təlim, az işarələnmə üçün faydalıdır.

Təcrübə: 2-3 metodu birləşdiririk və səsvermə ilə və ya prioritetə görə birləşdiririk (rule-of-thumb: mövsümi STL + CUSUM + proqnoz lenti).

5) Pipline anomaliyalar: məlumatlardan hərəkətə

1. Yığma → normallaşma: vahid sıralar (OTel/metriklər), vahid qranulyarlıq (10-60 san).
2. Fiçlər və kontekst: GEO/PSP/bank/kanal, "iş saatı? «, «matç/turnir? ", relizlər/fitness, planlı işlər.
3. Mövsümlük və təqvim: həftə sonu/prime-time/matçlar/bayramlar haqqında aware modelləri.
4. Detector: seçilmiş üsullar (eşik/statistika/ML/axın) per-seqment parametrləri ilə.
5. Səs-küyün yatırılması: histerezis və bir neçə pəncərənin təsdiqi (N-of-M), hadisə dedupu.
6. Məlumatlandırma və prioritetləşdirmə: impakt qiymətləndirilməsi (SLO, pul/min, auditoriyanın payı), P1-P4 mənimsəmə.
7. Reaksiya: avtomatik hərəkətlər (PSP feylover, fich deqradasiya, lag autoscaling), hadisə və var-rum yaradılması, status-səhifənin yenilənməsi.
8. Loging və audit: nə işlədi/niyə, həddi/model versiyaları, rabitə.

6) Eşik və keyfiyyət kalibrləmə

Precision/Recall/F1 üçün «anomaliya, hadisə».
Time-to-Detect (TTD): məqsəd - əvvəllər MTTA istifadəçilər/sapport.
False Alarm Rate: ≤ üçün hədəf P1/P2 5-10%.
Lead Time: detektor və SLO pozuntusu arasındakı pəncərə - avtomatik hərəkətlərə şans verir.
Drift monitorinq: cədvəl və mövsüm/memarlıq dəyişikliyi zamanı yenidən təlim/yenidən kalibrləmə.

7) Anomaliyalar kataloqu (iGaming-nümunələr)

7. 1 Ödənişlər

PSP-X-in TR/EU-da auth-success uğursuzluğu: kontekst - konkret BIN bankı, pəncərə 5-10 dəq.
Normal trafikdə soft-decline artımı: mümkün 3DS/issuer problem.
Klirinq gecikmələri: kassa boşluqları riski.
Reaksiyalar: alternativ PSP (health × fee × conversion) marşrutlaşdırma, jitter retrains, sadələşdirilmiş 3DS daxil, comm-paket tərəfdaşları.

7. 2 Bahislər/Oyunlar

p99 settla bahis atlama: replika/cache/növbə.
Gözlənilən GGR-nin normadan ayrılması: turnirlərdə/idman hadisələrində kontekstli anomaliyalar.
Reaksiyalar: cash-warmup, yükün yenidən bölüşdürülməsi, qeyri-critical phich hissəsinin saxlanması.

7. 3 Infra/məlumat

Replication lag ↑ və lock-waits: BD həddindən artıq yükləmə.
Consumer-lag download: partiyalar və ya isti açar səhv işarə.
Reaksiyalar: autoscaling, reproduksiya, producer 's limitləri.

7. 4 KYC/AML

Yoxlama vaxtı ↑: provayder deqradasiya edir.
Reaksiyalar: fallback provayder/manual növbə, Compliance bildiriş.

7. 5 Ön/RUM

xüsusi brauzer/versiyası LCP/JS səhvlər: Release reqress.
Reaksiyalar: rollback kanaryalar, feature-flag off, status səhifəsində mesaj.

8) SLO-aware alerting

Anomaliya siqnalı səhvlərin büdcəsinə təsir edərsə və ya tükənməsini proqnozlaşdırırsa (burn-rate) alert olur.
İki pəncərə: sürətli (1 saat) və yavaş (6-24 saat); «Dərhal çağrı cihazı» yalnız yüksək impakt ilə P1 üçün.
Hər hansı bir alert runbook və sahibinin rolu bağlıdır.

9) Həll arxitekturası

İncest: OTel/metrika → Kafka/axın → emal çərçivəsi (Flink/Spark/Kafka Streams).
Fiziki mühəndislik: aqreqatlar, mövsümi göstəricilər, PSP/banklar/GEO üzrə one-hot.
Detektorlar: versiya ilə statistika kitabxanaları + modellər (on-line/mini-batch).
Nəticələrin saxlanması: kontekstli «anoma xətti» (events), hadisə idarəçiliyi ilə əlaqə.
Qərar qəbul xidməti: prioritetləşdirmə, avto-reaksiyalar, status-səhifəyə/kanallara dərc.
Müşahidə: model keyfiyyət qrafikləri, drift haqqında narahatlıq, incest dəyəri.

10) Qiymət və məxfilik

Cost-aware: sampling giriş sıraları, downsampling tarixi, aqreqasiya; ayrı-ayrı QoS sinifləri.
PII: userId-i metriklərdə loqo etməyin; analiz üçün - tokenizasiya/maskalar və SoD ilə giriş; ixrac - TTL/şifrələmə ilə workflow vasitəsilə.

11) Proseslər və rollar

Responsible: SRE/Observability/Payments Risk domenlərində.
Accountable: Head of Ops/SRE.
Consulted: Data Science, Product, Compliance, Security.
Informed: Support, Partner Management, Finance.
Rituallar: eşik/qaydaların həftəlik kalibrlənməsi, yalan/buraxılmış siqnallar üzrə aylıq retro.

12) Daşbordlar

Exec: domen anomaliyalar xəritəsi, trendlər false/true alarms, TTD və lead time, gəlir təsiri/SLO.
Ops/SRE: kontekstli detektor lentləri (relizlər/bayraqlar/planlı işlər), STL qalıqlarının paylanması, change-points kartları.
Payments/Risk: PSP istilik kartları × bank × GEO, nasazlıq huniləri, avto-routinq və tədbirlər effekti.
Front/RUM: brauzer × GEO × versiyası, relizlərin reqressiyası, VIP təcrübəsi.

13) KPI/KRI funksiyaları

TTD (min) və Lead Time (min) SLO pozuntusuna qədər.
Precision/Recall/F1 bağlı olaraq.
False Alarm Rate və çağrı kvotası (on-call yorğunluq).
Əl müdaxiləsi olmadan problemi örtən avtomatik reaksiyaların payı.
tətbiq sonra MTTR azaldılması.
Dəyəri/dəyəri: qarşısı alınan itkilərdən $/alert və qənaət.

14) Yol xəritəsi (8-12 həftə)

Ned. 1-2: SLI/KPI inventarizasiyası, prioritet sıraların seçilməsi (ödənişlər/dərəcələr/növbələr/BD), baza həddi və STL.
Ned. 3-4: axın emalı (Kafka + Flink/Streams), kontekst (GEO/PSP/relizlər), histerezis və dedup.
Ned. 5-6: change-point + CUSUM, iş sıraları üçün proqnoz lentləri, hadisə platforması ilə əlaqə, runbooks.
Ned. 7-8: avtomatik reaksiyalar (PSP-feylover, deqradasiya fich, autoscaling lag), dashboard və keyfiyyət metrikası.
Ned. 9-10: Pilot domenlərdə multivariant modellər (Isolation Forest/IForest/AE), drift-monitorinq.
Ned. 11-12: dəyər optimallaşdırılması, A/B eşik kalibrləmə, aylıq review qaydaları və komanda təlimi.

15) Artefakt şablonları

Anomaly Spec: siqnal, seqmentasiya (GEO/PSP/bank), metod, eşiklər, pəncərələr, histerezis, sahibi, runbook, avtomatik reaksiyalar.
Change-Point Report: vaxt, komponent, səviyyədən əvvəl/sonra, korrelyasiya (relizlər/fichflags/iş).
Quality Dashboard Definition: keyfiyyət göstəriciləri, hədəf sərhədləri, reviziya müddəti.
Auto-Action Policy: avtomatik hərəkət şərtləri və limitləri, geri dönüş meyarları, audit.

16) Antipattern

Mövsümlük və seqmentasiya olmadan universal statik eşiklər.
Histerezis → flapping və «pager fatigue» olmaması.
SLO/pul kontekstindən kənar alertlər → çox səs-küy, az fayda.
«Qara qutu» ML heç bir izahat və jurnal.
Buraxılışlar/Ficheflags/Planlı işlərlə heç bir əlaqə yoxdur.
köməkçi sıralar üçün enjest/saxlama dəyəri ignor.

Yekun

Anomaliyaların aşkarlanması yalnız bir model deyil, proses və platformadır: düzgün siqnallar və kontekst → davamlı üsullar (STL/CUSUM/CPD/proqnoz) → səs-küyün yatırılması və SLO/gəlirin prioritetləşdirilməsi → avtomatik reaksiyalar və aydın runbooks → qapalı keyfiyyət və dəyər dövrü. Bu kontur istifadəçilərdən əvvəl problemləri tutur, MTTR-ni azaldır və iGaming platformasının iş axınlarını qoruyur.