Anomaliyaların aşkarlanması

Anomaliyaların aşkarlanması (Anomaly Detection) «normadan» kənara çıxan və uğursuzluqlar, fırıldaqlar, təhlükəsizlik hadisələri, məlumat səhvləri və ya nadir biznes hadisələri barədə siqnal verə bilən qeyri-adi müşahidələrin, nümunələrin və ya məlumatlarda dəyişikliklərin aşkar edilməsidir. Aşağıda - sistemli baxış: tapşırıqların formalaşdırılmasından tutmuş istismar və alertlərin idarə edilməsinə qədər.

1) Anomaliyalar və istehsal növləri

Nöqtə (point anomalies): normadan kənar tək müşahidələr (bir istifadəçi üçün depozitlərin artması).
Kontekstual: konteksti nəzərə alaraq sapmalar (gecə yüksək yük - tamam, gündüz - anomaliya).
Kollektiv: qeyri-adi ardıcıllıqla adi nöqtələr qrupu (kiçik əməliyyatlar seriyası).
Struktur: rejim/paylama dəyişikliyi (change-point; yeni mövsümlük).
Data keyfiyyətinin anomaliyaları: boşluqlar, dublikatlar, yapışdırıcılar, zaman işarələrinin sinxronizasiyası, «düz» sensorlar.

Təlim rejimləri:

Nəzarət: müəyyən anomaliyalar var (nadir hallarda, bahalı).
Yarı-nəzarət (one-class): «norma» öyrədirik, qalan hər şey anomaldır.
Nəzarətsiz: etiketsiz «nadir/uzaq» axtarırıq.

2) Məlumat və hazırlıq

Norma sərhədləri: üfüqlər və mövsümlük (saat/gün/həftə), təqvim hadisələri, həftə sonları, aksiyalar.
Fiçlər: lag, sürüşmə statistikası (mean/median/EMA), kvantil əlamətləri, kateqoriyalı enkodinqlər, nadir sayğaclar, 7/30/90 pəncərələri üzrə aqreqatlar.
Təmizləmə: deduplikasiya, vaxt zonalarının düzəldilməsi, tezlik bərabərləşdirilməsi, keçidlərin handling (interpolation/forward-fill/bərpa modelləri).
Standartlaşdırma/sərtlik: RobustScaler/emissiya müqavimət üçün grade/winzorization.
Point-in-time düzgünlük: phich generation gələcəyin sızması olmadan.

3) Aşkarlama üsulları

3. 1. Statistika və qaydalar

z-score/drobast z (median, MAD), IQR/box sal, etibarlı dəhlizlər ilə eksponensial hamarlama.
Nəzarət kartları (Shewhart, CUSUM, EWMA): istehsal prosesləri və axın metrləri üçün.
Kvantil astanaları (pəncərələr üzrə dinamik), mövsümi-kvantil astanaları.

3. 2. Məsafələr, sıxlıq, klaster

kNN distance, Local Outlier Factor (LOF) - yerli nadir.
DBSCAN/HDBSCAN - sinif xaricində səs-küy nöqtələri.
PCA/Robust PCA - anomaliyalar → yüksək qalıq səhv/SPE statistikası; Hotelling’s T².

3. 3. Ansambllar və ağaclar

Isolation Forest - nadir nöqtələri qısa yollarla təcrid edir.
Randomized Thresholding/Bagging - satış üçün sürətli beyzlaynlar.

3. 4. Yenidənqurma və ehtimal

Autoencoder/VAE (ardıcıllıqlar üçün LSTM/Transformer daxil olmaqla): anomaliya = yüksək yenidənqurma səhvi.
Probabilistic forecasting (kvantil proqnozları): proqnozlaşdırılan intervallardan çıxış - siqnal.
Bayes modelləri/normallaşdırıcı transformasiyalar axını - açıq qeyri-müəyyənlik.

3. 5. Zaman sıraları və rejim dəyişikliyi

ARIMA/ETS/Prophet/TBATS - proqnoz + sapma.
Change-point detection: BOCPD, RuLSIF/divergensiya meyarları, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - «ən fərqli alt ardıcıllıqların» axtarışı.

3. 6. Çoxölçülü və qrafik

Multivariate TS: VAR, TCN/TFT, LSTM-VAE; cross-korrelyasiya və birgə etimad intervalları.
Qraflar: anormal alt/qovşaqlar (məsələn, şəbəkə trafikində və ya ödəniş zəncirlərində).

4) Metod seçimi: praktik matris

Ssenari	Məlumatlar	Tövsiyə
Məhsulun metrikası, telemetriya	Axın, mövsümilik	EWMA/CUSUM + kvantil dəhlizləri; sonra ikinci qat kimi Isolation Forest
Frod/əməliyyatlar	Balanssızlıq lövhəsi	LOF/Isolation Forest kimi bazline → Autoencoder/VAE; domen qaydaları əlavə edin
Satış/Bazar	Gündəlik sıralar	Prophet/TBATS + kvantil intervalları; change-point sürüşmə üçün
Məlumat keyfiyyəti	Xam loglar	Keyfiyyət qaydaları + statistika; sxemlər/NULL/dublikatlar
Hadisə axını	Real vaxt	CUSUM/EWMA + yüngül one-class modellərinin onlayn versiyaları; gecikmə məhdudiyyəti

5) Nadir anomaliyalarda keyfiyyətin qiymətləndirilməsi

Balanssızlıq: ROC-AUC yanıltıcı ola bilər; PR-AUC, precision @k, recall @FPR ≤ x%, F1, Matthews CC.
Zaman metrikası: Average Time To Detect (ATTD), «erkən deteksiya» payı.
Sabitlik: flapping payı (tez-tez açma/alert söndürmə), «sakit» dövrlərin orta uzunluğu.
Cost-based: xərclər matrisi (yanlış müsbət/yanlış mənfi), qarşısı alınan hadisələrin dəyəri.
Validasiya: müvəqqəti split, out-of-time pəncərələr, qrup split (istifadəçilər/cihazlar üzrə), back testlər.

6) Eşik strategiyaları və kalibrləmə

Statik eşiklər: sadə, lakin mövsümi olaraq qırılır.
Dinamik: per-segment/per-hour kvantil, yüklərə və «sakit saatlara» uyğunlaşır.
Pertsentil: 99. 5-ci/99. high-precision üçün 9; kateqoriyalar üzrə per-bucket edə bilərsiniz.
Skorinq kalibrlənməsi: ehtimallar üçün isotonic/temperature; alertlərin hamarlanması (debounce, «M-dən N»).
Histerezis: anomaliya vəziyyətindən giriş/çıxış üçün müxtəlif astanalar.

7) Interpretasiya və RCA (root cause analysis)

Qlobal: phich (gain/permutation) əhəmiyyəti, PCA yükləri, seqment profilləri, yenidənqurma səhvinə komponentlərin töhfəsi.
Yerli: SHAP/LIME və ya köməkçi modellərdə.
Sıra atributları: trend/mövsümlük/reqressorların töhfəsi (bayramlar, kampaniyalar).
Detal: «anormal seqment → anormal ficha → anormal obyektlər».
Kauzallıq: marketinq təsirini «həqiqi» anomaliyadan ayırmaq üçün difference-in-differences/kontrfaktlar.

8) Production və MLOps

Xidmət: sinxron (aşağı gecikmə, gRPC/REST) və asinxron (batch/mikrobatch).
Fichestor: xüsusiyyətlərin yaradılması üçün online/offline, point-in-time, SLA uyğunluğu.
Version: modellər, eşiklər, sxemlər, konfiqlər; artefaktları və məlumatların «qalıblarını» saxlayın.
Alertinq: prioritetləşdirmə (P1-P3), deuplikasiya, pəncərə suppression (gecə/bayram), normallaşma zamanı avtomatik bağlanış.
Fail-safe: qaydalara/sadə detektorlara avtomatik deqradasiya, vaxtlar, QPS məhdudiyyəti.
Shadow/Canary: cari ilə yeni detektor müqayisə, offline- → shadow- → canary- → full.
Feedback loop: alert işarələmə interfeysi, yarı avtomatik releybling və protransing.

9) Alert-fatigue azaldılması

Bandling: Vaxt/seqment alertləri bir hadisədə qruplaşdırın.
Alertlər üçün SLO: precision/növbədə alertlərin sayına görə hədəf.
Escalation policy: uzunluq/miqyasda prioritet artım.
Rate limiting: pəncərə başına N-dən çox olmayan; «sakit dövr» işlədikdən sonra.
İki səviyyəli sxem: ucuz kobud detektor (yüksək geri) + bahalı dəqiq yoxlayıcı.

10) Giriş çek siyahısı

Onların deteksiya anomaliyalar və biznes dəyəri növləri müəyyən
Mövsümlük/təqvim nəzərə alınır; kontekst əlamətləri qurulmuşdur
Seçilmiş üsul: sürətli basline + potensial daha mürəkkəb
Hədd strategiyası (dinamik/per-seqment) və histerezis
Metriklər: PR-AUC, ATTD, cost-metrics, seqmentlər üzrə hesabatlar
Şərh planı və RCA; Drill-down daşbordları
Alert siyasəti, suppression, deduplication
Log scoring, versiyalar, giriş xüsusiyyətləri; geri test replay
Retraininq prosedurları və sürüklənmə nəzarəti (PSI/JS-div)
Sənədləşmə: məlumat müqavilələri, SLO, Runibuki

11) Model nümunələri

«Proqnoz + sapma»: ehtimal proqnozu (kvantil 5-95%), aralıqdan çıxarkən siqnal öyrədilir.
«Reenaktor»: Autoencoder/Robust PCA → yüksək reconstruction error.
«İzolyator»: Tablo/multific üçün Isolation Forest; tez, az parametrləri.
«Lokal nadir»: LOF/kNN-distance - müxtəlif sıxlıqlı seqmentlər üçün yaxşıdır.
«Rejim dəyişikliyi»: BOCPD/PELT + səbəblərin təsdiqi (buraxılış, aksiya, hadisə).
«İki mərhələli»: rule-based filter → ML-yoxlayıcı (saxta azaldılması).

12) Detektor monitorinqi

Keyfiyyət: PR-AUC/precision @k/ATTD sürüşmə pəncərəsində, təsdiqlənmiş alertlərin payı.
Məlumatlar: boşluqlar, lağlar, qeyri-adi kardinallıq, hadisələrin baş verməsi.
Drift: PSI/KL/JS açar fich və speed, hədəf drift (işarələri varsa).
Əməliyyat: infense gecikməsi, QPS, arıza müqaviməti, deqradasiya nisbəti.

13) Nişanlama və aktiv təlim

Nişan strategiyaları: top-k sürüşmə, klaster müxtəlifliyi, «sərhəd» halları.
Sintetika: stress testləri üçün anomaliyaların inyeksiyaları (nəzarət olunur).
Active learning: mübahisəli hadisələr üçün analitiklərdən etiketləri soruşuruq.
Weak supervision: zəif etiketlər + etiket aqreqatorları kimi qaydalar/evristika.

14) Təhlükəsizlik, etika, uyğunluq

Gizlilik: sahələrin minimuma endirilməsi, təxəllüsləşmə, rollara çıxış.
Şəffaflıq: alert səbəblərinin və avtomatlaşdırma hərəkətlərinin açıqlanması.
Audit: Həll jurnalı, eşik/versiya/məlumat təkrarlanabilirliyi.
Ədalət: seqmentlər üzrə bias nəzarət (xüsusilə antifrod/skor).

Mini sözlük

Change-point: sıra paylanması/rejimi dəyişən an.
PR-AUC: precision-recall əyrisinin altındakı sahə nadir müsbət olduqda sabitdir.
PSI: əhalinin sabitlik indeksi, sürüklənmə paylanma metrikası.
Matrix Profile/Discord: «ən fərqli» alt ardıcıllığı tapmaq üçün bir yol.

Yekun

Anomaliyaların aşkarlanmasının effektiv konturu bir «ağıllı» alqoritm deyil, bir birləşmədir: düzgün kontekst (mövsümlük/təqvim), yaramaz əlamətlər, düşünülmüş hədd siyasəti, RCA tərəfindən şərh edilən sərt əməliyyat (SLO/alert siyasəti) və rəy vasitəsilə təkmilləşdirmələr dövrü. Bu yanaşma yanlış narahatlıqları azaldır və anomaliyaların real faydalarını artırır - nasazlıqların erkən aşkarlanmasından itkilərin qarşısını almağa qədər.

Anomaliyaların aşkarlanması