Anomaliýalary tapmak

Anomaliýalary ýüze çykarmak (Anomaly Detection) "kadadan" sowulýan we şowsuzlyklar, galplyklar, howpsuzlyk hadysalary, maglumatlaryň ýalňyşlyklary ýa-da seýrek iş wakalary barada signal berip biljek üýtgeşik gözegçilikleri, nusgalary ýa-da maglumatlary üýtgetmeleri ýüze çykarmakdyr. Aşakda - ulgamlaýyn görnüş: wezipeleriň düzülmeginden başlap, işlemäge we alertleri dolandyrmaga çenli.

1) Anomaliýalaryň we sahnanyň görnüşleri

Nokat (point anomalies): kadadan daşary ýeke-täk gözegçilikler (bir ulanyjy boýunça goýumlaryň köpelmegi).
Kontekst: konteksti göz öňünde tutup gyşarmalar (gijelerine ýokary ýük - takmynan, gündizine - anomaliýa).
Köpçülikleýin: adaty nokatlar topary adaty bolmadyk yzygiderlilikde (ownuk amallar seriýasy).
Gurluş: re modeimi/paýlanyşy üýtgetmek (change-point; täze möwsümlilik).
Maglumatlaryň hiliniň anomaliýalary: geçişler, dublikatlar, ýelmeler, wagt bellikleriniň sinhronizasiýasy, "tekiz" datçikler.

Okuw usullary:

Gözegçilik: kesgitlenen anomaliýalar bar (seýrek, gymmat).
Halfarym gözegçilik (one-class): "kadany" öwredýäris, galanlary adaty däl.
Gözegçiliksiz: belliksiz "seýrek/uzak" gözleýäris.

2) Maglumatlar we taýýarlyk

Kadanyň çäkleri: gözýetimler we möwsümlilik (sagat/gün/hepde), senenama wakalary, dynç günleri, aksiýalar.
Fiçler: laglar, süýşýän statistika (mean/median/EMA), kwantil alamatlar, kategoriýalaryň enkodingleri, seýrek duş gelýän hasaplaýjylar, 7/30/90 penjireler boýunça agregatlar.
Arassalamak: duplikasiýa, wagt zolaklaryny düzetmek, ýygylygy deňleşdirmek, geçişleri kesmek (interpolýasiýa/forward-fill/dikeldiş modelleri).
Standartlaşdyrmak/berklik: RobustScaler/derejeleri/zyňyndylara çydamlylyk üçin winzorizasiýa.
Nokat-in-time dogrulygy: döredilende gelejek syzmaz.

3) Tapmagyň usullary

3. 1. Statistika we düzgünler

z-score/robastny z (median, MAD), IQR/box-sal, ynam koridorlary bilen eksponensial tekizlemek.
Gözegçilik kartlary (Shewhart, CUSUM, EWMA): önümçilik prosesleri we akym metrikleri üçin.
Kwantil bosagalary (penjireler boýunça dinamiki), möwsümleýin-kwantil bosagalary.

3. 2. Aralyk, dykyzlyk, klaster

kNN distance, Local Outlier Factor (LOF) - ýerli seýrek.
DBSCAN/HDBSCAN - klasterleriň daşyndaky ses nokatlary.
PCA/Robust PCA - anomaliýalar → ýokary galyndy ýalňyşlyk/SPE statistikasy; Hotelling’s T².

3. 3. Ansambllar we agaçlar

Izolation Forest - seýrek nokatlary gysga ýollar bilen izolirleýär.
Randomized Thresholding/Bagging esasy düzgünlere esaslanýar - satuw üçin çalt bazaýlinler.

3. 4. Täzeden gurmak we ähtimallyk

Awtoencoder/VAE (şol sanda yzygiderlilik üçin LSTM/Transformer): anomaliýa = ýokary rekonstruksiýa ýalňyşlygy.
Probabilistic forecasting (kwantil çaklamalar): çak edilýän aralykdan çykmak - signal.
Baýesow modelleri/kadaly üýtgemeleriň akymlary - aç-açan näbellilik.

3. 5. Wagt hatarlary we re modeimleriň üýtgemegi

ARIMA/ETS/Prophet/TBATS - çaklama + gyşarma.
Change-point detection: BOCPD, RuLSIF/divergensiýa ölçegleri, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - "iň üýtgeşik yzygiderlilikleri" gözlemek.

3. 6. Köp ölçegli we grafik

Multivariate TS: VAR, TCN/TFT, LSTM-VAE; kross-korrelýasiýa we bilelikdäki ynam aralyklary.
Grafalar: anomal çatryklar/düwünler (mysal üçin, tor trafikinde ýa-da töleg zynjyrlarynda).

4) Usuly saýlamak: amaly matrisa

Script	Maglumat	Maslahat
Önümçilik metrikleri, telemetriýa	Akym, möwsümlilik	EWMA/CUSUM + kwantil koridorlary; Soňra ikinji gatlak hökmünde Isolation Forest
Frod/Amallar	Deňagramsyzlyk nyşany	LOF/Isolation Forest beisline hökmünde → Autoencoder/VAE; domen düzgünlerini goşuň
Satuw/Bazar	Gündelik hatarlar	Prophet/TBATS + kwantil aralyklary; change-point
Maglumatlaryň hili	Çig loglar	Hil düzgünleri + statistika; shemalara alertler/NULL/dublikatlar
Waka akymlary	Real-time	CUSUM/EWMA + ýeňil one-class modelleriniň onlaýn wersiýalary; gijikdirme çäklendirmesi

5) Seýrek anomaliýalarda hiline baha bermek

Deňsizlik: ROC-AUC aldap biler; PR-AUC, precision @k, recall @FPR ≤ x%, F1, Matthews CC.
Wagt metrikasy: Average Time To Detect (ATTD), "irki deteksiýalaryň" paýy.
Durnuklylyk: flappingiň paýy (alertiň ýygy-ýygydan açylmagy/öçürilmegi), "asuda" döwürleriň ortaça uzynlygy.
Cost-based: çykdajylaryň matrisi (ýalan oňyn/ýalan negatiw), öňüni alnan hadysalaryň gymmaty.
Tassyklama: wagtlaýyn bölünişikler, out-of-time penjireleri, toparlaýyn bölünişikler (ulanyjylar/enjamlar boýunça), goşmaça synaglar.

6) Çäk strategiýalary we kalibrlemek

Statiki çäkler: ýönekeý, ýöne möwsümleýin bolanda döwülýär.
Dinamiki: per-segment/per-hour kwantil, ýüklere we "asuda sagatlara" uýgunlaşýar.
Çalt percentil: 99. 5-nji/99. 9-njy ýokary precision üçin; kategoriýalara görä per-bucket edip bolýar.
Skoring kalibrlemek: ähtimallyklar üçin isotonic/temperature; alertleri tekizlemek (debounce, "M-den N").
Gisterezis: anomaliýa ýagdaýyna girmek/çykmak üçin dürli bosagalar.

7) Düşündirilebilirlik we RCA (root cause analysis)

Global taýdan: fich (gain/permutation), PCA ýükleri, segmentleriň profilleri, rekonstruksiýa ýalňyşlygyna komponentleriň goşandy.
Lokal: Skoplarda ýa-da kömekçi modellerde SHAP/LIME.
Hatarlar boýunça atributiýa: tendensiýanyň/möwsümliligiň/regressorlaryň goşandy (baýramçylyklar, kampaniýalar).
Jikme-jiklik: "anomal segment → anomal surat → anomal obýektler".
Kauzallyk: "hakyky" anomaliýadan marketing täsirini aýyrmak üçin difference-in-differences/kontrfaktlar.

8) Önümçilik we MLOps

Hyzmat etmek: sinhron (pes gijikdirme, gRPC/REST) we asinhron (batch/mikrobatch).
Fichestor: alamatlaryň döremegi üçin onlaýn/oflayn, nokat-in-time, SLA sazlaşygy.
Wersiýalaşdyrmak: modeller, bosagalar, shemalar, konfigiler; artefaktlary we maglumatlaryň "şekillerini" saklaň.
Alerting: ileri tutulýan (P1-P3), de-duplikasiýa, suppression penjireleri (gije/dynç alyş), kadalaşanda awto-ýapylmagy.
"Fail-safe": düzgünlere/ýönekeý detektorlara awtomatiki pese gaçmak, wagtlar, QPS çäklendirmesi.
Shadow/Canary: täze detektory häzirki bilen deňeşdirmek, offline- → shadow- → canary- → full.
Feedback loop: alertleri bellemek interfeýsi, ýarym awtomatiki releýbling we protransing.

9) Alert-fatigue peselmegi

Bandling: Wagtyň/segmentiň ýakynlaryny bir hadysada toparlanyň.
Alertlere SLO: precision/her smenada alertleriň sany boýunça maksat.
Escalation policy: dowamlylygy/ululygy boýunça ileri tutulýan ugur.
Rate limiting: penjire üçin N-den köp bolmaly däl; işe girizilenden soň "asuda döwür".
Iki derejeli shema: arzan gaty detektor (ýokary gaýtadan) + gymmat bahaly takyk barlaýjy.

10) Girizmegiň çek-sanawy

Anomaliýalaryň görnüşleri we olaryň jikme-jiklikleriniň iş gymmaty kesgitlenildi
Möwsümlilik/senenama hasaba alyndy; kontekst alamatlary guruldy
Saýlanan usul: çalt bazline + has çylşyrymly
Çäk strategiýasy (dinamiki/per-segment) we histerezis
Metrikler: PR-AUC, ATTD, cost-metrics, segmentler boýunça hasabatlar
Düşündiriş meýilnamasy we RCA; Drill-down dashbordlary
Alert-syýasatlar, suppression, de-duplikasiýa
Skoring, wersiýalary, giriş şekilleri; arka synaglaryň sesi
Yza süýşürmek we süýşmek amallary (PSI/JS-div)
Resminamalar: maglumat şertnamalary, SLO, Runibuki

11) Nusga nusgalary

"Çaklama + gyşarma": ähtimallyk çaklamasyny (kwantiller 5-95%), aralykdan çykanda signal öwredýäris.
"Reenaktor": Autoencoder/Robust PCA → alert by high reconstruction error.
"Izolýator": Tablisalar/multifiçler üçin Izolation Forest; çalt, sazlamalar az.
"Lokal seýrek": LOF/kNN-distance - dürli dykyzlykdaky segmentler üçin amatly.
"Re modeimi üýtgetmek": BOCPD/PELT + sebäpleri tassyklamak (goýbermek, hereket etmek, waka).
"Iki basgançakly": rule-based süzgüç → ML-barlaýjy (ýalan süzgüçleri azaltmak).

12) Detektoryň gözegçiligi

Hil: PR-AUC/precision @k/ATTD süýşýän penjirede, tassyklanan alertleriň paýy.
Maglumatlar: geçişler, laglar, üýtgeşik kardinallyk, wakalaryň partlamalary.
Drift: PSI/KL/JS açary we tizligi boýunça, maksatly drift (bellikler bar bolsa).
Operasiýa: infensiýanyň gijikdirilmegi, QPS, şowsuzlyga çydamlylyk, pese gaçmagyň paýy.

13) Bellik etmek we işjeň öwrenmek

Bellik strategiýalary: top-k tizligi, toparlaryň dürlüligi, "serhet" ýagdaýlary.
Sintetika: stres synaglary üçin anomaliýalaryň (gözegçilik edilýän) sanjymlary.
Active learning: jedelli wakalar üçin analitiklerden bellikleri soraýarys.
Weak supervision: gowşak bellikler + bellik agregatorlary hökmünde düzgünler/ewristika.

14) Howpsuzlyk, ahlak, laýyklyk

Gizlinlik: meýdanlary minimallaşdyrmak, lakamlaşdyrmak, rollara girmek.
Aç-açanlyk: alertiň sebäpleriniň we awtomatlaşdyryş hereketleriniň düşündirilmegi.
Audit: çözgütleriň journalurnaly, çäkleriň/wersiýalaryň/maglumatlaryň gaýtalanmagy.
Adalat: bias segmentlere gözegçilik etmek (esasanam antifrod/skoring üçin).

Kiçi sözlük

Change-point: Aralyk/aralyk tertibini üýtgetmek.
PR-AUC: precision-recall egrisiniň aşagyndaky meýdança, seýrek oňyn ýagdaýlarda durnukly.
PSI: ilatyň durnuklylyk indeksi, paýlanyşyň süýşmeginiň metrikasy.
Matrix Profile/Discord: "has üýtgeşik" yzygiderliligi tapmagyň usuly.

Jemi

Anomaliýalary ýüze çykarmagyň täsirli kontury bir "akylly" algoritm däl-de, birleşme: dogry kontekst (möwsümlilik/senenama), iş alamatlary, RCA tarapyndan düşündirilýän oýlanyşykly çäk syýasaty, gaty operasiýa (SLO/alert syýasaty) we seslenme arkaly gowulaşmalar sikli. Bu çemeleşme ýalan aladalary azaldýar we anomaliýalardan hakyky peýdalary ýokarlandyrýar - şowsuzlyklary irki ýüze çykarmakdan başlap, ýitgileriň öňüni almaga çenli.

Anomaliýalary tapmak