Anomaliyalarni aniqlash

Anomaliyalarni aniqlash (Anomaly Detection) - bu «me’yordan» chetga chiqadigan va nosozliklar, firibgarlik, xavfsizlik hodisalari, ma’lumotlar xatolari yoki kamdan-kam biznes voqealari haqida signal berishi mumkin bo’lgan g’ayrioddiy kuzatuvlar, patternlar yoki ma’lumotlardagi o’zgarishlarni aniqlashdir. Quyida - tizimli qarash: vazifalarni shakllantirishdan tortib, foydalanishgacha va alertlarni boshqarishgacha.

1) Anomaliyalar va qo’yilmalar turlari

Nuqtaviy (point anomalies): normadan tashqari yakka tartibdagi kuzatuvlar (bir foydalanuvchi bo’yicha depozitlarning ko’payishi).
Kontekstual: kontekstni hisobga olgan holda og’ishlar (tunda yuqori yuk - taxminan, kunduzi - anomaliya).
Kollektiv: g’ayrioddiy ketma-ketlikdagi oddiy nuqtalar guruhi (kichik tranzaksiyalar seriyasi).
Tarkibiy: rejim/taqsimotni oʻzgartirish (change-point; yangi mavsumiylik).
Ma’lumotlar sifatining anomaliyalari: o’tkazib yuborishlar, dublikatlar, yopishtirishlar, vaqt belgilarining rassinxronizatsiyasi, «yassi» sensorlar.

O’qitish rejimlari:

Nazorat: aniqlangan anomaliyalar mavjud (kamdan-kam hollarda, qimmat).
Yarim nazorat (one-class): «norma» ni o’rgatamiz, qolganlari g’ayritabiiy.
Nazorat qilinmaydigan: «kamdan-kam uchraydigan» belgilarsiz qidirish.

2) Ma’lumotlar va tayyorgarlik

Norma chegaralari: gorizontlar va mavsumiylik (soat/kun/hafta), kalendar voqealar, dam olish kunlari, aksiyalar.
Fichlar: laglar, sirpanuvchi statistika (mean/median/EMA), kvantil belgilari, toifali enkodinglar, kamyob hisoblagichlar, 7/30/90 oynalar bo’yicha agregatlar.
Tozalash: dekuplikatsiya, vaqtinchalik zonalarni tuzatish, chastotani tekislash, ruxsatnomalarni xendling qilish (interpolatsiya/forward-fill/tiklash modellari).
Standartlashtirish/ehtiyotkorlik: RobustScaler/darajalar/chiqindilarga chidamlilik uchun vinzorizatsiya.
Point-in-time toʻgʻriligi: fich hosil boʻlganda kelajak oqimisiz.

3) Aniqlash usullari

3. 1. Statistika va qoidalar

z-score/robast z (median, MAD), IQR/box-sal, ishonchli yo’laklar bilan eksponensial tekislash.
Nazorat kartalari (Shewhart, CUSUM, EWMA): ishlab chiqarish jarayonlari va oqim metriklari uchun.
Kvantil chegara (oynalar bo’yicha dinamik), mavsumiy-kvantil chegara.

3. 2. Masofalar, zichligi, klaster

kNN distance, Local Outlier Factor (LOF) - mahalliy kamdan-kam.
DBSCAN/HDBSCAN - klaster tashqarisidagi shovqin nuqtalari.
PCA/Robust PCA - anomaliyalar → yuqori qoldiq xato/SPE statistikasi; Hotelling’s T².

3. 3. Ansambllar va daraxtlar

Isolation Forest - noyob nuqtalarni qisqa yo’llar bilan ajratadi.
Randomized Thresholding/Bagging - sotish uchun tezkor beyzlaynlar.

3. 4. Rekonstruksiya va ehtimoliy

Autoencoder/VAE (shu jumladan ketma-ketliklar uchun LSTM/Transformer): anomaliya = yuqori rekonstruksiya xatosi.
Probabilistic forecasting (kvantil prognozlar): bashorat qilingan oraliqlardan chiqish - signal.
Bayes modellari/normal o’zgarishlar oqimi - aniq noaniqlik.

3. 5. Vaqtinchalik qatorlar va rejimlar o’zgarishi

ARIMA/ETS/Prophet/TBATS - prognoz + chetga chiqish.
Change-point detection: BOCPD, RuLSIF/divergensiya mezonlari, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - «eng boshqacha ketma-ketliklarni» qidirish.

3. 6. Ko’p o’lchamli va grafik

Multivariate TS: VAR, TCN/TFT, LSTM-VAE; kross-korrelyatsiyalar va birgalikdagi ishonch oraliqlari.
Grafalar: g’ayritabiiy shoxobchalar/uzellar (masalan, tarmoq trafigida yoki to’lov zanjirlarida).

4) Usulni tanlash: amaliy matrisa

Skript	Maʼlumotlar	Tavsiya
Mahsulot metrikasi, telemetriya	Oqim, mavsumiylik	EWMA/CUSUM + kvantil yo’laklari; keyin Isolation Forest ikkinchi qatlam sifatida
Frod/tranzaksiyalar	Nomutanosiblik tabletkasi	LOF/Isolation Forest beisline sifatida → Autoencoder/VAE; domen qoidalarini qoʻshing
Sotish/bozor	Kundalik qatorlar	Prophet/TBATS + kvantil oraliqlari; change-point
Maʼlumot sifati	Xom loglar	Sifat qoidalari + statistika; sxemalarga alertlar/NULL/dublikatlar
Hodisa oqimlari	Real Time	CUSUM/EWMA + yengil one-class modellarining onlayn versiyalari; kechiktirish bo’yicha cheklov

5) Kam uchraydigan anomaliyalarda sifatni baholash

Nomutanosiblik: ROC-AUC chalg’itishi mumkin; PR-AUC, precision @k, recall @FPR ≤ x%, F1, Matthews CC.
Vaqtinchalik metrika: Average Time To Detect (ATTD), «erta deteksiyalar» ulushi.
Barqarorlik: flapping ulushi (alertni tez-tez yoqish/o’chirish), «sokin» davrlarning o’rtacha uzunligi.
Cost-based: xarajatlar matritsasi (noto’g’ri ijobiy/noto’g’ri salbiy), oldini olingan hodisalarning qiymati.
Validatsiya: vaqtinchalik splitlar, out-of-time derazalari, guruh splitlari (foydalanuvchilar/qurilmalar bo’yicha), bek-testlar.

6) Chegaraviy strategiyalar va kalibrlash

Statik chegaralar: oddiy, ammo mavsumiylikda buziladi.
Dinamik: per-segment/per-hour kvantil, yuklamalarga va «sokin soatlarga» moslashadi.
Tezlik bo’yicha percentil: 99. 5-chi/99. high-precision uchun 9-o’rin; Siz per-bucket ni toifalar boʻyicha qilishingiz mumkin.
Skoringni kalibrlash: ehtimollar uchun isotonic/temperature; alertlarni tekislash (debounce, «N iz M»).
Gisterezis: anomaliya holatiga kirish/chiqishning turli chegaralari.

7) Talqinlanuvchanlik va RCA (root cause analysis)

Global miqyosda: fich (gain/permutation), PCA yuklamalari, segmentlar profillari, rekonstruksiya xatosiga komponentlarning hissasi.
Lokal: SHAP/LIME shortlarda yoki yordamchi modellarda.
Qator bo’yicha atributlar: trend/mavsumiylik/regressorlar hissasi (bayramlar, kampaniyalar).
Tafsilotlar: «anomal segment → anomal fich → anomal obyektlar».
Kauzallik: difference-in-differences/kontrfaktlar marketing effektini «haqiqiy» anomaliyadan ajratish uchun.

8) Prodakshen i MLOps

Serving: sinxron (past kechikish, gRPC/REST) va asinxron (batch/mikrobatch).
Fichestor: belgilar hosil qilish uchun onlayn/oflayn, point-in-time, SLA muvofiqligi.
Versionlash: modellar, ostonalar, sxemalar, konfigilar; artefaktlar va ma’lumotlar qoliplarini saqlang.
Alerting: ustuvorlik (P1-P3), deduplikatsiya, suppression oyna (kecha/bayramlar), normallashganda avto yopish.
Fail-safe: qoidalar/oddiy detektorlarga avtomatik degradatsiya, taymautlar, cheklangan QPS.
Shadow/Canary: yangi detektorni joriy detektor bilan solishtirish, offline- → shadow- → canary- → full.
Feedback loop: alert belgilash interfeysi, yarim avtomatik releybling va dotrenirovka.

9) Alert-fatigue pasayishi

Bandling: vaqt/segment bo’yicha yaqinlaringizni bitta hodisaga guruhlang.
SLO alertlarga: bir smenada precision/alertlar soni bo’yicha maqsad.
Escalation policy: muddat/masshtab boʻyicha ustuvorlikni oshirish.
Rate limiting: har bir oyna uchun ko’pi bilan N alert; ishga tushirilgandan keyingi «sokin davr».
Ikki darajali sxema: arzon qo’pol detektor (yuqori recall) + qimmatbaho aniq verifikator.

10) Joriy etish chek-varaqasi

Anomaliyalarning turlari va ularning detektsiyasining biznes qiymati aniqlandi
Mavsumiylik/taqvim hisobga olingan; kontekst belgilar qurilgan
Tanlangan usul: tezkor bazline + potentsial murakkabroq
Chegara strategiyasi (dinamik/per-segment) va gisterezis
Metriklar: PR-AUC, ATTD, cost-metrics, segmentlar bo’yicha hisobotlar
Talqin qilish rejasi va RCA; Drill-down dashbordlari
Alert siyosati, suppression, deduplikatsiya
Skoring, versiya, kirish fichlarini loglash; bek-testlar repleyi
Retraining tartib-taomillari va dreyfni nazorat qilish (PSI/JS-div)
Hujjatlar: ma’lumotlar kontraktlari, SLO, Runibuki

11) Namunaviy patternlar

«Prognoz + og’ish»: ehtimollik prognozini o’rgatamiz (kvantililar 5-95%), oraliqdan chiqishda signal.
«Rekonstruktor»: Autoencoder/Robust PCA → yuqori reconstruction error bo’yicha alert.
«Izolyator»: Isolation Forest uchun jadval/multifich; tez, kam sozlash.
«Mahalliy kamyob»: LOF/kNN-distance - turli zichlikdagi segmentlar uchun yaxshi.
«Rejim o’zgarishi»: BOCPD/PELT + sabablarni validatsiya qilish (reliz, aksiya, hodisa).
«Ikki bosqichli»: rule-based filter → ML-verifikator (yolg’onlarni kamaytirish).

12) Detektor monitoringi

Sifati: PR-AUC/precision @k/ATTD sirpanadigan oynada, tasdiqlangan alertlar ulushi.
Ma’lumotlar: o’tkazib yuborishlar, laglar, g’ayrioddiy kardinallik, voqealar portlashlari.
Drift: PSI/KL/JS, agar belgilar boʻlsa, maqsadli drift.
Operatsiya: infensa kechikishi, QPS, ishdan chiqish chidamliligi, tanazzullar ulushi.

13) Belgilash va faol o’qitish

Belgilash strategiyalari: skor bo’yicha top-k, klaster bo’yicha xilma-xillik, «chegara» keyslari.
Sintetika: stress-testlar uchun anomaliya (nazorat qilinadigan) in’ektsiyalari.
Active learning: munozarali hodisalar uchun tahlilchilardan belgi so’raymiz.
Weak supervision: qoidalar/evristiklar zaif belgilar + yorliqlar agregatorlari sifatida.

14) Xavfsizlik, axloq, komplayens

Maxfiylik: maydonlarni minimallashtirish, taxalluslashtirish, rollarga kirish.
Shaffoflik: alert sabablari va avtomatlashtirish harakatlarining tushunarliligi.
Audit: yechimlar jurnali, chegaralar/versiyalar/ma’lumotlarning takrorlanuvchanligi.
Adolat: segmentlar bo’yicha bias nazorati (ayniqsa antifrod/skoring uchun).

Mini-lugʻat

Change-point: Taqsimot/rejim oʻzgarishi.
PR-AUC: precision-recall egri chizig’i ostidagi maydon kamdan-kam ijobiy bo’lganda barqaror.
PSI: aholi barqarorligi indeksi, taqsimot dreyfining metrikasi.
Matrix Profile/Discord: «eng boshqacha» ketma-ketlikni topish usuli.

Jami

Anomaliyalarni aniqlashning samarali konturi - bu bitta «aqlli» algoritm emas, balki to’g’ri kontekst (mavsumiylik/taqvim), sinchkovlik belgilari, o’ylangan chegara siyosati, RCA talqin qilinadigan, qattiq operatsiya (SLO/alert siyosati) va qayta aloqa orqali yaxshilanishlar tsikli. Bunday yondashuv noto’g’ri tashvishlarni kamaytiradi va anomaliyalarning haqiqiy foydasini oshiradi - nosozliklarni erta aniqlashdan tortib yo’qotishlarning oldini olishgacha.

Anomaliyalarni aniqlash