Аномалияларды аныктоо

Аномалияларды аныктоо (Anomaly Detection) - бул адаттан тыш байкоолорду, паттерндерди же "нормадан" четтеген жана мүчүлүштүктөрдү, алдамчылыкты, коопсуздук инциденттерин, маалыматтардын каталарын же сейрек кездешүүчү бизнес окуяларын билдире турган маалыматтарды аныктоо. Төмөндө - системалуу көз караш: милдеттерди формулировкалоодон тартып, иштөөгө жана алерталарды башкарууга чейин.

1) Аномалиялардын жана өндүрүштүн түрлөрү

Чекиттик (point anomalies): нормадан тышкары обочолонгон байкоолор (бир колдонуучу үчүн депозиттердин өсүшү).
Контексттик: контекстти эске алуу менен четтөөлөр (түнкүсүн жогорку жүк - болжол менен, күндүз - аномалия).
Жамааттык: адаттан тыш ырааттуулуктагы кадимки чекиттер тобу (майда транзакциялар сериясы).
Структуралык: режимин өзгөртүү/бөлүштүрүү (change-point; жаңы сезондук).
Маалыматтын сапатынын аномалиялары: өткөрмөлөр, дубликаттар, чаптамалар, убакыт белгилерин синхрондоштуруу, "жалпак" сенсорлор.

Окутуу режимдери:

Көзөмөл: белгиленген аномалиялар бар (сейрек, кымбат).
Жарым-көзөмөл (one-class): "норманы" үйрөтөбүз, калганынын баары аномалдуу.
Байкоого алынбаган: "сейрек/алыскы" белги жок издейбиз.

2) Маалыматтар жана даярдоо

Норманын чектери: горизонттор жана сезондук (саат/күн/жума), календардык окуялар, дем алыш күндөрү, акциялар.
Фич: лагдар, жылма статистикалар (mean/median/EMA), квантиль белгилери, категориядагы энкодингдер, сейрек кездешүүчү эсептегичтер, 7/30/90 терезелер боюнча агрегаттар.
Тазалоо: дедупликация, убакыт зоналарын оңдоо, жыштыкты теңдөө, пропуск хендлинг (interpolation/forward-fill/калыбына келтирүү моделдери).
Стандартташтыруу/тырышчаактык: RobustScaler/Grade/Winzorization эмиссияга туруктуулук үчүн.
Point-in-time тууралыгы: phich генерациялоодо келечектин агып жок.

3) аныктоо ыкмалары

3. 1. Статистика жана эрежелер

z-score/slot z (median, MAD), IQR/кутуча, ишенимдүү коридорлор менен экспоненциалдык тегиздөө.
Control Cards (Shewhart, CUSUM, EWMA): өндүрүштүк жараяндар жана агымы метр үчүн.
Квантиль босоголору (терезелер боюнча динамикалык), сезондук-квантиль босоголору.

3. 2. Аралыктар, тыгыздыгы, кластер

kNN distance, Local Outlier Factor (LOF) - жергиликтүү сейрек.
DBSCAN/HDBSCAN - кластерлерден тышкаркы ызы-чуу чекиттери.
PCA/Robust PCA - аномалиялар → жогорку калдык ката/SPE статистикасы; Hotelling’s T².

3. 3. Ансамблдер жана дарактар

Isolation Forest - кыска жолдор менен сейрек чекиттерди бөлүп турат.
негизги эрежелер боюнча Randomized Thresholding/Bagging - сатуу үчүн тез бейзлайндар.

3. 4. Реконструкция жана ыктымалдык

Autoencoder/VAE (анын ичинде LSTM/Transformer үчүн ырааттуулук): аномалия = жогорку калыбына келтирүү ката.
Probabilistic forecasting (quantiles): болжолдонгон аралыктан чыгуу - сигнал.
Байес моделдери/нормалдаштыруучу өзгөрүүлөр агымы - ачык белгисиздик.

3. 5. Убактылуу катарлар жана режимдерди өзгөртүү

ARIMA/ETS/Prophet/TBATS - прогноз + четтөө.
Change-point detection: BOCPD, RuLSIF/дивергенция критерийлери, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery - издөө "абдан айырмаланган ырааттуулук".

3. 6. Көп өлчөмдүү жана графикалык

Multivariate TS: VAR, TCN/TFT, LSTM-VAE; кросс-корреляциялар жана биргелешкен ишеним интервалдары.
Графалар: аномалдуу муундар/түйүндөр (мисалы, тармактык трафикте же төлөм чынжырларында).

4) ыкма тандоо: практикалык матрица

Сценарий	Маалыматтар	Сунуш
Азык метрика, телеметрия	Агым, сезондук	EWMA/CUSUM + квантиль коридорлору; Андан кийин экинчи катмар катары Isolation Forest
Фрод/транзакциялар	Дисбаланс тактасы	LOF/Isolation Forest катары бейзлайн → Autoencoder/VAE; домен эрежелерин кошуу
Сатуу/рынок	Күнүмдүк катар	Prophet/TBATS + Quantiles; өзгөрүүлөр үчүн change-point
Маалымат сапаты	Чийки чуңкурлар	Сапат эрежелери + статистика; схемалар/NULL/дубликаттары боюнча Алерт
Окуялардын агымы	Реал тайм	CUSUM/EWMA + Light One-Class моделдеринин онлайн версиялары; кечигүү боюнча чектөө

5) Сейрек кездешүүчү аномалиялар менен сапатын баалоо

Дисбаланс: ROC-AUC адаштырууга болот; PR-AUC, precision @k, recall @FPR ≤ x%, F1, Matthews CC багытталган.
Убакыт метрикасы: Average Time To Detect (ATTD), "эрте детекциялардын" үлүшү.
Туруктуулук: флаппингдин үлүшү (тез-тез күйгүзүү/өчүрүү), "тынч" мезгилдердин орточо узундугу.
Cost-based: чыгымдардын матрицасы (жалган оң/жалган терс), алдын алынган окуялардын баалуулугу.
Валидация: убактылуу сплиттер, out-of-time терезелер, топтук сплиттер (колдонуучулар/түзмөктөр боюнча), бэк-тесттер.

6) Босого стратегиялары жана калибрлөө

Статикалык босоголор: жөнөкөй, бирок сезондук учурда бузулат.
Динамикалык: per-segment/per-hour квантиль, жүктөмгө жана "тынч саатка" ылайыкташкан.
Жылма: 99. 5-чи/99. жогорку-precision үчүн 9; категориялары боюнча per-bucket болот.
эсептөө калибрлөө: ыктымалдыгы үчүн isotonic/temperature; Алерттерди тегиздөө (debounce, "N из M").
Гистерезис: аномалия абалына кирүү/чыгуу үчүн ар кандай босоголор.

7) Чечмелөө жана RCA (root cause analysis)

Глобалдуу: маанилүү fich (gain/permutation), PCA-жүктөмөлөр, сегменттердин профилдери, калыбына келтирүү ката компоненттеринин салымы.
Жергиликтүү: SHAP/LIME такта же көмөкчү моделдер боюнча.
Катар боюнча атрибуция: тренд/сезондук/регрессорлордун салымы (майрамдар, кампаниялар).
Детализация: "аномалдык сегмент → аномалдык көрүнүш → аномалдык объектилер".
Каузалдуулук: difference-in-differences/" чыныгы "аномалиядан маркетингдик эффектти бөлүү үчүн контрфакттар.

8) Production жана MLOps

Сервинг: синхрондуу (төмөн кечигүү, gRPC/REST) жана асинхрондук (батч/микробатч).
Fichestor: ырааттуулук онлайн/оффлайн, point-in-time, белгилерди жаратуу үчүн SLA.
Версиялоо: моделдер, босоголор, схемалар, конфиги; артефакттарды жана "пломбаларды" сактаңыз.
Alerting: артыкчылыктуу (P1-P3), дедупликация, терезе suppression (түн/майрам), нормалдаштыруу боюнча auto-жабуу.
Fail-safe: эрежелер/жөнөкөй детекторлор үчүн автоматтык деградация, убакыт, QPS чектөө.
Shadow/Canary: учурдагы менен жаңы детекторунун салыштыруу, offline- → shadow- → canary- → толук.
Feedback loop: Алерт белгилөө Interface, жарым-автоматтык релейблинг жана алдын ала окутуу.

9) alert-fatigue азайтуу

Bandling: убакыт/сегмент Алерта жакын бир окуя.
SLO Алерт боюнча: precision/Алерт саны күнүнө максат.
Escalation policy: узактыгы/масштабы менен артыкчылыкты жогорулатуу.
Rate Limiting: терезеден N ашык эмес; ишке киргенден кийин "тынч мезгил".
Эки баскычтуу схема: арзан орой Detector (жогорку кайра) + кымбат тактык текшерүү.

10) Киргизүү чек-тизмеси

Аномалиялардын түрлөрү жана алардын детекциясынын бизнес баалуулугу аныкталган
сезондук/календардык эске алынган; контексттик белгилер курулган
Тандалган ыкма: тез Бейзлайн + потенциалдуу татаал
Босого стратегиясы (динамикалык/per-сегмент) жана histeresis
Метрика: PR-AUC, ATTD, cost-metrics, сегменттер боюнча отчеттор
Чечмелөө планы жана RCA; дашборддор Drill-down
Alert саясат, suppression, deduplication
Логин скоринг, версиялар, кириш өзгөчөлүктөрү; бэк-тесттердин репликасы
Кайра иштетүү жана дрейф контролдоо (PSI/JS-div)
Документтер: маалымат келишимдери, SLO, Рунибуки

11) Типтүү үлгүлөр

"Прогноз + четтөө": ыктымалдуулукту болжолдоону (5-95% квантили), интервалдан чыкканда белгини үйрөтөбүз.
"Reconstruction": Autoencoder/Robust PCA → жогорку reconstruction error боюнча alert.
"Изолятор": Isolation Forest үчүн таблицалар/мультифич; тез, аз орнотуулар.
"Жергиликтүү сейрек": LOF/kNN-distance - ар кандай тыгыздыктагы сегменттер үчүн жакшы.
"Режимди өзгөртүү": BOCPD/PELT + себептерин тастыктоо (релиз, акция, окуя).
"Эки этап": rule-негизделген чыпкасы → ML текшерүү (жалган азайтуу).

12) детекторунун мониторинг

Сапаты: PR-AUC/precision @k/ATTD жылма терезеде, тастыкталган alerts үлүшү.
Маалыматтар: өткөрмөлөр, лагдар, адаттан тыш кардиналдуулук, окуялардын жарылуулары.
Дрейф: PSI/KL/JS ачкычы жана тез, максаттуу дрейф (белгилер бар болсо).
Операциялык: Infenerce кечигүү, QPS, бузулууга туруктуулук, бузулуулардын үлүшү.

13) белгилөө жана активдүү окутуу

Белгилөө стратегиялары: топ-к ылдамдыгы боюнча, кластерлердин ар түрдүүлүгү, "чек ара" учурларда.
Синтетика: стресс-тесттер үчүн аномалия (контролдук) сайынуу.
Active learning: Биз талаштуу окуялар үчүн аналитиктердин белгилерин сурайбыз.
Weak supervision: алсыз белгилер + этикеткалар агрегаторлор катары эрежелер/euristics.

14) Коопсуздук, этика, комплаенс

Купуялык: талааларды минималдаштыруу, псевдонимдештирүү, ролдорго жетүү.
Ачык-айкындуулук: Алертанын себептерин жана автоматташтыруу аракеттерин түшүндүрүү.
Аудит: чечимдердин журналы, босоголордун/версиялардын/маалыматтардын кайталануучулугу.
Адилеттүүлүк: сегменттер боюнча BIAS башкаруу (өзгөчө antifrod/эсеби үчүн).

Мини-глоссарий

Change-point: бөлүштүрүү/катар режимин өзгөртүү учуру.
PR-AUC: precision-recall ийри астындагы аянт, сейрек оң туруктуу.
PSI: Калктын туруктуулук индекси, бөлүштүрүү дрейфинин метрикасы.
Matrix Profile/Discord: жол табуу үчүн "абдан окшош эмес" субтексттик.

Жыйынтык

Аномалияларды аныктоонун эффективдүү контуру - бул бир гана "акылдуу" алгоритм эмес, бирок айкалышы: туура контекст (сезондук/календарь), эмгек белгилери, ойлонулган босого саясаты, RCA тарабынан чечмеленген, катаал операциялык (SLO/алерт саясаты) жана пикир аркылуу жакшыртуу цикли. Бул ыкма жалган тынчсызданууларды азайтат жана аномалиялардын реалдуу пайдасын жогорулатат - бузулууларды эрте аныктоодон жоготууларды алдын алууга чейин.

Аномалияларды аныктоо