Кашфи аномалия

Аномалия Муайянкунии мушоҳидаҳо, намунаҳо ё тағиротҳои ғайриоддӣ дар маълумоте мебошад, ки аз "меъёр" дур мешаванд ва метавонанд хатогиҳо, қаллобӣ, ҳодисаҳои амниятӣ, хатогиҳои маълумот ё рӯйдодҳои нодирро нишон диҳанд. Дар зер назари систематикӣ оварда шудааст: аз таҳияи вазифаҳо то амалиёт ва идоракунии огоҳиҳо.

1) Намудҳои аномалия ва изҳорот

Аномалияҳои нуқта: мушоҳидаҳои ягона берун аз меъёр (афзоиши амонатҳо барои як корбар).
Контекстуалӣ: тамоюлҳои ҳассос ба контекст (сарбории баланд дар шаб - хуб, дар давоми рӯз - аномалия).
Коллектив: гурӯҳи нуқтаҳои оддӣ бо пайдарпаии ғайриоддӣ (силсилаи амалиётҳои хурд).
Сохторӣ: нуқтаи тағирот; мавсими нав).
Аномалияҳои сифати маълумот: нуқсонҳо, нусхаҳо, ширешҳо, номувофиқатии мӯҳрҳои вақт, санҷандаҳои "ҳамвор".

Усулҳои таълим:

Назорат: аномалияҳои намоён мавҷуданд (нодир, гарон).
Назорати нимтайёр (як синф): мо "меъёр" -ро таълим медиҳем, ҳама чизи дигар ғайримуқаррарӣ аст.
Назорат нест: мо бе барчасбҳо "нодир/дур" меҷӯем.

2) Маълумот ва тайёрӣ

Маҳдудиятҳои муқаррарӣ: уфуқҳо ва мавсимӣ (соат/рӯз/ҳафта), чорабиниҳои тақвимӣ, рӯзҳои истироҳат, аксияҳо.
Хусусиятҳо: ақибмонӣ, омори лағжиш (миёна/медианӣ/EMA), хусусиятҳои миқдорӣ, рамзгузории категорияҳо, ҳисобкунакҳои нодир, агрегатҳои тиреза 7/30/90.
Тозакунӣ: такрорӣ, ислоҳи минтақаи вақт, баробарии басомад, коркарди гузариш (моделҳои интерполятсия/форвард-пур/барқарорсозӣ).
Стандартизатсия/мустаҳкамӣ: RobusT Scaler/рутбаҳо/винзоризатсия барои муқовимат ба партобҳо.
Дурустии нуқта дар вақт: ҳангоми тавлиди хусусиятҳо ҳеҷ гуна ихроҷи оянда вуҷуд надорад.

3) Усулҳои муайянкунӣ

3. 1. Омор ва қоидаҳо

z-хол/мустаҳкам z (медиан, MAD), қитъаи IQR/қуттӣ, ҳамворкунии экспоненсиалӣ бо долонҳои эътимод.
Кортҳои назоратӣ (Shewhart, CUSUM, EWMA): барои равандҳои истеҳсолӣ ва ченакҳои ҷараён.
Ҳадди квантӣ (аз ҷониби тирезаҳо динамикӣ), ҳадди мавсимии миқдорӣ.

3. 2. Масофа, зичӣ, кластерҳо

масофаи KNN, Local Outlier Factor (LOF) камёфт дар маҳал мебошад.
DBSCAN/HDBSCAN - нуқтаҳои ғавғо берун аз кластерҳо.
PCA/PCA-и мустаҳкам - аномалияҳо → хатои боқимонда/омори SPE; Hotelling 's T ².

3. 3. Ансамблҳо ва дарахтҳо

Ҷангали изолятсия - нуқтаҳои нодирро бо роҳҳои кӯтоҳ ҷудо мекунад.
Ҳадди тасодуфӣ/Бағоҷ ба қоидаҳои асосӣ - базаҳои зуд барои хӯрок.

3. 4. Бозсозӣ ва эҳтимолият

Autoencoder/VAE (аз ҷумла LSTM/Трансформатор барои пайдарпаӣ): аномалия = хатои баланди барқарорсозӣ.
Пешгӯии эҳтимолӣ: гузаштан аз фосилаҳои пешбинишуда - сигнал.
Моделҳои Байесян/ҷараёнҳои тағирёбии мӯътадил - номуайянии возеҳ.

3. 5. Силсилаи вақт ва тағйироти режим

ARIMA/ETS/Паёмбар/TBATS - дурнамо + дуршавӣ.
Муайянкунии нуқтаи тағирот: Меъёрҳои BOCPD, RULSIF/Divergence, Вақти дақиқи хаттӣ (PELT).
Профили матритса/кашфи Discord - ҷустуҷӯи "пайдарпайии фарқкунанда".

3. 6. Бисёрҷанба ва график

TS бисёрҷониба: VAR, TCN/TFT, LSTM-VAE; робитаҳои байнисоҳавӣ ва фосилаҳои муштараки эътимод.
Сутунҳо: зергурӯҳҳо/гиреҳҳои ғайримуқаррарӣ (масалан, дар трафики шабака ё занҷирҳои пардохт).

4) Интихоби усул: матритсаи амалӣ

Сенария	Маълумот	Тавсия
Нишондиҳандаҳои фурӯш, телеметрия	Ҷараён, мавсимӣ	Коридорҳои EWMA/CUSUM + квантӣ; сипас ҷангали изолятсия ҳамчун қабати дуюм
Қаллобӣ/муомилот	Табақи номутавозунӣ	LOF/Ҷангали изолятсия ҳамчун як пойгоҳи § Autoencoder/VAE; қоидаҳои домейнро илова кунед
Фурӯш/Бозор	Сатрҳои ҳаррӯза	Фосилаҳои паёмбар/TBATS + квантӣ; нуқтаи тағирёбанда барои tweaks
Сифати маълумот	Гузоришҳои хом	Қоидаҳои сифат + омор; огоҳӣ ба схемаҳо/NULL/такрорӣ
Ҷараёни ҳодиса	Вақти воқеӣ	Версияҳои онлайни CUSUM/EWMA + моделҳои сабуки як синф; таъхири маҳдудият

5) Арзёбии сифат барои аномалияҳои нодир

Номутавозунӣ: ROC-AUC метавонад гумроҳкунанда бошад; тамаркуз ба PR-AUC, дақиқ @ k, ба хотир оред @ FPR ≤ x%, F1, Matthews CC.
Метрикаи вақт: Вақти миёнаи муайян кардани (ATTD), таносуби "кашфи барвақт".
Устуворӣ: фоизи парпеч (зуд-зуд ҳушдор дода мешавад), дарозии миёнаи давраҳои "ором".
Аз рӯи хароҷот: матритсаи хароҷот (манфии бардурӯғ/бардурӯғ), арзиши ҳодисаҳои пешгирӣ.
Санҷиш: тақсимоти вақт, тирезаҳои вақт, тақсимоти гурӯҳ (аз ҷониби корбар/дастгоҳ), санҷишҳои бозгашт.

6) Стратегияҳо ва калибрченкунӣ

Ҳадди статикӣ: Оддӣ, аммо ҳангоми мавсим шикастан.
Динамикӣ: квантии як сегмент/дар як соат, ба борҳо ва соатҳои ором мутобиқ шавед.
Фоизҳо бо суръат: 99. 5/99. 9-ум барои дақиқии баланд; як сатилро аз рӯи категория иҷро кардан мумкин аст.
Калибрченкунии баҳодиҳӣ: изотоникӣ/ҳарорат барои эҳтимолият; ҳамворкунии ҳушдор (debounce, "N of M").
Гистерезис: ҳудудҳои гуногун барои ворид шудан/баромадан ба ҳолати аномалия.

7) Тафсир ва RCA (таҳлили сабабҳои решавӣ)

Глобалӣ: фоида/пермутатсия, сарбории PCA, профилҳои сегмент, саҳми ҷузъ дар хатои барқарорсозӣ.
Маҳаллӣ: SHAP/LIME дар пандусҳо ё моделҳои ёрирасон.
Атрибутсияи силсила: саҳми тренд/мавсимӣ/регрессорҳо (идҳо, маъракаҳо).
Муфассал: "сегменти ғайримуқаррарӣ → хусусияти ғайримуқаррарӣ → объектҳои ғайримуқаррарӣ".
Сабабҳо: фарқият-фарқиятҳо/контракты барои идораи таъсири маркетингии аномалияи "ҳақиқӣ".

8) Истеҳсолот ва MLOps

Хизматрасонӣ: синхронӣ (таъхири кам, GRPC/REST) ва асинхронӣ (партия/микробатч).
Fichestor: пайдарҳамии онлайн/офлайнӣ, нуқтаи вақт, SLA барои тавлиди хусусиятҳо.
Версия: моделҳо, ҳудудҳо, схемаҳо, конфигуратсияҳо; артефактҳо ва маълумотро "каст" нигоҳ доред.
Огоҳӣ: афзалият (P1-P3), такрорӣ, фурӯзон кардани тирезаҳо (шабона/идҳо), пӯшидани худкор ҳангоми муқаррарӣ.
Ноустуворӣ: таназзули худкор ба қоидаҳо/детекторҳои оддӣ, таъхирҳо, маҳдудияти QPS.
Соя/Канария: муқоисаи детектори нав бо детектори ҷорӣ, offline- → соя - → канарӣ - → пурра.
Давраи бозгашт: интерфейси аломатгузории ҳушдор, эстафетаи нимавтоматӣ ва омӯзиш.

9) Паст кардани ҳушёрӣ

Бастабандӣ: Гурӯҳ дар як ҳодиса вақт/сегментро огоҳ мекунад.
SLO оид ба огоҳиҳо: ҳадаф барои дақиқ/шумораи огоҳиҳо дар як баст.
Сиёсати афзоиш: афзоиши афзалият дар давомнокӣ/миқёс.
Меъёри маҳдудият: на бештар аз огоҳиҳои N дар як тиреза; "давраи ором" пас аз триггер.
Схемаи дукарата: детектори coarse арзон (хотираи баланд) + санҷиши дақиқи гарон.

10) Рӯйхати санҷиши амалисозӣ

Намудҳои аномалия ва арзиши тиҷорати муайянкунии онҳо муайян карда шуданд
Мавсим/тақвим ба назар гирифта шудааст; Хусусиятҳои контекст сохта шудаанд
Базаи зуд + усули эҳтимолан мураккабтар интихоб карда шуд
Стратегияи ҳадди ниҳоӣ (динамикӣ/ҳар як сегмент) ва гистерезис
Нишондиҳандаҳо: PR-AUC, ATTD, арзиш-ченакҳо, ҳисоботҳои сегмент
Нақшаи тафсир ва RCA; панели панели пармакунӣ
Сиёсати ҳушдор, фишор, такрорӣ
Баҳодиҳии вуруд, версия, хусусиятҳои вуруд; такрори санҷишҳои бозгашт
Тартиби бозомӯзӣ ва назорати дрифт (PSI/JS-div)
Ҳуҷҷатгузорӣ: Шартномаҳои маълумот, SLO, Runibooks

11) Намунаҳои маъмулӣ

"Дурнамо + дуршавӣ": мо пешгӯии эҳтимолиро таълим медиҳем (миқдорҳои 5-95%), сигнал ҳангоми гузаштан аз фосила.
"Реконструктор": Autoencoder/Robust PCA → ҳушдор барои хатои баланди барқарорсозӣ.
"Изолятсия": Ҷангали изолятсия барои ҷадвал/бисёрҷониба; зуд, танзимоти кам.
"Камёфтҳои маҳаллӣ": масофаи LOF/k: NN - барои сегментҳо бо зичии гуногун хуб аст.
"Тағйироти низом": BOCPD/PELT + боиси тасдиқи (озодкунӣ, пешбарӣ, ҳодиса) мегардад.
"Ду марҳила": филтр дар асоси қоида → ML-санҷанда (коҳиши бардурӯғ).

12) Мониторинги детектор

Сифат: PR-AUC/precision @ k/ATTD дар равзанаи слайд, ҳиссаи огоҳиҳои тасдиқшуда.
Маълумот: нуқсонҳо, ақибмонӣ, кардиналии ғайриоддӣ, таркиши рӯйдодҳо.
Дрифт: PSI/KL/JS аз рӯи хусусиятҳои асосӣ ва суръат, кашиши ҳадаф (агар ишора шуда бошад).
Системаи амалиётӣ: таъхир дар хулоса, QPS, таҳаммулпазирии гуноҳ, ҳиссаи таназзул.

13) Нишондиҳӣ ва омӯзиши фаъол

Стратегияҳои аломатгузорӣ: боло-к бо суръат, гуногунии кластерҳо, ҳолатҳои "сарҳад".
Синтетика: тазриқи аномалия (назоратшаванда) барои санҷишҳои стресс.
Омӯзиши фаъол: мо аз таҳлилгарон барои ҳодисаҳои баҳснок тамғакоғазҳо мепурсем.
Назорати заиф: қоидаҳо/эвристика ҳамчун тамғакоғазҳои заиф + агрегаторҳои тамғакоғазҳо.

14) Бехатарӣ, ахлоқ, риояи

Махфият: кам кардани майдонҳо, псевдонимизатсия, дастрасии нақш.
Шаффофият: фаҳмондани сабабҳои ҳушдор ва амалҳои автоматизатсия.
Аудит: сабти қарор, таҷдиди ҳудудҳо/версияҳо/додаҳо.
Адолат: назорати ғаразнок аз рӯи сегмент (алахусус барои қаллобӣ/баҳодиҳӣ).

Луғати хурд

Нуқтаи тағирот: лаҳзаи тақсимоти/режими силсила.
PR-AUC: майдон дар зери хати дақиқ-ёдраскунӣ, устувор дар мусбат.
PSI: индекси устувории аҳолӣ, метрикаи тақсимот.
Профили матритса/ихтилоф: Роҳи пайдо кардани пайдарпаии "аз ҳама фарқкунанда".

Ҷамъ

Давраи муассири муайянкунии аномалия ин як алгоритми "интеллектуалӣ" нест, балки омезиш: контексти дуруст (мавсимӣ/тақвимӣ), хусусиятҳои мустаҳкам, сиёсати ҳадди ақалл андешидашуда аз ҷониби RCA, системаи қатъии амалиётӣ (SLO/ҳушдор) сиёсатҳо) ва давраи такмилдиҳӣ тавассути фикру мулоҳизаҳо. Ин равиш ҳушдорҳои бардурӯғро коҳиш медиҳад ва манфиатҳои воқеии аномалияҳоро зиёд мекунад - аз ташхиси барвақти нокомӣ то пешгирии талафот.

Кашфи аномалия