Detectarea anomaliilor

Anomaly Detection este identificarea observațiilor, tiparelor sau modificărilor neobișnuite ale datelor care se abat de la „normă” și pot semnala eșecuri, fraude, incidente de securitate, erori de date sau evenimente de afaceri rare. Mai jos este o viziune sistematică: de la formularea sarcinilor la funcționarea și gestionarea alertelor.

1) Tipuri de anomalii și declarații

Anomalii punctuale: observații unice în afara normei (o creștere a depozitelor pentru un utilizator).
Contextual: abateri sensibile la context (sarcină mare pe timp de noapte - ok, în timpul zilei - anomalie).
Colectiv: un grup de puncte obișnuite într-o secvență neobișnuită (o serie de tranzacții mici).
Structural: punct de schimbare; noua sezonalitate).
Anomalii ale calității datelor: omisiuni, duplicate, lipici, alinierea greșită a ștampilelor de timp, senzori „plați”.

Moduri de instruire:

Supraveghere: există anomalii marcate (rare, scumpe).
Semi-supraveghere (o clasă): predăm „norma”, orice altceva este anormal.
Non-supraveghere: căutăm „rare/îndepărtate” fără etichete.

2) Date și pregătire

Limite normale: orizonturi si sezonalitate (ora/zi/saptamana), evenimente calendaristice, weekenduri, promotii.
Caracteristici: lag-uri, statistici glisante (medie/mediană/EMA), caracteristici de cantitate, codificări de categorie, contoare de raritate, agregate de ferestre 7/30/90.
Curățare: eliminarea duplicatelor, corecția fusului orar, egalizarea frecvenței, manipularea săriturilor (modele de interpolare/umplere/recuperare înainte).
Standardizare/robustețe: RobustScaler/ranks/vinzorization pentru rezistența la emisii.
Corectitudinea punctuală: nu există scurgeri viitoare atunci când se generează caracteristici.

3) Metode de detectare

3. 1. Statistici și reguli

scor z/z robust (mediană, MAD), teren IQR/cutie, netezire exponențială cu coridoare de încredere.
Carduri de control (Shewhart, CUSUM, EWMA): pentru procesele de producție și metrica de debit.
Praguri de cantitate (dinamice prin ferestre), praguri de cantitate sezonieră.

3. 2. Distanțe, densități, grupuri

kNN distanță, Local Outlier Factor (LOF) este o raritate locală.
DBSCAN/HDBSCAN - puncte de zgomot în afara clusterelor.
APC/APC robust - anomalii → erori reziduale ridicate/statistici SPE; Hotelling este T ².

3. 3. Ansambluri și copaci

Izolarea Pădure - izolează puncte rare în moduri scurte.
Thresholding randomizat/Bagging pe reguli de bază - linii de bază rapide pentru alimente.

3. 4. Reconstrucție și probabilistică

Autoencoder/VAE (inclusiv LSTM/Transformer pentru secvențe): anomalie = eroare de reconstrucție ridicată.
Prognoză probabilistică: depășirea intervalelor prezise - semnal.
Modele bayesiene/fluxuri de transformări normalizante - incertitudine explicită.

3. 5. Serii de timp și modificări ale modului

ARIMA/ETS/Profet/TBATS - prognoza + abatere.
Detectarea punctelor de schimbare: criteriile BOCPD, RuLSIF/Divergence, timpul liniar exact tăiat (PELT).
Matrix Profile/Discord Discovery - caută „cele mai diferite neclarități”.

3. 6. Multidimensional și grafic

Multivariat TS: VAR, TCN/TFT, LSTM-VAE; corelații încrucișate și intervale de încredere comune.
Coloane: sub-căi/noduri anormale (de exemplu, în traficul de rețea sau în lanțurile de plăți).

4) Selecția metodei: matrice practică

Scenariu	Date	Recomandare
Măsurători de vânzări, telemetrie	Flux, sezonalitate	Coridoare cantitative EWMA/CUSUM +; apoi Izolation Forest ca al doilea strat
Fraudă/tranzacții	Placă de dezechilibru	LOF/Izolation Forest ca linie de referință → Autoencoder/VAE; adăugați reguli de domeniu
Vânzări/Piață	Rânduri zilnice	Profet/TBATS + intervale cantitate; schimbarea punctului pentru trucuri
Calitatea datelor	Bușteni bruți	Reguli de calitate + statistici; alerte la scheme/NULL/duplicate
Fluxurile de evenimente	Timp real	Versiuni online ale modelelor CUSUM/EWMA + ușoare cu o singură clasă; limită de întârziere

5) Evaluarea calității pentru anomalii rare

Dezechilibru: ASC-ROC poate induce în eroare; se concentreze pe PR-ASC, precizie @ k, recall@FPR≤x%, F1, Matthews CC.
Metrica timpului: Timpul mediu de detectat (ATTD), proporția de „detectări timpurii”.
Stabilitate: procent de clapare (alertă frecventă de pornire/oprire), durata medie a perioadelor „liniștite”.
Bazat pe costuri: matrice de costuri (fals pozitiv/fals negativ), valoarea incidentelor evitate.
Validare: split-uri de timp, ferestre out-of-time, split-uri de grup (după utilizator/dispozitiv), teste spate.

6) Strategii de prag și calibrare

Praguri statice: Simplu, dar rupe atunci când sezonier.
Dinamic: pe segment/pe oră cantitate, se adaptează la sarcini și ore liniștite.
Percentila după viteză: 99. 5/99. 9 pentru înaltă precizie; se poate face pe găleată pe categorii.
Scoring calibrare: izotonic/temperatura pentru probabilități; alert netezire (debunce, „N de M”).
Histerezis: praguri diferite pentru intrarea/ieșirea din starea de anomalie.

7) Interpretabilitate și RCA (analiza cauzei rădăcinii)

Global: câștig/permutare, sarcini PCA, profile de segment, contribuția componentelor la eroarea de reconstrucție.
Local: SHAP/LIME pe rampe sau pe modele auxiliare.
Atribuirea seriei: contribuția trendului/sezonalității/regresorilor (sărbători, campanii).
Detaliu: „segment anormal → caracteristică anormală → obiecte anormale”.
Cauzalitate: diferență în differences/контрфакты pentru exercitarea efectului de marketing al anomaliei „adevărate”.

8) Producția și MLOps

Servire: sincron (latenţă scăzută, gRPC/REST) şi asincron (lot/microbatch).
Fichestor: consistență online/offline, punct-in-time, SLA pentru generarea de caracteristici.
Versioning: modele, praguri, scheme, configurații; stoca artefacte și date „turnuri”.
Alertă: prioritizare (P1-P3), deduplicare, suprimarea ferestrelor (noapte/sărbători), auto-închidere în timpul normalizării.
Fail-safe: degradare automată la reguli/detectoare simple, timeout-uri, limitare QPS.
Umbra/Canar: compararea noului detector cu cel actual, offline- →shadow - →canary - →full.
Bucla de feedback: interfață de marcare de alertă, releare semi-automată și instruire.

9) Reducerea stării de alertă-oboseală

Grupare: Alerte de grup se închid în timp/segment într-un singur incident.
SLO pe alerte: țintă pentru precizie/numărul de alerte pe schimbare.
Politica de escaladare: creșterea priorității la durată/scară.
Limitarea ratei: nu mai mult de N alerte pe fereastră; „Perioadă de linişte” după declanşare.
Sistem cu două niveluri: detector grosier ieftin (rechemare ridicată) + verificator de precizie scump.

10) Lista de verificare a implementării

Tipuri de anomalii și valoarea de afaceri a detectării lor identificate
Sezonalitate/calendar luate în considerare; Caracteristici de context construite
Linie de bază rapidă + metodă potențial mai complexă selectată
Strategie de prag (dinamică/pe segment) și histerezis
Metrics: PR-ASC, ATTD, cost-metrics, segment reports
Planul de interpretare și RCA; Tablouri de bord Drill-down
Politici de alertă, suprimare, eliminare a duplicatelor
Logging scoring, versiune, caracteristici de intrare; încercări de reluare înapoi
Proceduri de recalificare și control în derivă (PSI/JS-div)
Documentație: Contracte de date, SLO-uri, Runibooks

11) Modele tipice

„Deviație + prognoză”: antrenăm prognoza probabilistică (cantități 5-95%), semnalul când depășim intervalul.
„Reconstructor”: Autoencoder/Robust PCA → alertă pentru eroare mare de reconstrucție.
„Izolator”: Izolation Forest pentru tabulari/multifici; rapid, câteva setări.
„Raritate locală”: LOF/kNN-distanță - bun pentru segmente cu densități diferite.
„Schimbarea regimului”: validarea cauzei BOCPD/PELT + (eliberare, promovare, incident).
„Două etape”: filtru bazat pe reguli → verificator ML (reducere falsă).

12) Monitorizarea detectorului

Calitate: PR-ASC/precision @ k/ATTD în fereastră glisantă, cota de alerte confirmate.
Date: omisiuni, decalaje, cardinalitate neobișnuită, explozii de evenimente.
Drift: PSI/KL/JS după caracteristici cheie și viteză, derivă țintă (dacă este marcată).
Sistem de operare: întârziere în deducție, QPS, toleranță la erori, cota de degradare.

13) Marcarea și formarea activă

Strategii de marcare: top-k în viteză, varietate în clustere, cazuri de „frontieră”.
Sintetice: injecții cu anomalie (controlate) pentru testele de stres.
Învățarea activă: cerem analiștilor etichete pentru incidente controversate.
Supraveghere slabă: reguli/euristici ca etichete slabe + agregatoare de etichete.

14) Siguranță, etică, conformitate

Confidențialitate: minimizarea câmpurilor, pseudonimizare, acces la rol.
Transparență: explicabilitatea cauzelor de alertă și a acțiunilor de automatizare.
Audit: jurnalul decizional, reproductibilitatea pragurilor/versiunilor/datelor.
Corectitudine: controlul părtinirii pe segmente (în special pentru antifraudă/scoring).

Mini Glosar

Schimbarea punctului: momentul schimbării distribuției/modului seriei.
PR-ASC: aria de sub curba de rechemare a preciziei, stabilă la rare pozitive.
PSI: indicele de stabilitate a populației, distribuția în derivă metrică.
Matrix Profile/Discord: O modalitate de a găsi „cea mai diferită”.

Total

O buclă eficientă de detectare a anomaliilor nu este un algoritm „inteligent”, ci o combinație: contextul corect (sezonalitate/calendar), caracteristici robuste, o politică de prag bine gândită interpretată de RCA, un sistem de operare rigid (politici SLO/alertă) și un ciclu de îmbunătățiri prin feedback. Această abordare reduce alarmele false și crește beneficiile reale ale anomaliilor - de la detectarea precoce a eșecurilor la prevenirea pierderilor.

Detectarea anomaliilor