Anomali tespiti
Anomali tespiti
Anomali Tespiti, "norm'dan sapan ve arızaları, sahtekarlığı, güvenlik olaylarını, veri hatalarını veya nadir iş olaylarını işaret edebilen verilerdeki olağandışı gözlemlerin, modellerin veya değişikliklerin tanımlanmasıdır. Aşağıda sistematik bir görünüm verilmiştir: görevlerin formülasyonundan uyarıların işletilmesine ve yönetimine kadar.
1) Anormallik türleri ve ifadeler
Nokta anomalileri: Norm dışındaki tek gözlemler (bir kullanıcı için depozitolarda bir artış).
Bağlamsal: bağlama duyarlı sapmalar (geceleri yüksek yük - tamam, gündüz - anomali).
Kolektif: Olağandışı bir sırayla (bir dizi küçük işlem) sıradan noktalardan oluşan bir grup.
Yapısal: değişim noktası; yeni mevsimsellik).
Veri kalitesi anomalileri: ihmaller, kopyalar, yapıştırıcılar, zaman damgalarının yanlış hizalanması, "düz" sensörler.
- Denetleyici: Belirgin anomaliler vardır (nadir, pahalı).
- Yarı denetleyici (tek sınıf): "Norm'u öğretiyoruz, diğer her şey anormal.
- Denetleyici olmayan: Etiketsiz "nadir/uzak" arıyoruz.
2) Veri ve hazırlık
Normal sınırlar: ufuklar ve mevsimsellik (saat/gün/hafta), takvim etkinlikleri, hafta sonları, promosyonlar.
Özellikler: gecikmeler, kayma istatistikleri (ortalama/medyan/EMA), nicel özellikler, kategori kodlamaları, nadir sayaçlar, pencere toplamları 7/30/90.
Temizleme: veri tekilleştirme, saat dilimi düzeltme, frekans eşitleme, atlama işleme (enterpolasyon/forward-fill/recovery modelleri).
Standardizasyon/sağlamlık: Emisyon direnci için RobustScaler/ranks/vinzorization.
Zaman içinde doğruluk: Özellikleri oluştururken gelecekteki sızıntılar yok.
3) Algılama yöntemleri
3. 1. İstatistikler ve kurallar
z-skor/sağlam z (medyan, MAD), IQR/kutu arsa, güven koridorları ile üstel yumuşatma.
Kontrol kartları (Shewhart, CUSUM, EWMA): üretim süreçleri ve akış metrikleri için.
Nicel eşikler (pencerelere göre dinamik), mevsimsel olarak nicel eşikler.
3. 2. Mesafeler, yoğunluklar, kümeler
kNN mesafesi, Local Outlier Factor (LOF) yerel bir nadirdir.
DBSCAN/HDBSCAN - kümelerin dışındaki gürültü noktaları.
PCA/Sağlam PCA - anomaliler - yüksek artık hata/SPE istatistikleri; Hotelling'in T ².
3. 3. Topluluklar ve ağaçlar
İzolasyon Ormanı - nadir noktaları kısa yollarla izole eder.
Temel kurallarda randomize Eşikleme/Torbalama - yiyecek için hızlı taban çizgileri.
3. 4. Rekonstrüksiyon ve olasılıksal
Otomatik kodlayıcı/VAE (diziler için LSTM/Transformer dahil): anomali = yüksek rekonstrüksiyon hatası.
Olasılıksal tahmin: tahmin edilen aralıkların ötesine geçmek - sinyal.
Bayes modelleri/normalleştirme dönüşümleri akışları - açık belirsizlik.
3. 5. Zaman serisi ve mod değişiklikleri
ARIMA/ETS/Prophet/TBATS - tahmin + sapma.
Değişim noktası tespiti: BOCPD, RuLSIF/Diverjans kriterleri, Pruned Exact Linear Time (PELT).
Matrix Profile/Discord discovery (Matris Profili/Uyuşmazlık Keşfi): "En farklı" olanı arayın.
3. 6. Çok boyutlu ve grafik
Çok değişkenli TS: VAR, TCN/TFT, LSTM-VAE; Çapraz korelasyonlar ve eklem güven aralıkları.
Sütunlar: Anormal alt yollar/düğümler (örneğin, ağ trafiğinde veya ödeme zincirlerinde).
4) Yöntem seçimi: pratik matris
5) Nadir anomaliler için kalite değerlendirmesi
Dengesizlik: ROC-AUC yanıltıcı olabilir; PR-AUC, precision @ k, % recall@FPR≤x, F1, Matthews CC'ye odaklanın.
Zaman metriği: Ortalama Tespit Süresi (ATTD), "erken tespitlerin" oranı.
Kararlılık: Kanat çırpma yüzdesi (sık sık açma/kapama uyarısı), "sessiz" dönemlerin ortalama uzunluğu.
Maliyet tabanlı: maliyet matrisi (yanlış pozitif/yanlış negatif), önlenen olayların değeri.
Doğrulama: zaman bölünmeleri, zaman dışı pencereler, grup bölünmeleri (kullanıcı/cihaza göre), geri testler.
6) Eşik stratejileri ve kalibrasyon
Statik eşikler: Basit, ancak mevsimsel olarak kırılırken.
Dinamik: Segment başına/saat başına nicel, yüklere ve sessiz saatlere uyum sağlar.
Hıza göre yüzdelik: 99. 5/99. Yüksek hassasiyet için 9.; Kategoriye göre kova başına yapılabilir.
Skorlama kalibrasyonu: Olasılıklar için izotonik/sıcaklık; Alert smoothing (debounce, "N of M").
Histerezis: Anomali durumuna girmek/çıkmak için farklı eşikler.
7) Yorumlanabilirlik ve RCA (kök neden analizi)
Global: kazanç/permütasyon, PCA yükleri, segment profilleri, rekonstrüksiyon hatasına bileşen katkısı.
Yerel olarak: Rampalarda veya yardımcı modellerde SHAP/LIME.
Seri atıf: trend/mevsimsellik/gerileyicilerin katkısı (tatiller, kampanyalar).
Detay: "Anormal segment - anormal özellik - anormal nesneler".
Nedensellik: farklılık-in- "gerçek" anomalinin pazarlama etkisinin ofisi için differences/контрфакты.
8) Üretim ve MLOps
Servis: Senkron (düşük gecikme, gRPC/REST) ve asenkron (toplu/mikrobatch).
Fichestor: çevrimiçi/çevrimdışı tutarlılık, zaman içinde nokta, özellik üretimi için SLA.
Sürüm oluşturma: modeller, eşikler, şemalar, yapılandırmalar; Eserler ve veri "dökümleri" saklayın.
Uyarı: önceliklendirme (P1-P3), veri tekilleştirme, pencerelerin bastırılması (gece/tatil), normalleştirme sırasında otomatik kapanma.
Arıza güvenliği: Kurallara/basit dedektörlere otomatik bozulma, zaman aşımları, QPS sınırlaması.
Gölge/Kanarya: Yeni dedektörün mevcut olanla karşılaştırılması, çevrimdışı - gölge - - kanarya - - dolu.
Geri besleme döngüsü: uyarı işaretleme arayüzü, yarı otomatik aktarım ve eğitim.
9) Uyarı-yorgunluk azaltma
Bundling: Grup uyarıları zaman/segment içinde bir olaya yakın.
Uyarılar üzerinde SLO: vardiya başına hassas/uyarı sayısı için hedef.
Eskalasyon politikası: Süre/ölçekte öncelik artışı.
Hız sınırlaması: Pencere başına en fazla N uyarı; Tetiklendikten sonra "sessiz dönem".
İki seviyeli şema: ucuz kaba dedektör (yüksek hatırlama) + pahalı hassas doğrulayıcı.
10) Uygulama kontrol listesi
- Tespit edilen anormalliklerin türleri ve tespit edilen iş değeri
- Mevsimsellik/takvim dikkate alınır; Inşa edilen bağlam özellikleri
- Hızlı taban çizgisi + potansiyel olarak daha karmaşık yöntem seçildi
- Eşik stratejisi (dinamik/segment başına) ve histerezis
- Metrikler: PR-AUC, ATTD, maliyet metrikleri, segment raporları
- Yorumlama Planı ve RCA; Panolar Aşağı doğru
- Uyarı politikaları, bastırma, veri tekilleştirme
- Günlük puanlama, sürüm, giriş özellikleri; Tekrar test etme
- Yeniden eğitim prosedürleri ve sürüklenme kontrolü (PSI/JS-div)
- Belgeler: Veri Sözleşmeleri, SLO'lar, Runibooks
11) Tipik desenler
"Tahmin + sapma": olasılık tahminini (%5-95 niceliklerini), aralığın ötesine geçerken sinyali eğitiriz.
"Rekonstrüktör": Autoencoder/Sağlam PCA - yüksek rekonstrüksiyon hatası uyarısı.
"İzolatör": Tabular/multifik için İzolasyon Ormanı; Hızlı, birkaç ayar.
"Yerel nadirlik": LOF/kNN-mesafesi - farklı yoğunluklara sahip segmentler için iyidir.
"Rejim değişikliği": BOCPD/PELT + neden doğrulama (serbest bırakma, promosyon, olay).
"Two-stage": kural tabanlı filtre ^ ML-verifier (false reduction).
12) Dedektör izleme
Kalite: PR-AUC/precision @ k/ATTD kayar pencerede, onaylanmış uyarıların paylaşımı.
Veri: ihmaller, gecikmeler, olağandışı kardinalite, olay patlamaları.
Sürüklenme: PSI/KL/JS temel özellikleri ve hızı, hedef sürüklenme (işaretli ise).
İşletim sistemi: çıkarımda gecikme, QPS, hata toleransı, bozulma payı.
13) İşaretleme ve aktif eğitim
İşaretleme stratejileri: Hızda üst-k, kümelerde çeşitlilik, "sınır" durumları.
Sentetikler: Stres testleri için anomali enjeksiyonları (kontrollü).
Aktif öğrenme: Tartışmalı olaylar için analistlerden etiketler istiyoruz.
Zayıf denetim: zayıf etiketler + etiket toplayıcıları olarak kurallar/sezgisel bilgiler.
14) Güvenlik, Etik, Uyum
Gizlilik: alanları küçültme, takma ad, rol erişimi.
Şeffaflık: Uyarı nedenlerinin ve otomasyon eylemlerinin açıklanabilirliği.
Denetim: karar günlüğü, eşiklerin/sürümlerin/verilerin tekrarlanabilirliği.
Adalet: Segmentine göre önyargı kontrolü (özellikle anti-dolandırıcılık/puanlama için).
Mini Sözlük
Değişim noktası: seri dağılım/mod değişikliği anı.
PR-AUC: hassas hatırlama eğrisi altındaki alan, nadir pozitifte stabil.
PSI: popülasyon stabilite indeksi, dağılım sürüklenme metriği.
Matrix Profile/Discord: En farklı olanı bulmanın bir yolu
Toplam
Etkili bir anomali algılama döngüsü bir "akıllı" algoritma değil, bir kombinasyondur: doğru bağlam (mevsimsellik/takvim), sağlam özellikler, RCA tarafından yorumlanan iyi düşünülmüş bir eşik politikası, katı bir işletim sistemi (SLO/uyarı politikaları) ve geri bildirim yoluyla bir iyileştirme döngüsü. Bu yaklaşım yanlış alarmları azaltır ve anomalilerin gerçek faydalarını artırır - arızaların erken tespitinden kayıpların önlenmesine kadar.