異常檢測
異常檢測
異常檢測（Anomaly Detection）是識別異常觀察，模式或數據更改，這些異常觀察，模式或更改偏離「規範」，並可能表示故障，欺詐，安全事件，數據錯誤或罕見的業務事件。下面是系統觀點：從制定任務到運作和控制差距。
1）異常類型和分期
點（point anomalies）：單位觀察超出正常水平（每個用戶的存款激增）。
上下文：與上下文相關的偏差（夜間高負荷,白天異常）。
集體：一組不尋常的常規點（小交易系列）。
結構：模式/分布變化（更改點；新的季節性）。
數據質量異常：跳過,復制,剝離,時間標簽同步,「扁平」傳感器。
- 監督：有標記異常（很少，昂貴）。
- 半監督（一級）：教授「規範」，其他一切-異常。
- Nenazornoy：尋找「稀有/遙遠」的無標簽。
2）數據和準備
規範的界限：地平線和季節（小時/天/周），日歷事件，周末，促銷。
Fici：瀉湖，滑動統計（mean/median/EMA），量子特征，類別百科全書，稀有計數器，7/30/90窗口匯總。
清除：重復數據消除、臨時區域修補、頻率對齊、跳過分機（插值/前端濾鏡/恢復模型）。
標準化/清除率：RobustScaler/等級/清除量以適應排放。
點對點正確性：在產生幻燈片時不會泄露未來。
3）檢測方法
3.1.統計和規則
z-score/robastic z （median, MAD）、IQR/box-plot,指數平滑與信任走廊。
控制卡（Shewhart, CUSUM, EWMA）：用於生產過程和流指標。
量子閾值（通過窗口動態），季節性量子閾值。
3.2.距離，密度，星團
kNN距離，Local Outlier Factor（LOF）是本地罕見的。
DBSCAN/HDBSCAN是群集外的噪聲點。
PCA/Robust PCA-異常→ 高殘留錯誤/SPE統計；Hotelling’s T².
3.3.合奏和樹木
分離森林-短路隔離稀有點。
Randomized Thresholding/Bagging on Basic Rules-快速跳躍。
3.4.重建和概率
Autoencoder/VAE（包括序列的LSTM/Transformer）：異常=高重建誤差。
Probilistic forecasting（量子預測）：預測間隔的輸出是一個信號。
貝葉斯模型/歸一化轉換流是明顯的不確定性。
3.5.時間序列和模式變更
ARIMA/ETS/Prophet/TBATS-預測+偏差。
更改點檢測：BOCPD，RuLSIF/發散標準，打孔出口線時間（PELT）。
Matrix Profile/Discord Discovery-搜索「最不同的子序列」。
3.6.多維和圖形
Multivariate TS: VAR, TCN/TFT, LSTM-VAE;跨相關和聯合信任間隔。
圖：異常子端口/節點（例如,在網絡流量或支付鏈中）。
4）方法選擇： 實用矩陣
5）罕見異常的質量評估
不平衡：ROC-AUC可能會產生誤導；專註於PR-AUC，precision@k，recall@FPR≤x％，F1，Matthews CC。
時間度量：平均時間檢測（ATTD），「早期檢測」的比例。
穩定性：flapping分數（頻繁打開/關閉alert），「安靜」時期的平均長度。
成本基礎：成本矩陣（假陽性/假陰性），預防事件的價值。
驗證：臨時拆分,超時窗口,組拆分（按用戶/設備）,後臺測試。
6）閾值策略和校準
靜態閾值：簡單但季節性斷裂。
動態：按音調/按小時分量，適應負荷和「安靜時鐘」。
Score Percentil：99。1999年5月5日。第9高精度；可以按類別按桶做。
評分校準：概率的isotonic/temperature；Alert平滑化（debounce，「N from M」）。
滯後：進入或退出異常狀態的閾值不同。
7）可解釋性與RCA （root cause analysis）
全局：Fich的重要性（gain/permutation）, PCA負載,片段配置文件,組件對重建錯誤的貢獻。
本地：scores或輔助模型上的SHAP/LIME。
按行排列：趨勢/季節性/反向因素（假期，運動）的貢獻。
細節：「異常片段→異常幻燈片→異常物體」。
Cousility：區分差異性/反事實，將營銷效果與「真實」異常區分開。
8）生產和MLOps
伺服器：同步（低延遲，gRPC/REST）和異步（batch/microbatch）。
Fichestor：在線/離線一致性、點對點時間、SLA到特征生成。
轉化：模型，閾值，電路，配對；存儲工件和數據的「模型」。
Alerting：優先級（P1-P3）、重復數據消除、窗口溢出（夜間/假期）、標準化時自動關閉。
失效安全：自動降級到規則/簡單檢測器,定時,QPS限制。
Shadow/Canary：將新檢測器與當前檢測器進行比較,offline-→shadow-→canary-→full。
背面環路：標記接口、半自動重新標簽和上線。
9）減少警報-fatigue
樂隊：將時間接近/段的Alerta分組為一個事件。
Alerta上的SLO：按精度/每班數目的目標。
逃避政策：在持續時間/規模上增加優先級。
價格限制：每個窗口不超過N alerts；觸發後的「安靜時期」。
兩層電路：便宜的粗糙檢測器（高回收器）+昂貴的精密驗證器。
10）實施支票
- 確定異常類型及其檢測的業務價值
- 考慮到季節性/日歷；構造上下文特征
- 選擇的方法：快速的bezline+可能更復雜
- 閾值策略（動態/主段）和滯後
- 度量標準：PR-AUC、ATTD、成本度量、細分報告
- 解釋計劃和RCA；Dashbords Drill-down
- 警報策略,支持,重復數據消除
- 記錄得分，版本，輸入圖片；背靠背測試中繼
- 回應程序和漂移控制（PSI/JS-div）
- 文檔：數據合同,SLO, runibuki
11）模式模式
「預測+偏差」：我們教概率預測（分量5-95％），每個間隔輸出時的信號。
「重構器」：Autoencoder/Robust PCA →高重構錯誤。
「隔離器」：用於表格/多景點的隔離森林；很快，很少設置。
「局部稀有性」：LOF/kNN距離-適用於密度不同的細分市場。
「政權變更」：BOCPD/PELT+原因驗證（釋放，行動，事件）。
「兩步」：基於規則的過濾器→ ML驗證器（虛假減少）。
12）檢測器監控
質量：PR-AUC/precision@k/ATTD在滑動窗口中，確認的異常值百分比。
數據：跳過，瀉湖，不尋常的基數，事件爆發。
漂移：PSI/KL/JS按鍵和斜線,漂移目標（如果有標記）。
操作：地獄延遲、QPS、容錯、降級比例。
13）標記和主動學習
標記策略：Skor top-k，集群多樣性，「邊緣」案例。
合成：用於壓力測試的異常註射（控制）。
主動學習：為有爭議的事件向分析師詢問標簽。
Weak supervision：規則/啟發式作為弱標簽+快捷方式聚合器。
14）安全、道德、合規性
私有性：字段最小化，別名，按角色訪問。
透明度：可解釋自動化的原因和動作。
審計：決策記錄，閾值/版本/數據的可重復性。
公平性：按細分控制bias（尤其是用於防凍劑/得分）。
迷你詞匯表
更改點：行分配/模式更改的時刻。
PR-AUC：精密回路曲線下的面積，在罕見的正值下穩定。
PSI：人口穩定指數，分布漂移度量。
Matrix Profile/Discord：找到「最不同」子序列的方式。
底線
有效的異常檢測回路不是一個「智能」算法，而是組合：正確的上下文（季節性/日歷），健壯的特征，RCA解釋的經過深思熟慮的閾值策略，剛性操作（SLO/警報策略）以及通過反饋進行改進的循環。這種方法可以減少虛假警報，並從異常中獲得真正的好處-從早期發現故障到防止損失。