异常检测
异常检测
异常检测（Anomaly Detection）是识别异常观察，模式或数据更改，这些异常观察，模式或更改偏离"规范"，并可能表示故障，欺诈，安全事件，数据错误或罕见的业务事件。下面是系统观点：从制定任务到运作和控制差距。
1）异常类型和分期
点（point anomalies）：单位观察超出正常水平（每个用户的存款激增）。
上下文：与上下文相关的偏差（夜间高负荷,白天异常）。
集体：一组不寻常的常规点（小交易系列）。
结构：模式/分布变化（更改点；新的季节性）。
数据质量异常：跳过,复制,剥离,时间标签同步,"扁平"传感器。
- 监督：有标记异常（很少，昂贵）。
- 半监督（一级）：教授"规范"，其他一切-异常。
- Nenazornoy：寻找"稀有/遥远"的无标签。
2）数据和准备
规范的界限：地平线和季节（小时/天/周），日历事件，周末，促销。
Fici：泻湖，滑动统计（mean/median/EMA），量子特征，类别百科全书，稀有计数器，7/30/90窗口汇总。
清除：重复数据消除、临时区域修补、频率对齐、跳过分机（插值/前端滤镜/恢复模型）。
标准化/清除率：RobustScaler/等级/清除量以适应排放。
点对点正确性：在产生幻灯片时不会泄露未来。
3）检测方法
3.1.统计和规则
z-score/robastic z （median, MAD）、IQR/box-plot,指数平滑与信任走廊。
控制卡（Shewhart, CUSUM, EWMA）：用于生产过程和流指标。
量子阈值（通过窗口动态），季节性量子阈值。
3.2.距离，密度，星团
kNN距离，Local Outlier Factor（LOF）是本地罕见的。
DBSCAN/HDBSCAN是群集外的噪声点。
PCA/Robust PCA-异常→ 高残留错误/SPE统计；Hotelling’s T².
3.3.合奏和树木
分离森林-短路隔离稀有点。
Randomized Thresholding/Bagging on Basic Rules-快速跳跃。
3.4.重建和概率
Autoencoder/VAE（包括序列的LSTM/Transformer）：异常=高重建误差。
Probilistic forecasting（量子预测）：预测间隔的输出是一个信号。
贝叶斯模型/归一化转换流是明显的不确定性。
3.5.时间序列和模式变更
ARIMA/ETS/Prophet/TBATS-预测+偏差。
更改点检测：BOCPD，RuLSIF/发散标准，打孔出口线时间（PELT）。
Matrix Profile/Discord Discovery-搜索"最不同的子序列"。
3.6.多维和图形
Multivariate TS: VAR, TCN/TFT, LSTM-VAE;跨相关和联合信任间隔。
图：异常子端口/节点（例如,在网络流量或支付链中）。
4）方法选择： 实用矩阵
5）罕见异常的质量评估
不平衡：ROC-AUC可能会产生误导；专注于PR-AUC，precision@k，recall@FPR≤x％，F1，Matthews CC。
时间度量：平均时间检测（ATTD），"早期检测"的比例。
稳定性：flapping分数（频繁打开/关闭alert），"安静"时期的平均长度。
成本基础：成本矩阵（假阳性/假阴性），预防事件的价值。
验证：临时拆分,超时窗口,组拆分（按用户/设备）,后台测试。
6）阈值策略和校准
静态阈值：简单但季节性断裂。
动态：按音调/按小时分量，适应负荷和"安静时钟"。
Score Percentil：99。1999年5月5日。第9高精度；可以按类别按桶做。
评分校准：概率的isotonic/temperature；Alert平滑化（debounce，"N from M"）。
滞后：进入或退出异常状态的阈值不同。
7）可解释性与RCA （root cause analysis）
全局：Fich的重要性（gain/permutation）, PCA负载,片段配置文件,组件对重建错误的贡献。
本地：scores或辅助模型上的SHAP/LIME。
按行排列：趋势/季节性/反向因素（假期，运动）的贡献。
细节："异常片段→异常幻灯片→异常物体"。
Cousility：区分差异性/反事实，将营销效果与"真实"异常区分开。
8）生产和MLOps
伺服器：同步（低延迟，gRPC/REST）和异步（batch/microbatch）。
Fichestor：在线/离线一致性、点对点时间、SLA到特征生成。
转化：模型，阈值，电路，配对；存储工件和数据的"模型"。
Alerting：优先级（P1-P3）、重复数据消除、窗口溢出（夜间/假期）、标准化时自动关闭。
失效安全：自动降级到规则/简单检测器,定时,QPS限制。
Shadow/Canary：将新检测器与当前检测器进行比较,offline-→shadow-→canary-→full。
背面环路：标记接口、半自动重新标签和上线。
9）减少警报-fatigue
乐队：将时间接近/段的Alerta分组为一个事件。
Alerta上的SLO：按精度/每班数目的目标。
逃避政策：在持续时间/规模上增加优先级。
价格限制：每个窗口不超过N alerts；触发后的"安静时期"。
两层电路：便宜的粗糙检测器（高回收器）+昂贵的精密验证器。
10）实施支票
- 确定异常类型及其检测的业务价值
- 考虑到季节性/日历；构造上下文特征
- 选择的方法：快速的bezline+可能更复杂
- 阈值策略（动态/主段）和滞后
- 度量标准：PR-AUC、ATTD、成本度量、细分报告
- 解释计划和RCA；Dashbords Drill-down
- 警报策略,支持,重复数据消除
- 记录得分，版本，输入图片；背靠背测试中继
- 回应程序和漂移控制（PSI/JS-div）
- 文档：数据合同,SLO, runibuki
11）模式模式
"预测+偏差"：我们教概率预测（分量5-95％），每个间隔输出时的信号。
"重构器"：Autoencoder/Robust PCA →高重构错误。
"隔离器"：用于表格/多景点的隔离森林；很快，很少设置。
"局部稀有性"：LOF/kNN距离-适用于密度不同的细分市场。
"政权变更"：BOCPD/PELT+原因验证（释放，行动，事件）。
"两步"：基于规则的过滤器→ ML验证器（虚假减少）。
12）检测器监控
质量：PR-AUC/precision@k/ATTD在滑动窗口中，确认的异常值百分比。
数据：跳过，泻湖，不寻常的基数，事件爆发。
漂移：PSI/KL/JS按键和斜线,漂移目标（如果有标记）。
操作：地狱延迟、QPS、容错、降级比例。
13）标记和主动学习
标记策略：Skor top-k，集群多样性，"边缘"案例。
合成：用于压力测试的异常注射（控制）。
主动学习：为有争议的事件向分析师询问标签。
Weak supervision：规则/启发式作为弱标签+快捷方式聚合器。
14）安全、道德、合规性
私有性：字段最小化，别名，按角色访问。
透明度：可解释自动化的原因和动作。
审计：决策记录，阈值/版本/数据的可重复性。
公平性：按细分控制bias（尤其是用于防冻剂/得分）。
迷你词汇表
更改点：行分配/模式更改的时刻。
PR-AUC：精密回路曲线下的面积，在罕见的正值下稳定。
PSI：人口稳定指数，分布漂移度量。
Matrix Profile/Discord：找到"最不同"子序列的方式。
底线
有效的异常检测回路不是一个"智能"算法，而是组合：正确的上下文（季节性/日历），健壮的特征，RCA解释的经过深思熟虑的阈值策略，刚性操作（SLO/警报策略）以及通过反馈进行改进的循环。这种方法可以减少虚假警报，并从异常中获得真正的好处-从早期发现故障到防止损失。