預測模型

預測模型

預測模型是根據歷史數據評估未來值或事件的算法。它們是產品分析，風險管理，營銷，反欺詐和運營優化的核心。以下是實用指南：從任務的制定到操作和質量控制。

1）任務表述和信號

回歸：連續量預測（LTV，存款大小，支票大小）。
分類：發生事件的概率（30天的客戶流出，frod/not frod）。
排名：按相關性排序對象（建議）。
時間序列：按日歷預測（流量、負載、收入）。
生存/事件發生前的時間：流出/重新付款之前的估計時間。
Uplift建模：影響力的增加（真的改變了行為）。
多類/多集合：同時發生多個狀態/事件。
貝葉斯和概率模型：具有明顯不確定性的預測。

2）數據和準備

谷物和觀察窗口：定義預測單位（用戶/會話/日）和誠實的「窗口」收集特征直到預測。
目標變量：明確的定義，地平線（7/30/90天），排除未來的泄漏。
特征：窗口聚集（7/30/90），行為頻率，序列，分類編碼，相互作用，分段統計。
數據質量：跳過、排放、重復、模式變更、時間戳的一致性。
班級平衡：分層，稱重，放大/放大-小心，以免產生偏移。

3）選擇算法

基本線性：線性/邏輯回歸，正則化（L1/L2/Elastic Net）-快速，可解釋。
樹木和合奏：Random Forest，Gradient Boosting（XGBoost/LightGBM/CatBoost）是強大的徽章。
神經網絡：用於復雜模式的MLP/Seq2Seq/Transformer（文本，序列，時間序列）。
時間序列：ARIMA/ETS, Prophet, Gradient Boosting with lags, DeepAR/N-BEATS/Temporal Fusion Transformer。
Uplift：雙模型方法，T-Learner/S-Learner/X-Learner，因果關系樹。

Survival: Cox, AFT, Random Survival Forests.

貝葉斯式：具有先驗分布的GLM/分層模型。

實踐：從簡單且可重現的徽標線開始,僅在指標和穩定性方面獲得顯著收益時才增加復雜性。

4）分離和驗證

Temporal CV：對於與時間相關的任務,按日期進行切割（滾動/彈出windows）。
分層：對於不平衡類。
組驗證：不要允許組之間「泄漏」（user_id，campaign_id)。
超時測試：「未來」時期的最終驗證。
Beislines：天真（最後一個值，平均值），頻率，簡單的對數來衡量實際價值。

5）質量指標

分類：ROC-AUC，PR-AUC（在罕見事件中很重要），logloss，Brier得分，F1，precision/recall@k，lift/NDCG。
回歸：RMSE/MAE/MAPE，sMAPE，R ²，quantile loss（用於胡椒粉）。
時間序列：MAPE/sMAPE/MASE, Pinball loss（量子預測）。
生存：協和索引，時間前事件的Brier。

Uplift: Qini, uplift@k, AUUC.

業務指標：增量收益，用戶保留，下降，準確性SLA。

建議：始終存儲兩個級別的指標-「ML-quality」和「業務效果」。

6）校準和閾值

概率校準：Platt，isotonic，temperature scaling。
門檻選擇：按業務目的（利潤最高/假陽性限制），費用/罰款。
閾值穩定性：根據分布變化進行監控。

7）可解釋性和可解釋性

全球：特征的重要性（gain，permutation），PDP/ICE，SHAP摘要。
本地：SHAP/LIME解釋對象決策。
Caveat：解釋性是驗證假設和信任而不是絕對的「真理」的工具。

8）戰鬥部署

Serving： online （REST/gRPC,低延遲）and batch（每小時/每日）。
轉化：模型，數據，方案和菲奇（registry）。
Fichestors：在線/離線一致性、點對點時間正確性。
延遲控制：特征提取預算，地獄，後過程。
失敗安全：默認規則，降級為beizline，taymout和retrai。
A/B和漸進式滾動：金絲雀發行，影子/地下鏡像。

9）監控和漂移

質量：按銷售計算（按遞延標簽計算的ROC-AUC/PR-AUC，商業KPI）。
分布：PSI/JS-divergence/KL，特征漂移和目標。
數據健康：跳過率，類別基數，尖峰，派克線延遲。
Alerting和SLO：閾值，runibuki（降解時該怎麼辦）。
Retrening：按時間表，按漂移觸發，按季節計算；質量回歸控制。

10）安全、合規和道德

隱私：數據最小化，別名，訪問控制。
公平性：按段檢查bias（假正值/非正值rate）,調整示例/閾值。
GDPR/本地規範：處理目的，保質期，解釋權。
審核和可重復性：版本跟蹤、可重現構建、解決方案日誌。

11）範例案例範本

流出（churn）：二進制分類；度量-PR-AUC，保留活動的uplift測試；結論-優先排序offers。
Antifrod：高水平分類；度量-PR-AUC，recall@low@FPR；嚴格的latency限制。
LTV/ARPPU：回歸或量子回歸；定期重新校準。
負載/收入預測：時間序列；統計和ML模型的合奏；季節性和節日如仙女。
個人建議：排名/矩陣化/seq模型；在線更新和利用（mult-armed bandits）。

12）過程（ML Lifecycle）

1.問題和KPI → 2。數據和fici → 3。Baseline → 4。模型和選擇→

2.校準和閾值→ 6。驗證和A/B → 7。伺服和監測→ 8.Retrening/進化。

每個階段都記錄下來：數據方案，培訓技巧，工件版本，實驗結果。

13）特征工程（簡短）

總和：總和/平均/分位數通過窗口。
計數器和頻率：轉換，類別稀有。
時間滯後和趨勢：三角洲，指數平滑。
類別編碼：target/stats編碼（註意泄漏），WoE，單熱/Hashing。
文本和事件：TF-IDF，embeddings，sequence-fichi。
業務邏輯：域特征（例如「最後一次付款的日子」）。

14）實驗管理

跟蹤：度量,參數,工件,數據表。
超參數：貝葉斯索賠,random/grid搜索,提前停止。
拳頭控制：數據目錄，電路合同，兼容性測試。

15）售前支票清單

• 未來沒有泄漏；正確的時間驗證
• 度量標準可以抵抗變化；有OOT測試
• 校準已核實；選擇業務閾值
• 小費和數據合同文檔
• 降解和Alerta功能已配置
• Retrening計劃和停止標準
• 通過法律和道德檢查

迷你詞匯表

分布漂移：改變數據/目標時間統計。
校準：將概率帶到實際事件頻率。
Uplift：預測「處理」和「控制」之間的影響差異。
OOT測試：在學習/驗證中完全不可見的時期驗證模型。

底線

預測模型不僅是一種算法，而且是一種過程：正確的任務設置，數據學科，嚴格的驗證，可重復的雙翼飛機，監視和道德規範。遵循所述周期可降低「離線美觀度量」的風險,並提高產品中的實際價值。