模型漂移和數據更新

1）為什麼這很重要

在iGaming中，流量，支付和遊戲行為的分布迅速變化（季節性，提供商，股票，監管法規）。在沒有系統漂移控制的情況下，暴露的成本錯誤正在增長：Net Revenue中的損失，虛假的RG/AML幹擾，獎金借口的增長。目的是早期發現漂移，診斷原因，安全更新數據和模型。

2）漂移分類法（可能「漂浮」）

Covariate drift （X）： fichi發生了變化（例如,移動/ASN份額、提供商組合）。
Label/Outcome drift （Y）：更改了事件基礎（chargeback-rate, click/convert-rate）。

3）信號和閾值（地標）

PSI (Population Stability Index): 0.10–0.20個警告，>0。20是漂移事件。
KL-發散/JS：在關鍵速率/速率上向閾值增長。
Skors的KS（標簽下）：CDF差異的增加。
ECE（校準）：>0.05警告,>0.07-行動。
Expected-cost@threshold：基本模型增長X%。
Coverage和Missing-rate：覆蓋率下降<99%，missing/timeout>閾值上升。
Slice度量：按市場/設備劃分的PR-AUC/ECE/expected-cost；下降觸發器>Y%。

窗口選擇：快速-1 小時/6h/24小時（滾動），報告-D+1/D+7（扣留標簽的記錄）。

4）窗口和標簽（延遲）

快速代理標簽：點擊、存款7d，由RG案例完成-用於早期評估。
延遲標簽：chargeback（45-90d），churn/LTV-用於回顧性驗證和閾值調整/校準。
作為紀律：無論是平局還是標簽-「來自未來的事件」。

5）根本原因診斷（RCA支票單）

1.數據：PSI/KL按頂級,missing/lag, schema diffs,新類別。
2.來源：供應商變量（PSP/遊戲提供商）, API/timeout錯誤。
3.季節/促銷活動：任務/錦標賽的高峰，RTP/目錄更改。
4.區域/居民：跨市場流量轉移，新的KYC/RG規則。
5.技術：幻燈片緩存降解，CDC緩慢，小文件風暴。
6.目錄/匯率/日歷：過時？（FX/假期）。
7.公平：在特定的幻燈片質量失敗。

6）漂移時的動作劇本

6.1 Covariate/Feature drift

快速：更新校準（Platt/Isotonic D +1）,調整開銷閾值。
中期：部分改造（可持續單元/窗口），從time-aware CV升級TE/WOE。
長期：帶有新樣本/窗戶的retrain，必要時重新設計相框。

6.2 Label/Outcome drift

重新計算新標簽（D+1, D+7）的閾值,進行筆校準。
固定guardrails（限制攻擊行動直到穩定）。

6.3 Concept drift

在最新數據上對新版本進行影子學習→金絲雀→完全滾動。
考慮域分解（按細分/市場劃分的單個模型）。

6.4 Schema/Operational drift

啟用v1/v2模式雙寫,在線等價測試/離線。
修復源,啟用緩存/後退,補償跳過後退。

6.5 Fairness drift

臨時幻燈片閾值/校準，瞄準鏡頭/重新調整鏡頭，代理變量審核。

6.6個升級

Kill-switch （guardrails breach） →安全後衛/以前的版本。
在5xx/latency/expected-cost上升時單擊滾動。

7）數據更新政策

7.1 Increments和CDC

穩定的水廠/日誌復制；等效的MERGE/UPSERT。

7.2 Backfill/Reprocessing

Backfill：逐個範圍（配額和窗口）。
Reprocessing：在邏輯更改/糾錯時重新計算。
Метки: `logic_version`, `reprocessed_at`, `reason`;影響報告（指標/成本）。

7.3 Time-travel/WORM

ACID表（Delta/Iceberg/Hudi），報告/版本的WORM檔案。
「與日期一樣」：監管報告的可重復性。

7.4 目錄/FX/日歷

自動更新，簽名，版本和新鮮度檢查（SLO到latency和age）。

8）度量標準和Alerts（最低設置）

數據： PSI/KL按頂級,誤報率,功能性,fetch latency.

質量：PR-AUC/KS（在代理標簽上），ECE，expected-cost@thr。
操作：p95/p99 latency, 5xx, coverage, autoscaling, cost/request。
公平：幻燈片面板（市場/設備/提供商）。
合同：計劃暴力，在線/離線平等測試。

9）模型更新程序

1.影子：查詢副本上的新模型,對比latency/quality/cost。
2.金絲雀：綠色SLO 5-10% 25% 50% 100%。
3.閾值/校準：計算D+1；閾值-註冊表中的config。
4.文檔：模型卡（數據、窗口、指標、風險、公平）。
5.歸檔：WORM版本（重量、校準、測試日誌、漂移報告）。

10）示例（片段）

10.SQL想法中的1個PSI（預先準備了bining）

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10.2根據expected-cost調整閾值（偽代碼）

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10.3等效於在線/離線照片

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10.4帶負載限制的Backfill（編排的想法）

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11）測試和變更控制

電路合同/相框：消費者驅動測試，雙v1/v2記錄。
回歸度量測試：不要使公差PR-AUC/ECE/expected-cost降級。
在線/離線等效性測試：在參考樣本上。
混沌測試：遠程緩存故障，源定時器，爆破流量。

12）Fairness和合規性

Slice報告（disparate impact, equalized odds）, slice閾值/校準。
PII最小化，居住性（EEA/UK/BR），DSAR/RTBF，法律保留。
決策審核：「policy_id」，「threshold」，幹預的原因，WORM博客。

13）成本和性能

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.

優化：實現重型離線,熱窗口緩存,INT8/FP16質量相等。
配額：背面/反沖限制，市場/團隊背面預算。

14) RACI

R（響應）：MLOps（監視/註冊/釋放），Data Eng（數據/CDC/backfill/合同），數據科學（診斷/校準/retrain/fairness）。

A (Accountable): Head of Data / CDO.

C（咨詢）：合規性/DPO（PII/RG/AML/DSAR），安全（KMS/審計），SRE（SLO/成本），財務（預算/ROI）。
I （Informed）：產品/營銷/運營/支持。

15）路線圖

1.PSI/KL在頂級股票和得分，ECE，代理標簽上的開銷。

2.Dashbords coverage/missing/feature-lag，alerta和runbook'和。

3.恢復程序（D+1）和閾值；新機型的影子路徑。

4.電路合同/fich和在線/離線等價測試。

• RCA面板，slice/fairness監視，帶配額的背景計劃。
• 自動偏轉校準/閾值，閾值模擬器（如果為）。
• WORM漂移和發行報告存檔。

• 跨越漂移事件（金絲雀），多區域政策。
• 成本配額/chargeback，chaos -/DR演習，自動文檔。

16）售前支票清單

• SLI/SLO和Alertes已配置（PSI/ECE/expected-cost/coverage/latency/5xx）。
• 電路/攝影合同和雙v1/v2記錄-綠色。
• recalibration/threshold更新過程已記錄並自動化。
• Shadow/Canary with one click rollback驗證。
• Backfill/reprocessing配額和窗口-準備就緒；WORM存檔已啟用。
• Slice/fairness面板和段所有者已分配。
• 遵守PII/DSAR/RTBF/法律保留政策；已啟用審計。
• 控制成本（cost/request, cost/feature）, 定制緩存/TTL。

17）反模式和風險

看到高的PSI-retrain「盲目」，沒有RCA和校準。
沒有記錄被拘留的標簽→錯誤的結論，每天的「急流鋸」。
沒有在線/離線等效性測試→「雙重現實」。
無視公平：市場/設備的失敗仍然不可見。
沒有配額/窗口的Backfill →成本和SLA的打擊。
閾值是「永遠」固定的→季節性時會增加成本。

18）結果

漂移控制不是一次性回流，而是過程：可觀察性→診斷→最低風險操作（校準/閾值）→安全回流/反射→成本控制和審計。有了這樣的紀律，即使玩家的行為、提供者和市場發生變化，模型仍然準確、道德和兼容。