相關性和因果關系

相關性和因果關系

相關性捕獲變量的聯合變化。因果關系回答了一個問題：如果我們介入，會發生什麼？在分析，產品和風險管理中，價值恰恰帶來了因果關系：它允許您從決策中評估嵌入物，而不僅僅是關聯。

1）基本概念

相關（關聯）：沒有解釋「原因」的統計關系。可能是由共同原因，反向因果關系或偶然性引起的。
因果效應（治療效應）：「有幹擾」和「無幹擾」世界之間的預期差異。
反法：不可能觀察「同一物體會發生什麼而不會受到影響」。
Confounder：影響原因和結果→變量會產生錯誤的關聯。
對撞機：因果關系；對撞機的條件會扭曲關聯。
辛普森悖論：考慮到隱藏的變量/段後，效果的方向發生了變化。

2）當相關性足夠時，何時沒有

描述性分析，監視，EDA：相關性/排名/heatmap →檢測假設和風險。
決策和影響評估：需要因果方法（實驗或準實驗）。
預測模型：相關性很有用，但對於ROI/策略而言-過渡到低價估計或高價模型。

3）實驗： 黃金標準

A/B測試（隨機化）：消除共鳴，使群體具有可比性。
Guardrails：持續時間≥一個行為周期，穩定曝光，季節控制和幹擾（spillover）。
度量標準：效果,置信區間,MDE/power,跨段效應異質性（Heterogeneous Treatment Effect）。
實踐：金絲雀發布，分步滾動，CUPED/協方差控制以減少方差。

4）如果實驗是不可能的： 準實驗

差異化（DiD）：「測試」和「控制」之間的「之前/之後」更改差。關鍵假設是幹預前的平行趨勢。
合成控制：將「合成」控制構建為供體基團的加權混合物。適應不同的趨勢動態。
Regression Discontinuity （RDD）：暴露分配閾值規則；在門檻的兩邊進行比較。重要的是：沒有「操縱」門檻。
工具變量（IV）：變量影響「治療」，但不直接影響結果（通過治療除外）。需要：工具的相關性和有效性。
匹配（PSM/匹配）：具有相似協方差的測試和控制；作為預處理很有用，但並不能消除隱藏的共謀者。
Interrupted Time Series （ITS）：在沒有其他沖擊的情況下評估政策時刻的趨勢扭曲。

5）Causal Graphs和「洞」標準"

DAG（定向無環圖）：因果關系的視覺圖。幫助您選擇控制哪些變量。
Back-door criterion：鎖定所有後向路徑（confounders）-我們得到不可移動的效果估計。
前門評審：使用一個完全具有影響力的中介來規避隱藏的騙子。
不要控制對撞機和結果的後代：這會產生偏差。
實踐：首先與域專家繪制DAG，然後選擇最小協方差集。

6）潛在結果和影響評估

ATE/ATT/ATC：全部/處理/控制的平均效果。
CATE/HTE：分段效應（國家，頻道，風險等級）。
Uplift建模：教導模型根據幹預的預期增長而不是事件的初始概率對對象進行排名。

7）頻繁陷阱

反向因果關系：「折扣增加↔需求下降」-折扣對下降做出反應，反之亦然。
錯過的變量：未計入的股票/季節/區域變化。
幸存者（survivorship bias）：僅分析「剩余」。
Leakage：在培訓/評估中使用未來的信息。
混合度量：優化代理度量而不是業務效果（Goodhart）。
回歸平均值：自然回歸趨勢掩蓋了「效果」。

8）產品、市場營銷和風險中的共性

市場營銷/活動：uplift定位，差異化接觸頻率，causal LTV評估，ROMI DiD/合成控制。
定價/促銷：RDD（閾值規則），SKU/區域樣本實驗。
建議：非政策評估（IPS/DR）和樂隊；幹擾核算。
Antifrod/RG政策：謹慎地使用低溫性-鎖定會改變行為和數據；在FPR和上訴上使用準實驗和guardrails。
操作管理：用於發布和事件的ITS；RCA的庫茲圖。

9）分析過程： 從假設到解決

1.將問題表述為因果關系： 「T視野中Y的X效果是什麼？」

2.繪制DAG：與域匹配，標記共鳴器/介體/對撞機。
3.選擇設計：RCT/A-B、DiD、RDD、IV、合成控制、匹配。
4.定義指標：主要（效果）、guardrails（質量/道德/操作）、CATE段。
5.準備數據：點對點，協變量「影響」，日歷和季節性。
6.評估效果：基本模型+robast檢查（placebo測試,靈敏度）。

7.檢查可持續性： 替代規格,排除可疑協變量,休假一出.

8.轉換為：policy/rollout、SLO、監控和漂移時重新定位。

10）機器人實踐和驗證

預趨勢檢查（對於DiD）：在幹預之前，趨勢/控制相似。
Placebo/重新排列：「虛擬日期」或「虛擬組」-效果必須消失。
Sensitivity analysis：多麼隱蔽的confounder會扭曲結果。
Bounds/pi間隔：部分可識別的模型→置信邊界。
多重測試：多段調整（BH/Holm）。
外部價值：將效果移植到其他市場/通道（meta-analysis）。

11）影響報告指標

絕對效果：以單位Δ （p.p., u.,分鐘）。
相對效應：對基線的百分比。
NNT/NNH：需要處理多少物體才能達到一個結果/傷害。
Cost-Effectiveness：效果/成本；預算的優先事項。
Uplift@k/Qini/AUUC：針對性幹預。

12）ML實踐中的Causity

Causal Features：並不總是提高預測準確性,但更適合策略。
Causal Forest/Meta-learners （T/X/S-Learner）： CATE和個人uplift評估。
Counterfactual fairness：考慮高斯路徑的模型公平性；阻止「不公平」的路徑。
Do-op vs predict：區分「預測」和「如果做什麼」。第二個需要銅鑼模型/模擬器。

13）因果分析支票清單

• 該問題被表述為幹預/政策效應
• 由DAG建造和同意；選擇了最小協方差集（後門）
• 選擇設計（RCT/準實驗）並驗證關鍵假設
• 時間點數據；不包括葉子；日歷/季節性
• 計算效果和置信區間；進行了試驗性檢查
• 評估了效果異質性（CATE）和風險（guardrails）
• 數字化價值（ROI, NNT/NNH,錯誤成本）
• 實施和監測計劃；重試標準

14）迷你詞匯表

後門/前門：用於識別效果的協方差選擇標準。
IV（工具變量）：「杠桿」改變治療，但不直接結果。
DiD：組之間「前/之後」更改的差異。
RDD：在規則閾值附近評估效果。
合成控制：控制是供體的加權組合。
HTE/CATE：跨段異質/條件效應。
Uplift：預期的影響增加，不可能發生事件。

結果

相關性有助於找到假設，因果關系有助於做出決定。構建DAG，選擇適當的設計（實驗或準實驗），檢查假設和穩定性，測量異質性影響，並通過guardrails和監視將發現轉化為策略。因此，分析師不再是「關於通信」，並成為變革的引擎。