相关性和因果关系

相关性和因果关系

相关性捕获变量的联合变化。因果关系回答了一个问题：如果我们介入，会发生什么？在分析，产品和风险管理中，价值恰恰带来了因果关系：它允许您从决策中评估嵌入物，而不仅仅是关联。

1）基本概念

相关（关联）：没有解释"原因"的统计关系。可能是由共同原因，反向因果关系或偶然性引起的。
因果效应（治疗效应）："有干扰"和"无干扰"世界之间的预期差异。
反法：不可能观察"同一物体会发生什么而不会受到影响"。
Confounder：影响原因和结果→变量会产生错误的关联。
对撞机：因果关系；对撞机的条件会扭曲关联。
辛普森悖论：考虑到隐藏的变量/段后，效果的方向发生了变化。

2）当相关性足够时，何时没有

描述性分析，监视，EDA：相关性/排名/heatmap →检测假设和风险。
决策和影响评估：需要因果方法（实验或准实验）。
预测模型：相关性很有用，但对于ROI/策略而言-过渡到低价估计或高价模型。

3）实验： 黄金标准

A/B测试（随机化）：消除共鸣，使群体具有可比性。
Guardrails：持续时间≥一个行为周期，稳定曝光，季节控制和干扰（spillover）。
度量标准：效果,置信区间,MDE/power,跨段效应异质性（Heterogeneous Treatment Effect）。
实践：金丝雀发布，分步滚动，CUPED/协方差控制以减少方差。

4）如果实验是不可能的： 准实验

差异化（DiD）："测试"和"控制"之间的"之前/之后"更改差。关键假设是干预前的平行趋势。
合成控制：将"合成"控制构建为供体基团的加权混合物。适应不同的趋势动态。
Regression Discontinuity （RDD）：暴露分配阈值规则；在门槛的两边进行比较。重要的是：没有"操纵"门槛。
工具变量（IV）：变量影响"治疗"，但不直接影响结果（通过治疗除外）。需要：工具的相关性和有效性。
匹配（PSM/匹配）：具有相似协方差的测试和控制；作为预处理很有用，但并不能消除隐藏的共谋者。
Interrupted Time Series （ITS）：在没有其他冲击的情况下评估政策时刻的趋势扭曲。

5）Causal Graphs和"洞"标准"

DAG（定向无环图）：因果关系的视觉图。帮助您选择控制哪些变量。
Back-door criterion：锁定所有后向路径（confounders）-我们得到不可移动的效果估计。
前门评审：使用一个完全具有影响力的中介来规避隐藏的骗子。
不要控制对撞机和结果的后代：这会产生偏差。
实践：首先与域专家绘制DAG，然后选择最小协方差集。

6）潜在结果和影响评估

ATE/ATT/ATC：全部/处理/控制的平均效果。
CATE/HTE：分段效应（国家，频道，风险等级）。
Uplift建模：教导模型根据干预的预期增长而不是事件的初始概率对对象进行排名。

7）频繁陷阱

反向因果关系："折扣增加↔需求下降"-折扣对下降做出反应，反之亦然。
错过的变量：未计入的股票/季节/区域变化。
幸存者（survivorship bias）：仅分析"剩余"。
Leakage：在培训/评估中使用未来的信息。
溷合度量：优化代理度量而不是业务效果（Goodhart）。
回归平均值：自然回归趋势掩盖了"效果"。

8）产品、市场营销和风险中的共性

市场营销/活动：uplift定位，差异化接触频率，causal LTV评估，ROMI DiD/合成控制。
定价/促销：RDD（阈值规则），SKU/区域样本实验。
建议：非政策评估（IPS/DR）和乐队；干扰核算。
Antifrod/RG政策：谨慎地使用低温性-锁定会改变行为和数据；在FPR和上诉上使用准实验和guardrails。
操作管理：用于发布和事件的ITS；RCA的库兹图。

9）分析过程： 从假设到解决

1.将问题表述为因果关系： "T视野中Y的X效果是什么？"

2.绘制DAG：与域匹配，标记共鸣器/介体/对撞机。
3.选择设计：RCT/A-B、DiD、RDD、IV、合成控制、匹配。
4.定义指标：主要（效果）、guardrails（质量/道德/操作）、CATE段。
5.准备数据：点对点，协变量"影响"，日历和季节性。
6.评估效果：基本模型+robast检查（placebo测试,灵敏度）。

7.检查可持续性： 替代规格,排除可疑协变量,休假一出.

8.转换为：policy/rollout、SLO、监控和漂移时重新定位。

10）机器人实践和验证

预趋势检查（对于DiD）：在干预之前，趋势/控制相似。
Placebo/重新排列："虚拟日期"或"虚拟组"-效果必须消失。
Sensitivity analysis：多么隐蔽的confounder会扭曲结果。
Bounds/pi间隔：部分可识别的模型→置信边界。
多重测试：多段调整（BH/Holm）。
外部价值：将效果移植到其他市场/通道（meta-analysis）。

11）影响报告指标

绝对效果：以单位Δ （p.p., u.,分钟）。
相对效应：对基线的百分比。
NNT/NNH：需要处理多少物体才能达到一个结果/伤害。
Cost-Effectiveness：效果/成本；预算的优先事项。
Uplift@k/Qini/AUUC：针对性干预。

12）ML实践中的Causity

Causal Features：并不总是提高预测准确性,但更适合策略。
Causal Forest/Meta-learners （T/X/S-Learner）： CATE和个人uplift评估。
Counterfactual fairness：考虑高斯路径的模型公平性；阻止"不公平"的路径。
Do-op vs predict：区分"预测"和"如果做什么"。第二个需要铜锣模型/模拟器。

13）因果分析支票清单

• 该问题被表述为干预/政策效应
• 由DAG建造和同意；选择了最小协方差集（后门）
• 选择设计（RCT/准实验）并验证关键假设
• 时间点数据；不包括叶子；日历/季节性
• 计算效果和置信区间；进行了试验性检查
• 评估了效果异质性（CATE）和风险（guardrails）
• 数字化价值（ROI, NNT/NNH,错误成本）
• 实施和监测计划；重试标准

14）迷你词汇表

后门/前门：用于识别效果的协方差选择标准。
IV（工具变量）："杠杆"改变治疗，但不直接结果。
DiD：组之间"前/之后"更改的差异。
RDD：在规则阈值附近评估效果。
合成控制：控制是供体的加权组合。
HTE/CATE：跨段异质/条件效应。
Uplift：预期的影响增加，不可能发生事件。

结果

相关性有助于找到假设，因果关系有助于做出决定。构建DAG，选择适当的设计（实验或准实验），检查假设和稳定性，测量异质性影响，并通过guardrails和监视将发现转化为策略。因此，分析师不再是"关于通信"，并成为变革的引擎。