Кореляція та причинно-наслідкові зв'язки

Кореляція та причинно-наслідкові зв'язки

Кореляція фіксує спільні зміни змінних. Причинність відповідає на питання: що станеться, якщо ми втрутимося? В аналітиці, продукті і ризик-менеджменті цінність приносить саме причинний ефект: він дозволяє оцінити інкремент від рішення, а не просто асоціацію.

1) Базові поняття

Кореляція (асоціація): статистичний зв'язок без інтерпретації «чому». Може бути викликана загальною причиною, зворотною причинністю або випадковістю.
Причинний ефект (treatment effect): очікувана різниця між світом «з втручанням» і «без втручання».
Контрфакт: неможливе спостереження «що було б з цим же об'єктом без впливу».
Конфаундер: змінна, що впливає і на причину, і на результат → створює помилковий зв'язок.
Колайдер: змінна, на яку впливають і причина, і результат; умова на коллайдер спотворює асоціацію.
Парадокс Сімпсона: напрямок ефекту змінюється після врахування прихованої змінної/сегмента.

2) Коли кореляції достатньо, а коли - ні

Дескриптивна аналітика, моніторинг, EDA: кореляції/ранги/heatmap → виявити гіпотези і ризики.
Прийняття рішень та оцінка впливу: потрібні причинні методи (експерименти або квазіексперименти).
Моделі прогнозування: кореляції корисні, але для ROI/політик - перехід до каузальних оцінок або uplift-моделей.

3) Експерименти: Золотий стандарт

A/B-тести (рандомізація): усувають конфаундінг, роблять групи порівнянними.
Guardrails: тривалість ≥ одному циклу поведінки, стабільна експозиція, контроль сезонності та інтерференції (spillover).
Метрики: ефект, довірчі інтервали, MDE/power, неоднорідність ефекту за сегментами (Heterogeneous Treatment Effect).
Практика: канарні релізи, поетапний rollout, CUPED/контроль коваріат для зниження дисперсії.

4) Якщо експеримент неможливий: квазіексперименти

Difference-in-Differences (DiD): різниця змін «до/після» між «тестом» і «контролем». Ключове припущення - паралельні тренди до втручання.
Синтетичний контроль: будуємо «синтетичний» контроль як зважену суміш донорських груп. Стійкий до різної динаміки трендів.
Regression Discontinuity (RDD): порогове правило призначення впливу; порівняння по обидві сторони порога. Важливо: відсутність «маніпуляції» порогом.
Інструментальні змінні (IV): змінна впливає на «лікування», але не впливає безпосередньо на результат (крім через лікування). Потрібні: релевантність і валідність інструменту.
Зіставлення (PSM/Matching): тест і контроль зі схожими коваріатами; корисно як препроцесинг, але не усуває приховані конфаундери.
Interrupted Time Series (ITS): оцінка зламу тренду в момент політики при відсутності інших шоків.

5) Causal Graphs і критерії «дірок»

DAG (орієнтований ациклічний граф): візуальна карта причинних відносин. Допомагає вибрати, які змінні контролювати.
Back-door criterion: блокуємо всі задні шляхи (конфаундери) - отримуємо незміщену оцінку ефекту.
Front-door criterion: використовуємо посередник, що повністю несе вплив, щоб обійти приховані конфаундери.
Не контролюйте колайдери і нащадків результату: це створює зсуви.
Практика: спочатку малюємо DAG з доменними експертами, потім вибираємо мінімальний набір коваріат.

6) Потенційні результати та оцінка ефекту

ATE/ATT/ATC: середній ефект за всіма/обробленими/контролю.
CATE/HTE: ефект за сегментами (країна, канал, ризик-клас).
Uplift-моделювання: вчимо модель ранжувати об'єкти за очікуваним приростом від інтервенції, а не за вихідною ймовірністю події.

7) Часті пастки

Зворотна причинність: «збільшення знижок ↔ падіння попиту» - знижки реагують на падіння, а не навпаки.
Пропущені змінні: невраховані акції/сезонність/регіональні зміни.
Ті, що вижили (survivorship bias): аналіз тільки «залишилися».
Leakage: використання майбутньої інформації при навчанні/оцінці.
Змішування метрик: оптимізація проксі-метрик замість бізнес-ефекту (Goodhart).
Регресія до середнього: природні повернення до тренду маскують «ефекти».

8) Каузальність у продукті, маркетингу та ризиках

Маркетинг/кампанії: uplift-таргетинг, диференційовані частоти контактів, каузальні LTV-оцінки, ROMI по DiD/синтетичному контролю.
Ціноутворення/промо: RDD (порогові правила), експерименти на вибірці SKU/регіонів.
Рекомендації: off-policy оцінка (IPS/DR) і bandits; облік інтерференції.
Антифрод/RG-політики: обережно з каузальністю - блокування змінюють поведінку і дані; використовуйте квазіексперименти та guardrails за FPR та апеляціями.
Оперуправління: ITS для релізів та інцидентів; каузальні графи для RCA.

9) Процедура аналізу: від гіпотези до рішення

1. Сформулювати питання як причинне: «Який ефект X на Y в горизонті T?»

2. Намалювати DAG: узгодити з доменом, відзначити конфаундери/медіатори/колайдери.
3. Вибрати дизайн: RCT/A-B, DiD, RDD, IV, синтетичний контроль, matching.
4. Визначити метрики: основна (ефект), guardrails (якість/етика/операції), сегменти CATE.
5. Підготувати дані: point-in-time, коваріати «до» впливу, календар і сезонність.
6. Оцінити ефект: базові моделі + робаст-перевірки (placebo-тести, чутливість).
7. Перевірити стійкість: альтернативні специфікації, виключення підозрілих коваріат, leave-one-out.
8. Перевести в дію: політика/rollout, SLO, моніторинг і ретест при дрейфі.

10) Робаст-практики та верифікація

Pre-trend checks (для DiD): тренди тест/контроль схожі до інтервенції.
Placebo/перестановки: «фіктивні дати» або «фіктивні групи» - ефект повинен зникати.
Sensitivity analysis: наскільки прихований конфаундер спотворить результат.
Bounds/пі-інтервали: частково ідентифіковані моделі → довірчі межі.
Multiple testing: коригування (BH/Holm) при безлічі сегментів.
External validity: переносимість ефекту на інші ринки/канали (meta-analysis).

11) Метрики звітності за ефектами

Абсолютний ефект: Δ в одиницях (п.п., у.о., хвилини).
Відносний ефект: % до базової лінії.
NNT/NNH: скільки об'єктів потрібно обробити, щоб досягти одного результату/шкоди.
Cost-Effectiveness: ефект/вартість; пріоритети бюджетів.
Uplift@k / Qini / AUUC: для таргетованих інтервенцій.

12) Каузальність в ML-практиці

Causal Features: не завжди підвищують точність прогнозу, але краще підходять для політик.
Causal Forest / Meta-learners (T/X/S-Learner): оцінка CATE і персонального uplift.
Counterfactual fairness: справедливість моделей з урахуванням каузальних шляхів; блокування «несправедливих» шляхів.
Do-op vs predict: розрізняйте «передбачити» і «що якщо зробити». Для другого потрібні каузальні моделі/емулятори.

13) Чек-лист причинного аналізу

• Питання сформульовано як ефект інтервенції/політики
• Побудований і узгоджений DAG; обрано мінімальний набір коваріат (back-door)
• Обрано дизайн (RCT/квазі-експеримент) та перевірено ключові припущення
• Дані point-in-time; виключені лики; календар/сезонність враховані
• Розраховані ефект і довірчі інтервали; проведено робаст-перевірки
• Оцінено неоднорідність ефекту (CATE) і ризики (guardrails)
• Оцифрована цінність (ROI, NNT/NNH, вартість помилки)
• План впровадження та моніторингу; критерії повторного тесту

14) Міні-глосарій

Back-door/Front-door: критерії відбору коваріат для ідентифікації ефекту.
IV (інструментальна змінна): «важіль», що змінює лікування, але не результат безпосередньо.
DiD: різниця змін «до/після» між групами.
RDD: оцінка ефекту поблизу порога правила.
Synthetic Control: контроль як зважена комбінація донорів.
HTE/CATE: неоднорідний/умовний ефект за сегментами.
Uplift: очікувана надбавка від впливу, не ймовірність події.

Підсумок

Кореляції допомагають знаходити гіпотези, причинність - приймати рішення. Будуйте DAG, вибирайте доречний дизайн (експеримент або квазі-експеримент), перевіряйте припущення і стійкість, вимірюйте неоднорідні ефекти і переводьте висновки в політику з guardrails і моніторингом. Так аналітика перестає бути «про зв'язки» і стає двигуном змін.