Korelacja, przyczyna i efekt

Korelacja, przyczyna i efekt

Korelacja rejestruje wspólne zmiany zmiennych. Związek przyczynowy odpowiada na pytanie: co się stanie, jeśli interweniujemy? W analityce, produktach i zarządzaniu ryzykiem wartość przynosi właśnie efekt przyczynowy: pozwala ocenić przyrost z rozwiązania, a nie tylko skojarzenie.

1) Podstawowe pojęcia

Korelacja (stowarzyszenie): relacja statystyczna bez interpretacji "dlaczego. "Może być spowodowane przez wspólną przyczynę, odwróconą przyczynę lub przypadek.
Efekt leczenia: oczekiwana różnica między światem „z interwencją” a „bez interwencji”.
Przeciwne: niemożliwa obserwacja „co by się stało z tym samym obiektem bez wpływu”.
Konfounder: zmienna, która wpływa zarówno na przyczynę, jak i wynik → tworzy fałszywy związek.
Zderzacz: zmienna, na którą wpływa zarówno przyczyna, jak i wynik; stan zderzaka zniekształca skojarzenie.
Paradoks Simpsona: kierunek działania zmienia się po uwzględnieniu ukrytej zmiennej/segmentu.

2) Kiedy korelacja jest wystarczająca i kiedy nie jest

Analityka opisowa, monitorowanie, EDA: korelacje/szeregi/heatmap → wykrywanie hipotez i zagrożeń.
Podejmowanie decyzji i ocena wpływu: wymagane są metody przyczynowe (eksperymenty lub quasi-eksperymenty).
Modele prognozowania: Korelacje są przydatne, ale dla ROI/polityki - przejście do szacunków przyczynowych lub modeli podwyższenia.

3) Eksperymenty: Złoty standard

Testy A/B (randomizacja): wyeliminować zamieszanie, porównać grupy.
Poręcze: czas trwania ≥ jeden cykl zachowania, stabilna ekspozycja, kontrola sezonowości i zakłóceń (spillover).
Metryka: efekt, przedziały ufności, MDE/moc, niejednorodność działania według segmentu (heterogeniczny efekt leczenia).
Praktyka: kanaryjskie uwolnienia, stopniowe rollout, CUPED/covariate control w celu zmniejszenia wariancji.

4) Jeśli eksperyment nie jest możliwy: quasi-eksperymenty

Różnice między różnicami (DiD): Różnica między zmianami przed/po zmianie między „testem” a „kontrolą”. "Kluczowe założenie jest równoległe trendy przed interwencją.
Kontrola syntetyczna: budujemy kontrolę „syntetyczną” jako ważoną mieszaninę grup dawców. Odporny na różne dynamiki trendów.
Nieciągłość regionu (RDD): reguła progowa dotycząca przypisywania oddziaływania; porównanie po obu stronach progu. Ważne: brak „manipulacji” progiem.
Zmienne instrumentalne (IV): zmienna wpływa na „leczenie”, ale nie wpływa bezpośrednio na wynik (z wyjątkiem leczenia). Wymagane: znaczenie i ważność instrumentu.
PSM/Matching: test i kontrola z podobnymi covariates; przydatne jako wstępne przetwarzanie, ale nie eliminuje ukrytych spowiedzi.
Przerwana seria czasowa (ITS): ocena zerwania tendencji w punkcie polityki przy braku innych wstrząsów.

5) Wykresy przyczynowe i kryteria dotyczące „otworów”

DAG (orientowany wykres alifatyczny): mapa wizualna związków przyczynowych. Pomaga wybrać zmienne do monitorowania.
Kryterium tylnych drzwi: blokujemy wszystkie tylne ścieżki (konfounders) - otrzymujemy bezstronne oszacowanie efektu.
Kryterium przednich drzwi: używamy pośrednika, który w pełni wywiera wpływ na ominięcie ukrytych spowiedzi.
Nie kontroluj zderzaków i potomków wyniku: to tworzy przemieszczenia.
Praktyka: najpierw narysować DAG z ekspertami domeny, a następnie wybrać minimalny zestaw covariates.

6) Potencjalne wyniki i oszacowania skutków

ATE/ATT/ATC: średni efekt we wszystkich grupach kontrolnych.
CATE/HTE: efekt według segmentu (kraj, kanał, klasa ryzyka).
Modelowanie uplift: uczymy model klasyfikować obiekty przez spodziewany wzrost z interwencji, a nie przez początkowe prawdopodobieństwo zdarzenia.

7) Częste pułapki

Odwrotna przyczynowość: „wzrost zniżek” - zniżki reagują na spadek, a nie na odwrót.
Brakujące zmienne: nieraportowane zapasy/sezonowość/zmiany regionalne.
Stronniczość ocalałych: Analiza tylko „pozostałych”.
Wyciek: wykorzystanie przyszłych informacji w szkoleniu/ocenie.
Metryka mieszania: optymalizacja mierników proxy zamiast efektu biznesowego (Goodhart).
Regresja do średniej: Naturalny powraca do maski trendu „efekty”.

8) Przyczynowość produktu, marketing i ryzyko

Marketing/kampanie: zwiększenie ukierunkowania, zróżnicowane częstotliwości kontaktu, oceny przyczynowe LTV, DiD/syntetyczne ROMIs kontroli.
Ustalanie cen/promocja: RDD (zasady progowe), eksperymenty SKU/próbkowania regionalnego.
Zalecenia: ocena pozapolityczna (IPS/DR) i bandyci; rozliczanie zakłóceń.
Polityka przeciwdziałania nadużyciom finansowym/RG: ostrożność z przyczynowością - zamki zmieniają zachowanie i dane; używać quasi-eksperymentów i barier na FPR i odwołań.
zarządzanie operacjami: ITS w przypadku uwolnień i incydentów; wykresy przyczynowe dla RCA.

9) Procedura analizy: od hipotezy do rozwiązania

1. Sformułuj pytanie jako przyczynowe: „Jaki jest wpływ X na Y w horyzoncie T?”

2. Narysuj DAG: współrzędne z domeną, oznaczanie konfounderów/mediatorów/zderzaków.
3. Wybierz projekt: RCT/A-B, DiD, RDD, IV, kontrola syntetyczna, dopasowanie.
4. Zdefiniuj wskaźniki: główne (efekt), poręcze (jakość/etyka/operacje), segmenty CATE.
5. Przygotowanie danych: punkt w czasie, covariates „before” impact, kalendarz i sezonowość.
6. Ocena działania: modele wyjściowe + testy robastyczne (badania placebo, wrażliwość).
7. Sprawdź solidność: alternatywne specyfikacje, wykluczenie podejrzanych covariates, opuszczenie jednego.
8. Wprowadzenie do działania: polityka/rollout, SLO, monitorowanie i powtarzanie podczas dryfowania.

10) Praktyki robastyczne i weryfikacja

Kontrole wstępne (dla DiD): tendencje testowe/kontrolne są podobne przed interwencją.
Placebo/permutacje: „fikcyjne daty” lub „fikcyjne grupy” - efekt musi zniknąć.
Analiza wrażliwości: ile ukrytego splątania zniekształci wynik.
Granice/pi-przedziały: częściowo identyfikowalne modele → granice zaufania.
Wiele testów-BH/Holm regulacji dla wielu segmentów.
Ważność zewnętrzna: możliwość przenoszenia efektu na inne rynki/kanały (meta-analiza).

11) Mierniki sprawozdawczości skutków

Efekt bezwzględny: Α w jednostkach (pp, cu, minuty).
Wpływ względny:% do wartości wyjściowej.
NNT/NNH: Ile obiektów trzeba przetworzyć, aby osiągnąć jeden wynik/szkodę.
Opłacalność: efekt/koszt; priorytety budżetów.
Uplift @ k/Qini/AUUC: dla ukierunkowanych interwencji.

12) Przyczynowość w praktyce ML

Funkcje przyczynowe: Nie zawsze poprawić dokładność prognozy, ale są lepiej dostosowane do zasad.
Las przyczynowy/Meta-learners (T/X/S-Learner): wynik CATE i osobisty wzrost.
Sprawiedliwość przeciwna: uczciwość modeli z uwzględnieniem ścieżek przyczynowych; blokowanie „niesprawiedliwych” ścieżek.
Do-op vs przewidywać: Rozróżnić "przewidzieć" i "co jeśli zrobić. "Drugi wymaga modeli przyczynowych/emulatorów.

13) Lista kontrolna związku przyczynowego

• Pytanie jest ujęte jako efekt interwencji/polityki
• Zbudowany i uzgodniony przez DAG; wybrany minimalny zestaw covariates (tylne drzwi)
• Wybrany projekt (eksperyment RCT/quasi) i testowane kluczowe założenia
• Dane punktowe w czasie; wykluczone twarze; uwzględniony kalendarz/sezonowość
• Efekt i przedziały ufności obliczone; przeprowadzone zostały kontrole robastyczne
• Ocena niejednorodności skutków (CATE) i ryzyka (bariery ochronne)
• Wartość zdigitalizowana (ROI, NNT/NNH, koszt błędu)
• Plan realizacji i monitorowania; powtórne kryteria

14) Mini glosariusz

Tylne drzwi/drzwi przednie: kryteria wyboru kluczy do identyfikacji efektów.
IV (zmienna instrumentalna): „dźwignia” zmieniająca leczenie, ale nie wynik bezpośrednio.
DiD: różnica przed/po zmianach między grupami.
RDD: oszacowanie efektu w pobliżu progu reguły.
Kontrola syntetyczna: kontrola jako ważona kombinacja dawców.
HTE/CATE: efekt niejednorodny/warunkowy według segmentów.
Podwyższenie: oczekiwany wzrost od uderzenia, a nie prawdopodobieństwo zdarzenia.

Wynik

Korelacje pomagają znaleźć hipotezy, przyczynowość pomaga podejmować decyzje. Zbudować DAG, wybrać odpowiedni projekt (eksperyment lub quasi-eksperyment), założenia testowe i solidność, zmierzyć niejednorodne efekty, i przełożyć wnioski na politykę z bariery i monitorowania. Analityka przestaje więc być „o połączeniach” i staje się silnikiem zmian.