Корреляция және себеп-салдарлық байланыстар

Корреляция және себеп-салдарлық байланыстар

Корреляция айнымалылардың бірлескен өзгерістерін тіркейді. Себебі: егер біз аралассақ не болады? Талдауда, өнімде және тәуекел-менеджментте құндылық дәл осы себепті әсерді әкеледі: ол жай ғана қауымдастық емес, шешімнің инкрементасын бағалауға мүмкіндік береді.

1) Базалық ұғымдар

Корреляция (қауымдастық): «неліктен» түсіндірілмеген статистикалық байланыс. Жалпы себептерден, кері себептерден немесе кездейсоқтықтан туындауы мүмкін.
Себептік әсер (treatment effect): «араласумен» және «араласусыз» әлем арасындағы күтілетін айырмашылық.
Контрфакт: «әсерсіз осы объектіге не болар еді» деген мүмкін емес бақылау.
Конфаундер: себебіне де, нәтижесіне де әсер ететін ауыспалы → жалған байланыс жасайды.
Коллайдер: себебі де, нәтижесі де әсер ететін ауыспалы; коллайдер шарты қауымдастықты бұрмалайды.
Симпсон парадоксы: әсердің бағыты жасырын айнымалыны/сегментті есепке алғаннан кейін өзгереді.

2) Корреляция жеткілікті болғанда, ал болмағанда

Дескриптивті талдау, мониторинг, EDA: корреляциялар/дәрежелер/heatmap → гипотезалар мен тәуекелдерді анықтау.
Шешім қабылдау және әсерін бағалау: себептік әдістер (эксперименттер немесе квазиэксперименттер) талап етіледі.
Болжау модельдері: корреляциялар пайдалы, бірақ ROI/саясат үшін - каузальдық бағалауға немесе uplift-модельдерге көшу.

3) Эксперименттер: алтын стандарт

A/B-тесттер (рандомизация): конфаундингті жояды, топтарды салыстырмалы етеді.
Guardrails: бір жүріс-тұрыс циклі ≥ ұзақтығы, тұрақты экспозиция, маусымдық бақылау және интерференция (spillover).
Метриктер: әсер, сенімді аралықтар, MDE/power, сегменттер бойынша әсер біркелкі емес (Heterogeneous Treatment Effect).
Практика: канареялық релиздер, кезең-кезеңімен rollout, CUPED/дисперсияны төмендету үшін ковариатты бақылау.

4) Егер эксперимент мүмкін болмаса: квазиэксперименттер

Difference-in-Differences (DiD): «тест» және «бақылау» арасындағы «дейін/кейін» өзгерістер айырмашылығы. Негізгі жол беру - араласуға дейінгі параллельді трендтер.
Синтетикалық бақылау: донорлық топтардың салмақталған қоспасы ретінде «синтетикалық» бақылау жасаймыз. Түрлі трендтердің динамикасына төзімді.
Regression Discontinuity (RDD): әсер етуді белгілеудің шекті ережесі; табалдырықтың екі жағы бойынша салыстыру. Маңызды: табалдырықты «манипуляциялаудың» болмауы.
Аспаптық ауыспалылар (IV): ауыспалы «емдеуге» әсер етеді, бірақ нәтижеге тікелей әсер етпейді (емдеу арқылы емес). Мыналар талап етіледі: аспаптың релеванттығы және валидтілігі.
Салыстыру (PSM/Matching): ұқсас ковариаттармен тест және бақылау; препроцессинг ретінде пайдалы, бірақ жасырын конфаундерлерді жоя алмайды.
Interrupted Time Series (ITS): басқа күйзелістер болмаған кезде саясат кезіндегі тренд сынығын бағалау.

5) Causal Graphs және «тесіктер» критерийлері

DAG (бағдарланған ациклдық баған): себептік қатынастардың визуалды картасы. Қандай айнымалыларды бақылауға көмектеседі.
Back-door criterion: барлық артқы жолдарды (конфаундер) бұғаттаймыз - әсердің қосылмаған бағасын аламыз.
Front-door criterion: жасырын конфаундерлерді айналып өту үшін толық әсер ететін делдалды пайдаланамыз.
Коллайдерлерді және нәтиженің ұрпақтарын бақыламаңыз: бұл ығысуды тудырады.
Тәжірибе: алдымен домендік сарапшылармен DAG суретін саламыз, содан кейін ковариаттың ең аз жиынтығын таңдаймыз.

6) Әлеуетті нәтижелер және әсерді бағалау

ATE/ATT/ATC: барлық/өңделген/бақылау бойынша орташа әсер.
CATE/HTE: сегменттер бойынша әсер (ел, арна, тәуекел сыныбы).
Uplift-модельдеу: оқиғаның бастапқы ықтималдығы бойынша емес, интервенциядан күтілетін өсім бойынша объектілерді саралауды үйрену.

7) Жиі тұзақтар

Кері себеп: «жеңілдіктердің ұлғаюы сұраныстың құлдырауы» - жеңілдіктер құлдырауға жауап береді, керісінше емес.
Өткізілген ауыспалы: есепке алынбаған акциялар/маусымдық/өңірлік өзгерістер.
Тірі қалғандар (survivorship bias): тек «қалғандарын» талдау.
Leakage: оқыту/бағалау кезінде болашақ ақпаратты пайдалану.
Метриктерді араластыру: бизнес-әсердің орнына прокси-метриктерді оңтайландыру (Goodhart).
Орташа регрессия: трендке табиғи қайтулар «әсерлерді» бүркемелейді.

8) Өнімдегі, маркетингтегі және тәуекелдердегі каузальдылық

Маркетинг/науқан: uplift-таргетинг, дифференциалды байланыс жиілігі, каузальды LTV-бағалау, DiD/синтетикалық бақылау бойынша ROMI.
Баға белгілеу/промо: RDD (шекті ережелер), SKU/өңірлер іріктемесіндегі эксперименттер.
Ұсынымдар: off-policy бағалау (IPS/DR) және bandits; интерференцияны есепке алу.
Антифрод/RG-саясат: каузальдықпен абайлаңыз - блоктау мінез-құлық пен деректерді өзгертеді; FPR және апелляциялар бойынша квазиэксперименттер мен guardrails пайдаланыңыз.
Жедел басқару: релиздер мен инциденттерге арналған ITS; RCA үшін каузальды бағандар.

9) Талдау рәсімі: гипотезадан шешімге

1. Сұрақты себеп ретінде тұжырымдау: «T көкжиегіндегі Y-ге X әсері қандай?»

2. DAG салу: доменмен келісу, конфаундерлерді/медиаторларды/коллайдерлерді белгілеу.
3. Дизайн таңдау: RCT/A-B, DiD, RDD, IV, синтетикалық бақылау, matching.
4. Өлшемдерді анықтау: негізгі (әсер), guardrails (сапа/этика/операциялар), CATE сегменттері.
5. Деректерді дайындау: point-in-time, ковариаттар «дейін» әсер ету, күнтізбе және маусымдылық.
6. Әсерін бағалау: базалық модельдер + робаст-тексерулер (placebo-тесттер, сезімталдық).
7. Тұрақтылығын тексеру: баламалы ерекшеліктер, күдікті ковариаттарды алып тастау, leave-one-out.
8. Іске қосу: саясат/rollout, SLO, мониторинг және дрейф кезіндегі ретест.

10) Робаст-практикалар және верификация

Pre-trend checks (DiD үшін): тест/бақылау трендтері интервенцияға ұқсас.
Placebo/орын ауыстырулар: «жалған күндер» немесе «жалған топтар» - әсер жойылуы тиіс.
Sensitivity analysis: қаншалықты жасырын конфаундер нәтижені бұрмалайды.
Bounds/пи аралықтары: ішінара сәйкестендірілетін үлгілер → сенімді шектер.
Multiple testing: көптеген сегменттер кезінде түзетулер (BH/Holm).
External validity: әсердің басқа нарықтарға/арналарға төзімділігі (meta-analysis).

11) Әсерлер бойынша есептілік өлшемдері

Абсолюттік әсер: Δ бірлікпен (п.т., у.е., минут).
Салыстырмалы әсері:% базалық сызыққа.
NNT/NNH: бір нәтиже/зиянға жету үшін қанша нысанды өңдеу керек.
Cost-Effectiveness: тиімділігі/құны; бюджеттердің басымдықтары.
Uplift @k/Qini/AUUC: таргеттелген интервенциялар үшін.

12) ML-тәжірибедегі каузальдық

Causal Features: әрқашан болжам дәлдігін арттыра бермейді, бірақ саясаткерлер үшін жақсы.
Causal Forest/Meta-learners (T/X/S-Learner): CATE және дербес uplift бағалау.
Counterfactual fairness: каузальдық жолдарды ескере отырып, үлгілердің әділдігі; «әділетсіз» жолдарды бұғаттау.
Do-op vs predict: «болжау» және «не істесеңіз» деп анықтаңыз. Екіншісі үшін каузальды модельдер/эмуляторлар қажет.

13) Себепті талдаудың чек-парағы

• Мәселе интервенция/саясат әсері ретінде тұжырымдалған
• DAG құрылды және келісілді; ең аз ковариат жиынтығы таңдалды (back-door)
• Дизайн таңдалды (RCT/квази-эксперимент) және негізгі болжамдар тексерілді
• point-in-time деректері; алып тасталды; күнтізбе/маусымдылық ескерілді
• Тиімділік пен сенімді аралықтар есептелген; робаст-тексерулер жүргізілді
• Әсердің біртекті еместігі (CATE) және тәуекелдер (guardrails) бағаланды
• Цифрландырылған құндылық (ROI, NNT/NNH, қате құны)
• Енгізу және мониторинг жоспары; қайталама тест өлшемдері

14) Шағын глоссарий

Back-door/Front-door: әсерді сәйкестендіру үшін ковариатты іріктеу критерийлері.
IV (аспаптық ауыспалы): емдеуді өзгертетін «тұтқа», бірақ тікелей нәтиже емес.
DiD: топтар арасындағы «дейін/кейін» өзгерістер айырмашылығы.
RDD: ереже шегіне жақын әсерді бағалау.
Synthetic Control: донорлардың салмақты комбинациясы ретінде бақылау.
HTE/CATE: сегменттер бойынша біртекті/шартты әсер.
Uplift: күтілетін әсер өсімі, оқиға ықтималдығы емес.

Жиынтық

Корреляциялар гипотезаларды табуға, себептері - шешім қабылдауға көмектеседі. DAG жасаңыз, тиісті дизайнды таңдаңыз (эксперимент немесе квази-эксперимент), болжамдар мен тұрақтылықты тексеріңіз, біркелкі емес әсерлерді өлшеңіз және қорытындыларды guardrails және мониторинг саясатына көшіріңіз. Осылайша, аналитика «байланыс» болуын тоқтатып, өзгерістердің қозғаушы күшіне айналады.