Wywiad decyzyjny

Wywiad decyzyjny

Decision Intelligence (DI) to dyscyplina, która przekształca dane w zarządzalne decyzje i wymierny efekt. DI integruje przyczynowość, prognozowanie, ekonomię decyzji, kształtowanie polityki i MLOp/operacje w jednym cyklu życia.

1) Ramy DI: OODA/SSDL

Obserwuj (sygnał): znormalizowane zdarzenia, jakość/świeżość, dedup i kontekst.
Orient (zmysł): interpretacja: kohorty, segmenty, wykresy przyczynowe, profile ryzyka.
Decyzja: polityka (zasady/modele/bandyci), uwzględnienie ograniczeń i kosztów błędów.
Akt: orkiestra akcji, kanały, idempotencja, priorytety.
Dowiedz się: oszacowanie efektu przyczynowego, aktualizacja progów/polityk/modeli.

2) Ekonomika rozwiązań

Funkcja wartości: przychody/zatrzymane szkody/zatrzymanie/jakość usług.
Koszt błędu: FP/FN w pieniądzu i ryzyku (RG/zgodność/reputacja).

[
XT = p_{\text{uspekh} }\cdot Value - p_{\text{vred} }\cdot Harm - Koszt
]

Działanie jest dozwolone, jeśli 'XT ≥ 0' i barierki są normalne.
Apetyt na ryzyko: limity FPR, częstotliwość interwencji, budżet na szkodę/skargę, budżet na błędy.

3) Przyczynowość i rokowania

Kiedy prognoza jest wystarczająca: przydział niskiego ryzyka, ranking według prawdopodobieństwa.
Gdy potrzebna jest przyczynowość: ROMI, polityka cen/limitów, bezpieczeństwo/zgodność. Używać A/B, DiD, RDD, IV, kontroli syntetycznej; podczas celowania - podniesienie i CATE.
Pętla przeciwna: prognoza → efekt → efekt → konwersja podwyższenia/progów.

4) Rodzaje polityk

Zasady (kod polityki): deterministyczne, możliwe do wyjaśnienia; bazy i bezpieczeństwa awaryjnego.
Oparte na wynikach: prawdopodobieństwo/szybkość, histereza, progi wrażliwe na koszty.
Kontekst (bandyci): Na wybór ofert/kanałów.
Kolejność (RL): strategie wielostopniowe (bezpieczne RL).
Komponenty: kaskada - bezpieczeństwo/zgodność → gospodarka → UX.

5) architektura DI

Dane: wydarzenia kanoniczne (UTC, wersje), fichestor (parytet online/offline), katalog.
Modele: rejestr/wersje, kalibracja, monitorowanie dryfu (PSI/KL), PR- AUC/Recall @ FPR ≤ x%.
Semantyka i metryka: jeden słownik KPI/barierki, świeżość SLO.
Silnik polityki: tabele decyzji, ABAC/konteksty, histereza, limity stawek, priorytety.
Orkiestrator akcji: gwarantowana dostawa, retrai, idempotency 'action _ id', DLQ.
Obserwability: trace 'correlation _ id', lejek „signal → decision → action → result”.
Bezpieczeństwo: RLS/CLS, maskowanie PII, dziennik dostępu i decyzji.

6) DI Metrics

Jakość rozwiązań

Precyzja decyzji/przypomnienie: poprzez prawdziwy sukces działań.
Żal/utrata możliwości: opóźnienie w realizacji optymalnej polityki.
Zasięg: odsetek obiektów, które otrzymały działanie.
Latency p95: Sygnał → Decyzja → Działanie.
Sprawiedliwość/Szkoda: różnica w błędach segmentu, skargi, odwołania.

Wpływ na działalność gospodarczą

Działania ROMI/ROI, uplift @ k, Qini/AUUC.
Korzyść netto: efekt − koszt − szkoda.
Czas do uderzenia: czas od sygnału do wymiernego wyniku.

7) Wzór decyzji

1. Zastanów się nad efektem: „Jaki jest zysk z trzymania X w Y nad T?”

2. Narysuj DAG, zdefiniuj konfoundery/zderzacze.
3. Wybierz projekt: A/B, eksperyment quasi lub prognoza netto + wynik ex post.
4. Zdefiniowanie działań i rozwiązań alternatywnych, ograniczeń i barier ochronnych.
5. Ustaw funkcję wartości i budżet ryzyka.
6. Opisz politykę w tabeli decyzji: warunki → działanie → kanały → cooldown.
7. Zaplanuj ocenę: wskaźniki efektów, czas trwania, segmenty CATE.
8. Zdefiniuj runbook incydentu i zasady awaryjne.

8) Histereza, częstotliwość i kolizje

Histereza: progi wejściowe/wyjściowe są różne; zapobiega „miganiu” interwencji.
Cooldown: przerwy między kontaktami/ograniczeniami na tym samym obiekcie.
Konflikty polityczne: macierz priorytetowa; „Ochrona ma pierwszeństwo”.
Kontyngenty/limit stawki: na kanał, segment, użytkownik; sprawiedliwej dystrybucji.

9) Poziomy autonomii

1. Ad-hoc: osoba decyduje, że nie ma wystarczających danych.
2. Wspomagany: system oferuje rozwiązanie + wyjaśnienie.
3. Zautomatyzowane: automatyczne rozwiązania wewnątrz barier.
4. Adaptacyjne: progi automatycznego dostrajania/wybór ofert (bandytów).
5. Bezpieczna autonomia: autonomia w ramach formalnych ograniczeń i audytu.

10) Rozwiązania w sytuacji niepewności

Planowanie scenariuszy: podstawowe/stres/ekstremalne; zakresy efektów.
Solidność: strategia odporna na błędy parametryczne.
Intuicja POMDP: działać z niepełnymi informacjami; wycenić koszt informacji (co eksperyment zrobić).
Aktualizacja Bayesian: Połączyć wiedzę historyczną i aktualne dane.

11) Wzorcowy dialog na temat polityki

Model produkuje tempo/dystrybucję wyników.
Polityka uwzględnia koszty błędów, ograniczeń i uczciwości.
Linia partycji znajduje się w wyraźnej polityce progowej decyzji z dziennikiem wersji.
Korekta progowa - przez XT, nie tylko przez ROC/PR.

12) Dokumenty i artefakty

Paszport polityki (szablon)

Kod/wersja, cel i KPI efektu

Warunki/cechy/model, histereza/chłodzenie

Działania i kanały, priorytety i wzajemne wyjątki

Poręcze ochronne (FPR ≤ x%, opóźnienie p95 ≤ y, RG/zgodność)

Wynik: projekt testu, mierniki, czas trwania

Audyt/objaśnienie użytkownikowi, właścicielom

Tabela decyzji (przykład)

System rejestrowania rozwiązań typu „end-to-end”

'signal _ id' →' decision _ id' → 'action _ id' →' result _ id' (+ 'correlation _ id').

13) Zarządzanie i przestrzeganie przepisów

Jednolity słownik metryk i wersji formuły.
Komitet ds. Polityki: Oficer ds. Ryzyka, Produkt, Dane, Zgodność.
Kontrola decyzji: wyjaśnienia, przyczyny odmowy, kanały odwoławcze.
Etyka i sprawiedliwość: monitorowanie błędów według grup; wyłączenie chronionych cech z przepisów, o ile wymaga tego prawo.

14) Częste błędy

Optymalizacja mierników proxy zamiast efektu biznesowego (Goodhart).
Mylące przewidywania i przyczynowość; ROMI „przez korelację”.

Brak histerezy i chłodzenia → spam/” mruganie„

Brak informacji na temat kosztów błędów i szkody dla użytkownika.
Ciche edycje progów/formuł bez wersji i changelog.
Działania bez oceny skutków i „zamknięcie cyklu”.

15) Polityka DI/Lista kontrolna systemu przed wydaniem

• Cel określono jako skutek przyczynowy, podano funkcję wartości i budżet ryzyka
• DAG wyciągnięty; projekt oceny (A/B/DiD/SC) i wybrane mierniki
• Polityka jest opisana w tabeli decyzji; mają histerezy/cooldown/priorytety
• Modele są skalibrowane; progi wynikające z kosztów błędu

Orkiestra akcji jest idempotentna; sygnał → decyzja → działanie → wynik Zaloguj włączony

• Szyny ochronne i wpisy są skonfigurowane; Runbooks i zasady awaryjne są gotowe
• Deski rozdzielcze: lejek decyzji, efekt (uplift/ROI), szkoda/zażalenia, uczciwość
• Udokumentowane wersje/właściciele/prawa dostępu/zgodność

Razem

Wywiad decyzyjny to system, a nie zestaw modeli: jednolite dane i mierniki → przyczynowy i ekonomiczny pogląd na efekt → wyraźna polityka i bezpieczna orkiestra → rygorystyczna ocena i ciągłe uczenie się. Taki system zmniejsza ryzyko, zwiększa ROI i sprawia, że decyzje są powtarzalne, wyjaśnione i zarządzalne.