Prognozowanie KPI

Prognoza KPI

Prognozowanie KPI nie jest „zgadywanie wykresu”, ale kontrolowana pętla: poprawne dane → odpowiedni model → scenariusze i interpretacja → monitorowanie operacyjne. Poniżej znajduje się lista kontrolna systemu i architektura, która skaluje się od prostych serii do portfolio, prognozy hierarchiczne i probabilistyczne.

1) Oświadczenie o zadaniu

Co przewidujemy? poziom, delta, kwantyl, przedział, zdarzenie (kolec).
Horyzont/krok: godziny/dni/tygodnie/miesiące; okna toczenia do krótkoterminowej kontroli.
Jednostka: Produkt/Marka/Kraj/Platforma/Kanał.
Kontekst biznesowy: kontrolowane dźwignie (promo, ceny, wydania) i ograniczenia (SLA, RG/zgodność).
Wartości i ryzyka: koszt ponownego/niedofinansowanego, grzywna za fałszywe wpisy.

2) Dane i przygotowanie

Ziarno i kalendarz: pojedynczy kalendarz (wakacje/weekendy/dni płac), czas locale (UTC + widoki lokalne).
Kruszywa i konsystencja: DAU/WAU/MAU, GGR/Net, ARPPU, retencja (D7/D30), konwersje lejków, opóźnienie p95 - przechowywać jako oddzielne prezentacje z wyraźnymi formułami.
Regresorzy (X): promocje/bonusy, kampanie, zmiany cen, wydania treści, imprezy sportowe, kursy wymiany walut, pogoda (w stosownych przypadkach).
Anomalie i zaniechania: etykietujemy, nie usuwać ślepo; dla wydarzeń - „jednorazowe” flagi.
Stabilność systemów: rejestrujemy punkty zmian wersji/wymiarów produktu jako zdarzenia.

3) Typy KPI i funkcje modelowania

Wolumen dodatku (przychody, depozyty): ETS/ARIMA/GBM/Temporal-NN działa dobrze.
Frakcje i konwersje: linie logitowe, modele beta-dwumianowe, regresja ograniczona [0,1].
Współczynniki i współczynniki (ARPPU): model licznika i mianownika oddzielnie, a następnie skład.
Seria intermittent (rzadkie zdarzenia, obciążenie zwrotne): Croston/SBA/TSB, zero-inflated podejścia.
Hierarchie (strana → brend → kanal): pojednanie: Bottom-Up, Top-Down, Mint.
Złożone KPI (na przykład GGR): zdezagregowane sterowniki: ruch × konwersja × częstotliwość × średnia kontrola.

4) Modele: od podstawowych do zaawansowanych

Linie podstawowe: Naive, Sezonowe Naive, Drift - potrzebne do uczciwej oceny.
Klasyka serii: ETS/ARIMA/SARIMA; Prorok na szybki sezonowość i wakacje.
Regresory: ARIMAX/ETS + X, regresje dynamiczne, TBATS dla wielu sezonowości.
Zwiększanie gradientu/tabularne NN: GBM/XGBoost/TabNet z funkcjami lag, statystyki okien, kalendarz i promo.
Temporal NN: N-Beats, TFT (Temporal Fusion Transformer) - dla wielu serii i bogatych X.
Probabilistyka: regresja kwantowa (strata pinkla), gaussian/student-t, lasy kwantylowe/GBM.
Przyczynowość i scenariusze: DiD/SC do oceny efektu promo; podniesienie harmonogramu „co się dzieje, jeśli włączymy”.

5) Rozkład i znaki

T + S + R: tendencja + sezonowość (dzień tygodnia/miesiąc/godzinę) + saldo.
Lagi i okna:'y _ {t-1.. t-28} ', średnie ruchome/std, wg. Wygładzanie; „ogony wakacyjne”.
Kategoria: kraj/kanał/system operacyjny jako osadzanie/jednorazowe.
Wydarzenia: Wydania/Promocje/Banery - Binarne/Intensywności.
Kontrola wycieków: tylko informacje „z przeszłości”.

6) Punktowanie i backtesting

Podziały: walcowanie/rozszerzanie pochodzenia; blokujemy sezonowość (wiele tygodni/miesięcy).
Mierniki poziomu: MAE, RMSE, MAPE/sMAPE, WAPE (bardziej niezawodne przy zerach).
Metryka probabilistyczna: strata pinballu (q = 0. 1/0. 5/0. 9), CRPS, kalibracja odstępów (zasięg, SHARP).
Mierniki zdarzeń/kolców: precyzja/przypomnienie na wykrywaczu „wyrzutu”.
Zasada wyjściowa: model powinien pokonać sezonowe naiwne.
Stabilność: różnice błędów według segmentu/wakacji; poza czasem (ostatnie tygodnie N).

7) Prognozy hierarchiczne i pojednanie

Bottom-Up: podsumować „bottom”; prosty, ale głośny.
Top-Down: Rozłożenie historycznych akcji.
MinT (optymalne pojednanie): minimalizuje przymierze błędów - najlepszy kompromis z bogatym dnem.
Praktyka: trenujemy podstawowe modele na każdym poziomie, a następnie zgadzamy się.

8) Przewidywania probabilistyczne i interpretacja

Kwantyle: q10/q50/q90 → planowanie „pesymista/baza/optymista”.
Przedziały: zasięg docelowy (np. 80 %/95%); sprawdzanie kalibracji.
Koszt ryzyka: plan według warunkowego VaR/oczekiwanego niedoboru dla KPI z asymetrycznymi stratami (prognoza popytu jest droższa niż prognozowana, i odwrotnie).

9) Modelowanie scenariuszy

Egzogenne scenariusze: „bez promo/s promo”, „kurs ± 10%”, „finał piłki nożnej”.
Co-jeśli: zmiana X (intensywność kampanii, limity, ceny) → Prognoza KPI i przedziały ufności.
Plan-fakt: czynniki mostowe: wkład sezonów, promo, ceny, trend, wstrząs/incydent.

10) pętla produkcyjna i MLOp

Częstotliwość przekwalifikowania: krótkoterminowe KPI - dziennie/co tydzień; miesięcznie - T + 1/T + 3.
Warstwy/artefakty: fichestor (parytet online/offline), rejestr modeli, dane KPI/wersje formuły.
Monitorowanie: okno przesuwne WAPE/SMAPE, zasięg przedziału, dryf funkcji (PSI), opóźnienie paszy, generacja SLA.
Wpisy: skok błędu> próg, niekalibrowane przedziały, podział sezonowości.
Awaryjny: degradacja → odwrót do sezonowych naiwnych/ETS; zamrożenie modeli w wakacyjne szczyty.
Histereza: różne progi na/off „regresorów promo”, aby uniknąć „mrugnięcia”.

11) Specyfika produktu i iGaming-KPI (przybliżona mapa)

Ruch/aktywność: DAU/WAU/MAU, w tym dni meczu/wydania gier.
Monetyzacja: GGR/Net, depozyty, ARPU/ARPPU - silny wieczór/weekend/sezonowość wakacyjna.
Retencja: D1/D7/D30 - lepiej przewidzieć jako prawdopodobieństwo (logit) z kalendarzem.
Ryzyko: wskaźnik obciążenia zwrotnego (intermittent), wskaźniki RG (polityki/dni wolne od pracy), sygnały dotyczące zwalczania nadużyć finansowych.
Operacje: opóźnienie p95/p99, błędy transakcyjne - kompatybilne z anomaliami/przyczynowymi wpływami zwolnień.

12) Wzory artefaktów

A. Paszport prognostyczny KPI

KPI/Kod: „GGR _ EUR” (wersja wzoru)

Horyzont/krok: 8 tygodni, dzień

Hierarchia: brend → strana → platforma

Regresory: 'promo _ spend', 'fixtures _ flag', 'holiday', 'fx _ rate'

Model: 'TFT _ v4' (q10/q50/q90) + uzgodnienie mennicy

Wskaźniki: WAPE (cel bezwzględny ≤ 8%), zasięg 90% - przedział ≥ 85%

SLO: generacja ≤ 10 min po godzinie 06:00; dziennik danych ≤ 1 godzina

Właściciele: Monetization Analytics; data rewizji: 2025-10-15

B. Sprawozdanie gotowe do podjęcia decyzji (szkielet)

Nagłówek: „GGR: prognoza 8 tygodni, q10/q50/q90”

Klucz: ryzyko niedoboru prognoz w 3 22% tygodnia (ES = - € X)

Kierowcy: + sezonowość weekendowa, + efekt promo, FX −

Zalecenia: przesunięcie budżetu na tygodnie niskiego ryzyka, podniesienie limitów na kanałach A/B

C. Pseudo-kod rurociągu (przejściowy)

python
1) load data y, X, calendar = load_series_and_regressors()
2) build features ds = make_lags_and_windows(y, X, lags=[1,7,14,28], roll=[7,14,28])
ds = add_calendar_features(ds, calendar) # holidays, dow, month_end
3) split cv = rolling_backtest(ds, folds=6, horizon=28)
4) models m1 = ETSx(). fit(ds. train)         # baseline m2 = LightGBMQuantiles(q=[0. 1,0. 5,0. 9]). fit(ds. train)
5) evaluate scores = evaluate([m1,m2], cv, metrics=['WAPE','pinball'])
6) retrain full + reconcile forecasts = reconcile_minT(train_and_forecast([m2], hierarchy))
7) report + push publish(forecasts, scores, sla=timedelta(minutes=10))

13) Częste błędy i anty-wzory

MAPE przy zerach: użyj WAPE/sMAPE.
Średnia oznacza: liczniki/mianowniki zbiorcze oddzielnie.
Ignoruj wakacje/wydania: Dodaj regresory i daty „po smaku”.
Twarze: cechy z przyszłymi informacjami (wyciek docelowy).
Zbyt „inteligentne” modele bez podstawy: pierwszy pokonać Sezonal Naive.
Niekalibrowane odstępy: „piękne, ale puste” - sprawdź zasięg.
Hierarchia niespójności: bez pojednania, ogólny plan jest rozproszony.
Brak bezpieczeństwa awaryjnego: na szczycie wakacji model „wisi”, plany upadają.

14) Monitorowanie sprzedaży

Jakość: Walcowanie WAPE, pinball według ilości, pokrycie 80/95%.
Stabilność: PSI według kluczowych atrybutów, sezonowość dryfu.
Operacje: czas generowania, opóźnienie danych,% folbacków.
Alerty: „3” reguła o błędzie, naruszenie SLO, podział hierarchii.
Runibook: tryb zamrażania, wyłączanie „hałaśliwych” regresorów, siła przesunięcia.

15) Lista kontrolna przed zwolnieniem

• KPI zdefiniowane i zmienione (warstwa semantyczna)
• Kalendarz/wakacje/regresory wyrównane i przetestowane
• Linie podstawowe (naiwne/sezonowe) pokonane przez backtesting
• Wybrane wskaźniki (WAPE/pinball) i progi docelowe
• Przedziały są skalibrowane; zebrane scenariusze pesymistyczne/bazowe/optymistyczne
• Hierarchie zgadzają się (MinT/Top-Down)
• MLOp: harmonogram treningu, monitorowanie, alerty, awaryjny
• Dokumentacja: paszport prognostyczny, przepisy SQL/funkcja, runibook incydent

Razem

Prognozowanie KPI jest architekturą rozwiązań: jasne definicje, bogaty kalendarz i regresory, uczciwe linie podstawowe, prognozy probabilistyczne, hierarchiczne dostosowanie, stabilne MLOp i planowanie scenariuszy. Taki zarys dostarcza wiarygodnych oczekiwań, możliwych do opanowania zagrożeń i „gotowych do podjęcia decyzji” sprawozdań, które bezpośrednio stanowią podstawę planowania, marketingu, operacji i zgodności.