Dryf modelowy i aktualizacje danych

1) Dlaczego ma znaczenie

W iGaming, dystrybucja ruchu, płatności i zachowania gier zmienia się szybko (sezonowość, dostawcy, zapasy, przepisy regulacyjne). Bez systemowej kontroli dryfów rośnie oczekiwany koszt błędów: straty w dochodach netto, fałszywe interwencje RG/AML oraz wzrost nadużyć bonusowych. Celem jest wczesne wykrywanie dryfów, diagnozowanie przyczyny i bezpieczne aktualizowanie danych i modeli.

2) Taksonomia dryfowania (co może „unosić się”)

Covariate drift (X): zmieniły się funkcje (na przykład udział telefonu komórkowego/ASN, mieszanka dostawców).
Etykieta/Dryf wynikowy (Y): zmieniła się podstawa zdarzeń (wskaźnik obciążenia zwrotnego, kliknij/przelicz).

3) Sygnały i progi (punkty orientacyjne)

PSI (wskaźnik stabilności populacji): 0. 10–0. 20 ostrzeżeń,> 0. 20 - impreza dryfująca.
Dywergencja KL/JS: wzrost do progów według kluczowych cech/prędkości.
KS dla stawek (pod etykietami): zwiększenie rozbieżności w CDF.
EKG (kalibracja):> 0. Ostrzeżenie 05,> 0. 07 - działanie.
Oczekiwany koszt @ próg: X% wzrost do modelu bazowego.
Zasięg i brakujący wskaźnik: <99% spadek zasięgu, brak/czas> wzrost progowy.
Metryka plastrów: PR-AUC/ECE/oczekiwany koszt według rynku/urządzenia; spust wyzwalaczy> Y%.

Wybór okna: operacyjny - 1h/6h/24h (przesuwanie), raportowanie - D + 1/D + 7 (rozliczanie opóźnionych etykiet).

4) Okna i etykiety (opóźnienia)

Szybkie etykiety proxy: kliknij, depozyt 7d, zakończona sprawa RG - dla wczesnej wyceny.
Etykiety zatrzymane: obciążenie zwrotne (45-90d), churn/LTV - do walidacji retrospektywnej i regulacji progu/kalibracji.
Od-dyscypliny: ani w cechach, ani w etykietach - „wydarzenia z przyszłości”.

5) Diagnostyka przyczyny korzenia (lista kontrolna RCA)

1. Dane: PSI/KL według najlepszych funkcji, brak/lag, schemat diffs, nowe kategorie.
2. Źródło: alerty dostawcy (PSP/dostawca gier), błędy API/timeout.
3. Sezonowość/promocje: szczytowe misje/turnieje, zmiany RTP/katalog.
4. Region/rezydencja: Zmiana ruchu na rynkach, nowe zasady KYC/RG.
5. Technika: degradacja pamięci podręcznej funkcji, powolny CDC, mała burza plików.
6. Księgi referencyjne/kursy walut/kalendarze: nieaktualne? (FX/wakacje).
7. Uczciwość: awaria jakości w określonych plasterkach.

6) Odtwarzanie działań dryfujących

6. 1 Covariate/Drift funkcji

Szybka: aktualizacja kalibracji (Platt/Isotonic D + 1), dostosowanie progu zgodnie z oczekiwanymi kosztami.
Średniookresowa: częściowa refeatura (stabilne agregaty/okna), aktualizacja TE/WOE z CV uświadomionym czasowo.
Długotrwałe: przekwalifikowanie z nowych wyborów/okien, w razie potrzeby, zmienić architekturę funkcji.

6. 2 Etykieta/Dryf wynikowy

Ponownie obliczyć progi świeżymi etykietami (D + 1, D + 7), ponownie skalibrować.
Naprawić szyny ochronne (ograniczyć działania agresywne do stabilizacji).

6. 3 Dryf koncepcyjny

Szkolenie cieni nowej wersji na najnowszych danych → kanarka → pełna rollout.
Należy rozważyć rozkład domeny (oddzielne modele według segmentu/rynku).

6. 4 Schemat/dryf operacyjny

Włączanie podwójnego wejścia schematu v1/v2, testu równoważności online/offline.
Naprawić źródła, włączyć pamięć podręczną/folback, kompensować luki zasypki.

6. 5 Dryfowanie uczciwości

Tymczasowe progi slajdów/kalibracja, ukierunkowana funkcja retrain/rebalance, audyt zmiennych proxy.

6. 6 Eskalacje

Kill-switch (naruszenie barier) → bezpieczne wycofanie/poprzednia wersja.
Rollback jednym kliknięciem ze wzrostem 5xx/opóźnienie/oczekiwany koszt.

7) Polityka aktualizacji danych

7. 1 Przyrosty i CDC

Stabilne znaki wodne/replikacja dziennika; idempotent MERGE/UPSERT.

7. 2 Zasypka/regeneracja

Zasypka: Dogon dla zakresu (z kontyngentami i oknami).
Ponowne przetwarzanie: ponowne obliczenie przy poprawieniu zmian/błędów logicznych.
Метка: 'logic _ version', 'reprocessed _ at', 'reason'; raport skutków (metryka/koszt).

7. 3 Podróże w czasie/WORM

Tablice ACID (Delta/Iceberg/Hudi), archiwum raportów/wydań WORM.
„Jak było w dniu”: powtarzalność sprawozdawczości regulacyjnej.

7. 4 Katalogi/FX/Kalendarze

Automatyczne aktualizacje, podpis, wersje i sprawdzanie świeżości (SLO o opóźnieniu i wieku).

8) Mierniki i wpisy (minimalny zestaw)

Dane: PSI/KL według najlepszych funkcji, brakująca szybkość, funkcja pobrania opóźnienia.
Jakość: PR-AUC/KS (na etykietach proxy), ECE, expected-cost @ thr.
Operacje: p95/p99 latency, 5xx, pokrycie, autoskalowanie, koszt/żądanie.
Sprawiedliwość: panele plasterkowe (rynki/urządzenia/dostawcy).
Umowy: naruszenie schematu, test równoważności online/offline.

9) Modelowe procedury aktualizacji

1. Cień: nowy model na kopiach zapytań, opóźnienie/jakość/porównanie kosztów.
2. Kanaryjski: 5-10% → 25% → 50% → 100% w zielonych SLO.
3. Próg/kalibracja: obliczyć D + 1; progi - konfiguracja w rejestrze.
4. Dokumentacja: karta modelowa (dane, okna, mierniki, zagrożenia, uczciwość).
5. Archiwum: zwolnienie WORM (wagi, kalibracja, dzienniki testowe, raporty dryfujące).

10) Przykłady (fragmenty)

10. 1 PSI w pomysłach SQL (bining przygotowany z wyprzedzeniem)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 Korekta progowa kosztów oczekiwanych (pseudokoda)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Funkcja równoważności online/offline

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Zasypka z ograniczeniem obciążenia (pomysł na orkiestrę)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Badania i kontrola zmian

Systemy/funkcja umów: testy konsumenckie, podwójny wpis v1/v2.
Badania regresyjne mierników: nie pogorszyć PR-AUC/ECE/oczekiwanego kosztu poza tolerancją.
Testy równoważności online/offline: na próbce referencyjnej.
Testy chaosu: awaria pamięci podręcznej, timeouts źródłowy, ruch awaryjny.

12) Uczciwość i zgodność

Raporty plasterkowe (rozbieżne uderzenie, wyrównane szanse), progi cięcia/kalibracja.
Minimalizacja PII, pobyt (EOG/UK/BR), DSAR/RTBF, Legal Hold.
Decyzje kontrolne: „policy _ id',” threshold', przyczyny interwencji, dzienniki WORM.

13) Koszt i wydajność

Deski rozdzielcze kosztów: koszt/żądanie, koszt/funkcja, state-size стрима, IO/scan/GB дла partch.
Optymalizacja: materializacja ciężkich funkcji offline, pamięci podręcznej, INT8/FP16 o równej jakości.
Kwoty: limity zasypki/powtórki, przekwalifikowanie budżetu według rynku/zespołu.

14) RACI

R (odpowiedzialny): MLOp (monitoring/registry/kickouts), Data Eng (data/CDC/backfill/contracts), Data Science (diagnostyka/kalibracja/retrain/fairness).
A (Odpowiedzialność): szef danych/CDO.
C (skonsultowano się): Zgodność/DPO (PII/RG/AML/DSAR), Bezpieczeństwo (KMS/Audit), SRE (SLO/Value), Finance (Budgets/ROI).
I (Poinformowany): Produkt/Marketing/Operacje/Wsparcie.

15) Plan działania

1. PSI/KL według najlepszych funkcji i punktów, ECE, oczekiwany koszt na etykietach proxy.

2. Zasięg desek rozdzielczych/brak/funkcja-lag, alerty i runbook 'oraz.

3. Procedury rekalibracji (D + 1) i progi; ścieżka cieni dla nowych modeli.

4. Umowy systemowe/funkcja i test równoważności online/offline.

• Panel RCA, monitorowanie plasterków/uczciwości, plan zasypki z kwotami.
• Automatyczna kalibracja/progi, symulator progowy (co-jeśli).
• WORM archiwum raportów dryfujących i wydań.

• Automatyczne przekwalifikowanie imprez dryfujących (kanaryjskich), polityka wielowyregionalna.
• Kwoty kosztów/obciążenie zwrotne, ćwiczenia chaos-/DR, dokumentacja autogenu.

16) Lista kontrolna przedsprzedaży

• SLI/SLO i alerty są konfigurowane (PSI/ECE/expected-cost/coverage/latency/5xx).
• Schemat kontraktów/funkcji i v1/v2 podwójny wpis są zielone.
• Procedury rekalibracji/aktualizacji progowej są udokumentowane i zautomatyzowane.
• Shadow/canary z jednym kliknięciem rollback zaznaczone.
• Zasypka/ponowne przetwarzanie z kwotami i oknami - gotowe; Archiwum WORM jest włączone.
• Przypisuje się panele kawałków/rzetelności i właścicieli segmentów.
• Egzekwowane polityki PII/DSAR/RTBF/Legal Hold; włączony audyt.
• Koszt kontrolowany (koszt/żądanie, koszt/funkcja), pamięć podręczna/TTL skonfigurowany.

17) Przeciwdziałanie modelom i ryzyku

Widzieliśmy wysoki PSI - natychmiast przekwalifikować „ślepo”, bez RCA i kalibracji.
Nie ma rozliczania opóźnionych etykiet → fałszywe wnioski, „progi piły” codziennie.
Brak testu równoważności online/offline → „podwójna rzeczywistość”.
Ignoruj uczciwość: Awarie rynku/urządzenia pozostają niewidoczne.
Zasilanie bez kwot/okien → trafienie do kosztów i SLA.
Próg jest ustalony „na zawsze” → oczekiwany wzrost kosztów z sezonowością.

18) Najważniejsze

Zarządzanie dryfem nie jest jednorazowym przekwalifikowaniem, ale procesem: obserwowalność → diagnostyka → działanie minimalnego ryzyka (kalibracja/próg) → bezpieczne wznawianie/odtwarzanie → kontrola kosztów i audyt. Dzięki tej dyscyplinie modele pozostają dokładne, etyczne i zgodne, nawet w miarę zmian zachowań gracza, dostawcy i rynku.