Үлгілер дрейфі және деректерді жаңарту

1) Бұл не үшін маңызды

iGaming-те трафикті, төлемдерді және ойын тәртібін бөлу тез өзгереді (маусымдық, провайдерлер, акциялар, реттеуші ережелер). Жүйелік бақылаусыз дрейфтің өсуі expected cost қателері: Net Revenue-дегі шығындар, жалған RG/AML интервенциялары, бонустардың көбеюі. Мақсаты - дрейфті ерте анықтау, себебін анықтау, деректер мен модельдерді қауіпсіз жаңарту.

2) Дрейфтің таксономиясы («жүзуі» мүмкін)

Covariate drift (X): фичтер өзгерді (мысалы, мобильді/ASN үлесі, провайдерлер миксы).
Label/Outcome drift (Y): оқиғалар базасы (chargeback-rate, click/convert-rate) өзгерді.

3) Сигналдар мен табалдырықтар (бағдарлар)

PSI (Population Stability Index): 0. 10–0. 20 ескерту,> 0. 20 - дрейф оқиғасы.
KL-дивергенция/JS: негізгі фич/скор бойынша шектерге өсу.
KS (лейблдер кезінде): CDF айырмашылығының өсуі.
ECE (калибрлеу):> 0. 05 ескерту,> 0. 07 - іс-қимыл.
Expected-cost @threshold: базалық модельге X% өсу.
Coverage және Missing-rate: жабындының құлдырауы <99%, өсуі missing/timeout> шегі.
Slice-метриктер: PR-AUC/ECE/expected-cost нарықтар/девайстар бойынша; > Y% триггерлері.

Терезені таңдау: жедел - 1 сағат/6 сағат/24 сағат (жылжымалы), есепті - D + 1/D + 7 (ұсталған лейблдерді есепке алу).

4) Терезелер мен лейблдер (кідірістер)

Жылдам прокси-лейблдер: басу, депозит 7д, аяқталған RG-кейс - ерте бағалау үшін.
Ұсталған лейблдер: chargeback (45-90д), churn/LTV - ретроспективті валидация және табалдырықтарды/калибрлеуді түзету үшін.
As-of пәні: фичте де, лейблде де - «болашақтағы оқиғалар».

5) Бастапқы себептерді диагностикалау (RCA чек-парағы)

1. Деректер: PSI/KL топ-сандар бойынша, missing/lag, schema diffs, жаңа санаттар.
2. Дереккөз: жеткізушілердің тәуекелдері (PSP/ойын провайдері), API/timeout қателері.
3. Маусымдылық/акциялар: миссиялардың/турнирлердің шыңы, RTP/каталогтың өзгерістері.
4. Өңір/резиденттік: нарықтар бойынша трафиктің ауысуы, KYC/RG жаңа ережелері.
5. Техника: фич-кэштің тозуы, баяу CDC, small files шторм.
6. Анықтамалықтар/валюта бағамдары/күнтізбелер: ескірді ме? (FX/мерекелер).
7. Әділеттілік: нақты слайстарда сапаның сәтсіздігі.

6) Дрейф кезіндегі әрекеттер Playbook

6. 1 Covariate/Feature drift

Жылдам: калибрлеуді жаңарту (Platt/Isotonic D + 1), шекті expected-cost бойынша реттеу.
Орта мерзімді: жартылай refeature (тұрақты агрегаттар/терезелер), TE/WOE-ді time-aware CV-мен жаңарту.
Ұзақ мерзімді: жаңа іріктемелері/терезелері бар retrain, қажет болған жағдайда фич архитектурасын қайта қарау.

6. 2 Label/Outcome drift

Жаңа лейблдер бойынша табалдырықтарды қайта санау (D + 1, D + 7), қайта калибрлеу.
guardrails тіркеу (тұрақтандыруға дейін агрессивті әрекеттерді шектеу).

6. 3 Concept drift

Shadow-соңғы деректерде жаңа нұсқасын оқыту → canary → толық rollout.
Домендік декомпозицияны қарастыру (сегменттер/нарықтар бойынша жекелеген модельдер).

6. 4 Schema/Operational drift

v1/v2 схемаларының қосарлы жазбасын, online/offline баламалық тестін қосу.
Көздерді жөндеу, кэш/фолбэктерді қосу, backfill ауытқуларын өтеу.

6. 5 Fairness drift

Уақытша слайс-табалдырықтар/калибрлеу, targeted retrain/ребаланс фич, прокси-айнымалылардың аудиті.

6. 6 Эскалация

Kill-switch (guardrails breach) → қауіпсіз fallback/алдыңғы нұсқасы.
Rollback one-click 5xx/latency/expected-cost.

7) Деректерді жаңарту саясаты

7. 1 Инкременттер және CDC

Тұрақты watermarks/лог-репликация; іспеттес MERGE/UPSERT.

7. 2 Backfill/Reprocessing

Backfill: диапазонға жету (квоталармен және терезелермен).
Reprocessing: логиканы өзгерту/қателерді түзету кезінде қайта есептеу.
Метки: `logic_version`, `reprocessed_at`, `reason`; әсер ету туралы есеп (метрика/құн).

7. 3 Time-travel/WORM

ACID кестелері (Delta/Iceberg/Hudi), WORM-есептер/релиздер мұрағаттары.
«Күні қалай болды»: реттеуші есептіліктің жаңғыртылуы.

7. 4 Анықтамалықтар/FX/Күнтізбелер

Авто-жаңарту, қолтаңба, нұсқалар және жаңаруды тексеру (latency және age SLO).

8) Метриктер мен алерталар (ең аз жиынтық)

Деректер: топ-сандар бойынша PSI/KL, missing-rate, feature-fetch latency.
Сапасы: PR-AUC/KS (прокси-лейблдерде), ECE, expected-cost @thr.
Операциялар: p95/p99 latency, 5xx, coverage, autoscaling, cost/request.
Fairness: слайс-панельдер (базарлар/құрылғылар/провайдерлер).
Келісімшарттар: schema-violations, online/offline equivalence test.

9) Модельді жаңарту рәсімдері

1. Shadow: сұрау көшірмесіндегі жаңа үлгі, latency/quality/cost салыстыру.
2. Canary: 5-10% → 25% → 50% → 100% жасыл SLO.
3. Шекті/калибрлеу: D + 1 деп есептейміз; табалдырықтар - тізілімде жазылады.
4. Құжаттама: модель карточкасы (деректер, терезелер, метрика, тәуекелдер, fairness).
5. Мұрағат: WORM релизі (салмақ, калибрлеу, тест журналдары, дрейф есептері).

10) Мысалдар (фрагменттер)

10. SQL-идеяларда 1 PSI (бининг алдын ала дайындалған)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 expected-cost (жалған құжат) бойынша шекті түзету

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Баламалылығы online/offline фич

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Жүктемені шектеумен Backfill (оркестрлеу идеясы)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Тесттер және өзгерістерді бақылау

Схема/фич келісімшарттары: consumer-driven tests, қос жазба v1/v2.
Регрессиялық метрикалық тесттер: PR-AUC/ECE/expected-cost рұқсат шегінен тыс нашарлатпаңыз.
Баламалық тестілер online/offline: эталондық іріктемеде.
Chaos-тесттер: фича-кэштің істен шығуы, көздердің таймауттары, burst-трафик.

12) Fairness және комплаенс

Slice-есептер (disparate impact, equalized odds), слайс-табалдырықтар/калибрлеу.
PII-минимизация, резиденттік (EEA/UK/BR), DSAR/RTBF, Legal Hold.
Шешімдер аудиті: 'policy _ id', 'threshold', интервенция себептері, WORM-логтар.

13) Құны және өнімділігі

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
Оңтайландыру: ауыр фич офлайн, ыстық терезе кэші, тең сапада INT8/FP16 материалдандыру.
Квоталар: backfill/реплеяларға арналған лимиттер, нарықтар/командалар бойынша retrain бюджетіне арналған лимиттер.

14) RACI

R (Responsible): MLOps (мониторинг/тізілім/шығарулар), Data Eng (деректер/CDC/backfill/келісімшарттар), Data Science (диагностика/калибрлеу/retrain/fairness).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/аудит), SRE (SLO/құны), Finance (бюджеттер/ROI).
I (Informed): Өнім/Маркетинг/Операциялар/Қолдау.

15) Жол картасы

1. Топ-сандар бойынша PSI/KL және прокси-лейблдердегі score, ECE, expected-cost.

2. Дашбордтар coverage/missing/feature-lag, алерта және runbook 'i.

3. recalibration (D + 1) және табалдырықтар рәсімдері; жаңа үлгілер үшін shadow жолы.

4. Схема/фич келісімшарттары және online/offline баламалық тесті.

• RCA-панель, slice/fairness-мониторинг, квоталары бар backfill-жоспар.
• Калибрлеудің/табалдырықтардың автоматты аударылуы, табалдырықтардың симуляторы (what-if).
• WORM дрейф және релиздер есебінің мұрағаты.

• Авто-retrain дрейф оқиғалары бойынша (канареялық), мульти-өңірлік саясат.
• Cost-квоталар/chargeback, chaos-/DR-жаттығулар, автоген құжаттамалары.

16) Азық-түлік алдындағы чек-парағы

• SLI/SLO және тәуекелдер теңшелген (PSI/ECE/expected-cost/coverage/latency/5xx).
• Схема/фич және v1/v2 қосарланған жазба келісімшарттары - жасыл.
• recalibration/threshold-update рәсімдері құжатталған және автоматтандырылған.
• Shadow/canary one-click rollback тексерілді.
• Backfill/reprocessing квоталармен және терезелермен - дайын; WORM архиві қосылған.
• Slice/fairness панельдері мен сегмент иелері тағайындалған.
• PII/DSAR/RTBF/Legal Hold саясаты сақталған; аудит енгізілген.
• Бақылаудағы құн (cost/request, cost/feature), кэш/TTL теңшелген.

17) Анти-паттерндер және тәуекелдер

Біз жоғары PSI көрдік - бірден retrain «соқыр», RCA және калибрлеу жоқ.
Ұсталған лейблдерді есепке алу жоқ → жалған қорытындылар, күн сайын «табалдырықтарды кесу».
Онлайн/оффлайн → «қосарлы шындық» баламалық тестінің болмауы.
Ignor fairness: нарықтардағы/құрылғылардағы ақаулар көрінбейді.
Квотасыз/терезесіз Backfill → құн және SLA бойынша соққы.
Шекті «мәңгілік» белгіленді → өсу expected-cost маусымдылықта.

18) Қорытынды

Дрейфті басқару - бұл бір реттік retrain емес, процесс: бақылау → диагностика → ең төменгі тәуекел әрекеті (калибрлеу/табалдырық) → қауіпсіз retrain/рефичеринг → құнды бақылау және аудит. Мұндай тәртіп моделі ойыншылардың, провайдерлердің және нарықтың мінез-құлқы өзгерген кезде де дәл, әдепті және комплентті болып қалады.