Drift моделдер жана маалыматтарды жаңыртуу

1) Эмне үчүн маанилүү

iGamingде трафикти, төлөмдөрдү жана оюн жүрүм-турумун бөлүштүрүү тез өзгөрөт (сезондук, провайдерлер, акциялар, жөнгө салуу эрежелери). Системалык көзөмөлү жок Drift expected cost каталар өсүп жатат: Net Revenue жоготуулар, жалган RG/AML интервенциялар, бонустарды бузуунун өсүшү. Максаты - эрте дрейфти аныктоо, себебин аныктоо, маалыматтарды жана моделдерди коопсуз жаңыртуу.

2) Drift таксономиясы ("сүзүп" алат)

Covariate drift (X): өзгөргөн чүчүкулак (мисалы, уюлдук/ASN үлүшү, микс-провайдерлер).
Label/Outcome drift (Y): окуялардын базасы өзгөрдү (chargeback-rate, click/convert-rate).

3) Сигналдар жана босоголор

PSI (Population Stability Index): 0. 10–0. 20 эскертүү,> 0. 20 - дрейф окуясы.
KL-Divergence/JS: негизги Fich/Speed боюнча босоголорго өсүү.
KS Speed (этикеткалар менен): CDF айырмачылыктардын өсүшү.
ECE (калибрлөө):> 0. 05 эскертүү,> 0. 07 - аракет.
Expected-cost @threshold: негизги моделдин X% өсүш.
Coverage жана Missing-rate: <99% каптоо төмөндөшү, missing/timeout> босого.
Slice-метрика: PR-AUC/ECE/expected-cost рыноктору/түзмөктөр боюнча; күзүндө триггерлер> Y%.

Терезени тандоо: ыкчам - 1ч/6ч/24ч (жылма), отчеттук - D + 1/D + 7 (кармалган этикеткаларды эсепке алуу).

4) Терезелер жана этикеткалар (кечигүү)

Fast Proxy этикеткалары: Click, 7d депозиттик, RG иши аяктады - эрте баа берүү үчүн.
Кармалган этикеткалар: chargeback (45-90d), churn/LTV - ретроспективдүү валидация жана босоголорду/калибрлөөнү тууралоо үчүн.
As-of дисциплинасы: чичелерде да, лейблдерде да - "келечектеги окуялар".

5) баштапкы себептерин аныктоо (RCA чек тизмеси)

1. Маалыматтар: PSI/KL жогорку көрсөткүчтөр боюнча, missing/lag, schema diffs, жаңы категориялар.
2. Source: Алерт берүүчүлөр (PSP/оюн провайдери), API/timeout каталары.
3. Сезондук/акциялар: миссиялардын/турнирлердин туу чокусу, RTP/каталогду өзгөртүү.
4. Аймак/резиденттик: рыноктордо трафиктин жылышы, KYC/RG жаңы эрежелери.
5. Техника: Fich кэш бузулушу, жай CDC, small files бороон.
6. Колдонмолор/алмашуу курсу/календарлар: эскирген? (FX/майрам).
7. Адилеттүүлүк: белгилүү бир слайстарда сапаттын бузулушу.

6) Playbook иш-аракеттер дрейф

6. 1 Covariate/Feature drift

Fast: калибрлөө жаңыртуу (Platt/Isotonic D + 1), expected-cost боюнча босого тактоо.
Орто мөөнөттүү: жарым-жартылай refeature (туруктуу агрегаттар/терезелер), time-aware CV менен TE/WOE жаңыртуу.
Узак мөөнөттүү: жаңы үлгүлөрү/терезелери менен retrain, зарыл болсо, phich архитектурасын карап чыгуу.

6. 2 Label/Outcome drift

Жаңы этикеткалар боюнча босоголорду кайра саноо (D + 1, D + 7), кайра калибрлөө.
guardrails чечүү (турукташтыруу чейин агрессивдүү иш-аракеттерди чектөө).

6. 3 Concept drift

Shadow-окутуу акыркы маалыматтар боюнча жаңы версия → canary → толук rollout.
Домендик декомпозицияны кароо (сегменттер/рыноктор боюнча айрым моделдер).

6. 4 Schema/Operational drift

Кош жазууну v1/v2 схемаларын, онлайн/оффлайн эквиваленттик тестин киргизүү.
Булактарды оңдоо, кэш/фолбэктерди күйгүзүү, backfill өткөрмөлөрүн компенсациялоо.

6. 5 Fairness drift

Убактылуу слайс босоголору/калибрлөө, targeted retrain/ребаланс fich, прокси өзгөрмөлүү аудит.

6. 6 Эскалация

Kill-switch (guardrails breach) → коопсуз fallback/мурунку версия.
Rollback 5xx/latency/expected-cost өсүшү менен бир-чыкылдатуу.

7) Маалыматтарды жаңыртуу саясаты

7. 1 Инкременттер жана CDC

Туруктуу watermarks/лог-репликация; Dempotent MERGE/UPSERT.

7. 2 Backfill/Reprocessing

Backfill: диапазону (квоталар жана терезелер менен).
Reprocessing: Логика өзгөргөндө/каталарды оңдогондо кайра эсептөө.
Метки: `logic_version`, `reprocessed_at`, `reason`; таасир жөнүндө отчет (метрика/наркы).

7. 3 Time-travel/WORM

ACID таблицалары (Delta/Iceberg/Hudi), WORM отчеттор/релиздер архивдери.
"Датага карата": жөнгө салуучу отчеттун кайталанышы.

7. 4 Колдонмолор/FX/Календарлар

Auto-Updates, кол коюу, нускалары жана сергектикти текшерүү (SLO боюнча latency жана age).

8) Метрика жана Алерт (минималдуу топтому)

Маалыматтар: PSI/KL жогорку көрсөткүчтөр боюнча, missing-rate, feature-fetch latency.
Сапаты: PR-AUC/KS (прокси-лейблдер боюнча), ECE, expected-cost @thr.
Операциялар: p95/p99 latency, 5xx, coverage, autoscaling, cost/request.
Fairness: слайс панелдер (базарлар/түзмөктөр/провайдерлер).
Келишимдер: schema-violations, онлайн/offline equivalence test.

9) Моделдерди жаңыртуу жол-жоболору

1. Көлөкө: суроо көчүрмөлөрү боюнча жаңы модель, latency/quality/cost салыштыруу.
2. Canary: 5-10% → 25% → 50% → 100% жашыл SLO менен.
3. Босого/калибрлөө: D + 1 күтөбүз; босоголор - реестрде.
4. Документация: карта модели (маалыматтар, терезелер, метрика, тобокелдиктер, fairness).
5. Архив: WORM релизи (салмагы, калибрлөө, сыноо журналдары, drift отчеттор).

10) Мисалдар (фрагменттер)

10. SQL идеялары боюнча 1 PSI (алдын ала даярдалган)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 expected-cost босогосун тууралоо (псевдокод)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Барабар онлайн/offline fich

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill жүк чектөө менен (топтоо идеясы)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Тесттер жана өзгөрүүлөрдү көзөмөлдөө

Схема/fich келишимдери: consumer-driven tests, кош жазуу v1/v2.
Регрессиялык метрикалык тесттер: PR-AUC/ECE/expected-cost чегинен тышкары начарлатпайт.
Онлайн/оффлайн эквиваленттик тесттер: эталондук үлгүдө.
Chaos-тесттер: ийгиликсиз Phic кэш, убакыт булактары, бурст-трафик.

12) Fairness жана комплаенс

Slice отчеттор (disparate impact, equalized odds), slice босоголор/калибрлөө.
PII-минималдаштыруу, резиденттүүлүк (EEA/UK/BR), DSAR/RTBF, Юридикалык Hold.
чечим аудит: 'policy _ id', 'threshold', интервенция себептери, WORM-логи.

13) Наркы жана аткаруу

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
оптималдаштыруу: материалдык оор fich offline, ысык терезелер кэш, бирдей сапатта INT8/FP16.
Квоталар: backfill/репликалар үчүн лимиттер, рыноктор/командалар боюнча retrain үчүн бюджет.

14) RACI

R (Responsible): MLOps (мониторинг/реестр/чыгаруу), Data Eng (маалыматтар/CDC/backfill/келишимдер), Data Science (диагностика/калибрлөө/retrain/fairness).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/аудит), SRE (SLO/наркы), Finance (бюджеттер/ROI).
I (Informed): Продукт/Маркетинг/Операциялар/Колдоо.

15) Жол картасы

1. PSI/KL жогорку көрсөткүчтөр жана score, ECE, прокси-лейблдер боюнча expected-cost.

2. Dashbord coverage/missing/feature-lag, Алерт жана runbook '.

3. recalibration жол-жоболору (D + 1) жана босоголор; жаңы моделдер үчүн shadow-жол.

4. Shemes/fich келишимдер жана онлайн/offline барабар сыноо.

• RCA Panel, slice/fairness мониторинг, квота менен backfill планы.
• Auto-жылдыруу калибрлөө/босоголор, босого симулятор (what-if).
• WORM Drift отчеттор жана релиздер Archive.

• Авто-retrain (канарейка), көп аймактык саясат.
• Cost-квоталар/chargeback, chaos-/DR-машыгуулар, автоген документтери.

16) Азык-түлүктүн алдындагы чек-тизме

• SLI/SLO жана Алерт (PSI/ECE/expected-cost/coverage/latency/5xx).
• Схемалар/сызыктар жана кош жазуу v1/v2 - жашыл.
• recalibration/threshold-update жол-жоболору документтештирилген жана автоматташтырылган.
• Бир-click rollback менен Shadow/canary текшерилет.
• Backfill/квота жана терезелер менен reprocessing - даяр; WORM архиви камтылган.
• Slice/fairness панелдер жана сегменттердин ээлери дайындалган.
• PII/DSAR/RTBF/Legal Hold саясаты сакталат; аудит киргизилген.
• контролдоо боюнча наркы (cost/request, cost/feature), кэш/TTL орнотулган.

17) Анти-үлгүлөрү жана тобокелдиктер

Биз жогорку PSI көрдүк - дароо retrain "сокур", RCA жана калибрлөө жок.
Кармалган этикеткаларды эсепке алуу жок → жалган корутундулар, "босоголорду кесүү" күн сайын.
онлайн/offline → "кош чындык" барабар сыноо жок.
Ignor fairness: рыноктордо/түзмөктөрдө кемчиликтер көрүнбөгөн бойдон калууда.
Backfill эч кандай квота/терезелер → наркы жана SLA боюнча сокку.
босого белгиленген "түбөлүккө" → сезондук менен expected-cost өсүшү.

18) Жыйынтык

Drift башкаруу - бул бир жолу колдонулуучу retrain эмес, процесс: байкоо → диагностика → минималдуу тобокелдик аракети (калибрлөө/босого) → коопсуз retrain/refichering → чыгымдарды жана аудитти көзөмөлдөө. Мындай тартип менен моделдер так, этикалык жана компленттүү бойдон калууда, ал тургай, оюнчулардын жүрүм-туруму, провайдерлер жана базар өзгөрөт.