Навсозии модел ва навсозии маълумот

1) Чаро ин муҳим аст

Дар IGaming, тақсимоти трафик, пардохтҳо ва рафтори бозӣ босуръат тағйир меёбад (мавсимӣ, провайдерҳо, саҳмияҳо, қоидаҳои танзим). Бидуни назорати системавӣ, арзиши интизорравандаи хатогиҳо меафзояд: талафот дар даромади холис, мудохилаҳои бардурӯғи RG/AML ва афзоиши сӯиистифода аз бонус. Ҳадаф аз он иборат аст, ки дрифтро барвақт муайян кунед, сабабро ташхис кунед ва маълумот ва моделҳоро бехатар нав кунед.

2) Таксономияи дрифт (чӣ метавонад "шино кунад")

Covariate drift (X): хусусиятҳо тағйир ёфтанд (масалан, ҳиссаи мобилӣ/ASN, омехтаи провайдерҳо).
Drift Label/Натиҷаи натиҷа (Y): пойгоҳи ҳодиса (меъёри пардохт, клик/translation-rate) тағир ёфт.

3) Сигналҳо ва ҳудудҳо (нишонаҳо)

PSI (Индекси устувории аҳолӣ): 0. 10–0. 20 огоҳӣ,> 0. 20 - ҳодисаи drift.
KL-divergence/JS: афзоиш ба ҳадди ниҳоӣ аз рӯи хусусиятҳои асосӣ/суръат.
KS барои нархҳо (зери тамғакоғазҳо): афзоиши номутобиқатии CDF.
ECE (калибрченкунӣ):> 0. 05 огоҳӣ,> 0. 07 - амал.
Ҳадди интизорравандаи @ ҳадди ниҳоӣ: X% афзоиш ба модели асосӣ.
Фарогирӣ ва суръати нопурра: <99% коҳиш ёфтани фарогирӣ, бедарак/вақт> ҳадди афзоиш.
Нишондиҳандаҳои бурида: PR-AUC/ECE/арзиши пешбинишуда аз рӯи бозор/дастгоҳ; тарки триггерҳо> Y%.

Интихоби тиреза: амалиётӣ - 1h/6h/24h (sliding), ҳисоботдиҳӣ - D + 1/D + 7 (баҳисобгирии нишонаҳои таъхиршуда).

4) Тирезаҳо ва тамғакоғазҳо (таъхирҳо)

Тамғакоғазҳои прокси зуд: клик, пасандоз 7d, ҳолати анҷомёфтаи RG - барои арзёбии барвақт.
Тамғакоғазҳои ҳифзшуда: пуркунии барқ ​ ​ (45-90d), churn/LTV - барои тасдиқи ретроспективӣ ва танзими ҳадди/калибрченкунӣ.
Тартиби интизом: на дар хусусиятҳо ва на дар тамғакоғазҳо - "рӯйдодҳо аз оянда".

5) Ташхиси сабабҳои решавӣ (рӯйхати санҷиши RCA)

1. Маълумот: PSI/KL аз рӯи хусусиятҳои боло, бедарак/ақиб, схема фарқ мекунад, категорияҳои нав.
2. Сарчашма: огоҳиҳои провайдер (PSP/провайдери бозӣ), хатогиҳои API/вақт.
3. Мавсимӣ/таблиғот: миссияҳои баландтарин/мусобиқаҳо, тағироти RTP/каталог.
4. Минтақа/истиқомат: Гузариши ҳаракат дар бозорҳо, қоидаҳои нави KYC/RG.
5. Техника: таназзули кэши хусусият, CDC-и суст, файлҳои хурд.
6. Маълумотномаҳо/қурби асъор/тақвимҳо: кӯҳна? (FX/идҳо).
7. Адолат: нокомии сифат дар иловаро мушаххас.

6) Китоби бозикунии амалҳои дрифт

6. 1 Ковариат/Фарқияти хусусият

Зуд: калибрченкунии навсозӣ (Platt/Isotonic D + 1), ҳадди ниҳоиро мувофиқи арзиши пешбинишуда танзим кунед.
Миёнамӯҳлат: қисман такрорӣ (агрегатҳо/тирезаҳои устувор), навсозии TE/WOE бо CV-и вақт.
Муддати тӯлонӣ: бозомӯзӣ бо интихоби/тирезаҳои нав, агар лозим бошад, меъмории хусусиятро аз нав дида бароед.

6. 2 Нишона/Натиҷаи натиҷа

Аз нав ҳисоб кардани ҳудудҳо бо тамғакоғазҳои тару тоза (D + 1, D + 7), дубора калибрченкунӣ.
Гвардияҳоро ислоҳ кунед (амалҳои хашмгинро ба эътидол овардан маҳдуд кунед).

6. 3 Консепсияи drift

Омӯзиши сояи версияи нав оид ба маълумоти охирин → canary → иҷрои пурра.
Таҷдиди доменро баррасӣ кунед (моделҳои алоҳида аз рӯи сегмент/бозор).

6. 4 Схема/Интиқоли амалиётӣ

Даргиронидани схемаи дугонаи v1/v2, санҷиши эквиваленти онлайн/офлайн.
Манбаъҳоро ислоҳ кунед, кэш/пӯшишро фаъол созед, холигии бозгаштро ҷуброн кунед.

6. 5 Кашиши одилона

Ҳадди слайдҳои муваққатӣ/калибрченкунӣ, хусусияти бозомӯзӣ/мувозинати мақсаднок, аудити тағирёбандаи прокси.

6. 6 Escalations

Kill-switch (вайронкунии посбонҳо) → афтиши бехатар/версияи қаблӣ.
Як кликро бо афзоиши 5xx/ниҳонӣ/арзиши пешбинишуда баргардонед.

7) Сиёсати навсозии маълумот

7. 1 Афзоиш ва CDC

Нишонаҳои устувори об/такрори журнал; idempotent MERGE/UPSERT.

7. 2 Backfill/Коркард

Backfill: Dogon барои диапазон (бо квотаҳо ва тирезаҳо).
Коркард: ҳисобкунӣ ҳангоми ислоҳи мантиқ/хатогиҳо.
Метки: 'мантиқ _ версия', 'коркард _ at', 'сабаб'; ҳисоботи таъсир (ченакҳо/арзиш).

7. 3 Вақт-сафар/WORM

Ҷадвалҳои ACID (Delta/Iceberg/Hudi), бойгонии ҳисоботҳо/релизҳои WORM.
"Тавре ки дар сана буд": таҷдиди ҳисоботи танзимкунанда.

7. 4 Директория/FX/Тақвимот

Навсозиҳои худкор, имзо, версияҳо ва санҷиши тару тоза (SLO оид ба таъхир ва синну сол).

8) Нишондиҳандаҳо ва огоҳиҳо (маҷмӯи ҳадди аққал)

Маълумот: PSI/KL аз рӯи хусусиятҳои боло, суръати нопурра, таъхири хусусият.
Сифат: PR-AUC/KS (дар тамғакоғазҳои прокси), ECE, арзишаш @ thr.
Амалиётҳо: таъхири p95/p99, 5xx, фарогирӣ, autoscaling, арзиш/дархост.
Адолат: панелҳои бурида (бозорҳо/дастгоҳҳо/провайдерҳо).
Шартномаҳо: вайронкунии схема, санҷиши эквиваленти онлайн/офлайн.

9) Тартиби навсозии модел

1. Соя: модели нав дар нусхаҳои дархост, муқоисаи ниҳоӣ/сифат/хароҷот.
2. Канария: 5-10% → 25% → 50% → 100% дар SLO-ҳои сабз.
3. Ҳадди ниҳоӣ/калибрченкунӣ: ҳисоб кардани D + 1; ҳудудҳо - дар феҳрист конфигуратсия кунед.
4. Ҳуҷҷатгузорӣ: корти намунавӣ (маълумот, тирезаҳо, ченакҳо, хатарҳо, адолат).
5. Бойгонӣ: Нашри WORM (вазнҳо, калибрченкунӣ, гузоришҳои санҷишӣ, гузоришҳои дрифт).

10) Намунаҳо (пораҳо)

10. 1 PSI дар ғояҳои SQL (пешакӣ тайёр кардашуда)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 Танзими ҳадди ниҳоии пешбинишуда (псевдокод)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Хусусияти эквиваленти онлайн/офлайн

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill бо маҳдудкунии сарборӣ (идеяи оркестр)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Санҷишҳо ва назорати тағирот

Схемаҳои шартномаҳо/хусусиятҳо: санҷишҳои истеъмолкунанда, вурудоти дукарата v1/v2.
Санҷишҳои регрессияи ченакҳо: PR-AUC/ECE/арзиши интизорравандаро аз таҳаммулпазирӣ бадтар накунед.
Санҷишҳои эквиваленти онлайн/офлайн: дар намунаи истинод.
Санҷишҳои бесарусомонӣ: хусусияти нокомии кэш, танаффуси манбаъ, трафик.

12) Адолат ва мувофиқат

Ҳисоботҳои бурида (таъсири нобаробар, эҳтимолияти баробар), ҳудудҳои бурида/калибрченкунӣ.
PII-ҳадди аққал, истиқомат (EEA/UK/BR), DSAR/RTBF, Hold Legal.
Қарорҳои аудит: 'policy _ id', 'ҳадди ниҳоӣ', сабабҳои мудохила, гузоришҳои WORM.

13) Арзиш ва нишондиҳандаҳо

Панели хароҷот: арзиш/дархост, арзиш/хусусият, стрима-андозаи давлатӣ, IO/скан/ГБ для.
Оптимизатсия: моделсозии хусусиятҳои вазнини офлайнӣ, кэши тирезаи гарм, INT8/FP16 бо сифати баробар.
Квотаҳо: маҳдудиятҳои бозгашт/такрорӣ, бозомӯзии буҷа аз ҷониби бозор/гурӯҳ.

14) RACI

R (Масъул): MLOps (мониторинг/сабти ном/kickouts), Data Eng (маълумот/CDC/backfill/шартномаҳо), Илми маълумот (ташхис/калибрченкунӣ/бозомӯзӣ/адолат).
A (Ҳисоботдиҳанда): Роҳбари маълумот/CDO.
C (Машварат): Мувофиқат/DPO (PII/RG/AML/DSAR), Амният (KMS/Аудит), SRE (SLO/Value), Молия (Буҷаҳо/ROI).
I (Маълумот): Маҳсулот/Маркетинг/Амалиёт/Дастгирӣ.

15) Харитаи роҳ

1. PSI/KL аз рӯи хусусиятҳои боло ва холҳои ECE, дар тамғакоғазҳои прокси арзиши пешбинишуда доранд.

2. Фарогирии панели панелҳо/гумшуда/feature-lag, огоҳиҳо ва дафтарчаи корӣ 'ва.

3. Тартиби азнавбаҳодиҳӣ (D + 1) ва ҳудудҳо; роҳи соя барои моделҳои нав.

4. Шартномаҳои нақша/хусусият ва санҷиши эквиваленти онлайн/офлайнӣ.

• Панели RCA, мониторинги бурида/одилона, нақшаи бозгашт бо квотаҳо.
• Калибрченкунӣ/ҳудудҳои худкор, симуляторҳои ҳадди ниҳоӣ (чӣ-агар).
• Бойгонии WORM ҳисоботҳо ва релизҳои drift.

• Бозомӯзии худкор оид ба рӯйдодҳои дрифтӣ (канарӣ), сиёсати минтақавӣ.
• Арзиш-квотаҳо/баргардонидан, хаос-/DR-машқҳо, ҳуҷҷатҳои автоген.

16) Рӯйхати санҷиши пеш аз фурӯш

• SLI/SLO ва огоҳиҳо танзим карда мешаванд (PSI/ECE/арзиши пешбинишуда/фарогирӣ/дермонӣ/5xx).
• Шартномаҳои схема/хусусият ва вуруди дукарата v1/v2 сабз мебошанд.
• Расмиёти азнавсозӣ/ҳадди навсозӣ ҳуҷҷатгузорӣ ва автоматӣ карда мешаванд.
• Соя/канарейка бо як клик санҷида шуд.
• Backfill/коркард бо квотаҳо ва тирезаҳо - омода; Бойгонии WORM фаъол аст.
• Панелҳои бурида/адолат ва соҳибони сегмент таъин карда мешаванд.
• PII/DSAR/RTBF/Сиёсати нигоҳдории ҳуқуқӣ; аудит фаъол гардид.
• Арзиши назорат (арзиш/дархост, арзиш/хусусият), кэш/TTL танзим карда шудааст.

17) Анти-намунаҳо ва хатарҳо

Мо як PSI-и баландро дидем - фавран "нобино" -ро бидуни RCA ва калибрченкунӣ такмил диҳед.
Барои тамғакоғазҳо ва хулосаҳои бардурӯғ, "ҳадди ниҳоӣ" ҳар рӯз баҳисобгирӣ вуҷуд надорад.
Набудани санҷиши эквиваленти онлайн/офлайн → "воқеияти дугона".
Адолатро нодида гиред: Нокомии бозор/дастгоҳ ноаён боқӣ мемонад.
Backfill бе квотаҳо/тирезаҳо → зарба ба хароҷот ва SLA.
Ҳадди ниҳоӣ бо афзоиши мавсимӣ "то абад" муқаррар шудааст.

18) Сатри поён

Идоракунии дрифт як бозомӯзии якдафъаина нест, балки равандест: мушоҳидаҳо → ташхис → амали ҳадди аққали хатар (калибрченкунӣ/ҳадди ниҳоӣ) → бозомӯзӣ/бозсозӣ ва назорати хароҷот ва аудит. Бо ин интизом, моделҳо дақиқ, ахлоқӣ ва мувофиқ боқӣ мемонанд, ҳатто вақте ки бозингар, провайдер ва рафтори бозор тағйир меёбад.