Մոդելներ և տվյալների նորարարություն

1) Ինչո՞ ւ է դա կարևոր

IGaming-ում վճարումները և խաղային վարքագիծը արագ փոխվում են (սեզոնայնությունը, պրովայդերները, ակցիաները, կարգավորող կանոնները)։ Առանց դրեյֆի վերահսկման, աճում է սխալների expected cost 'Net Revenue-ի կորուստները, կեղծ RG/AML միջամտությունները, բոնուսների ավելացումը։ Նպատակը վաղ է հայտնաբերել դրեյֆը, ախտորոշել պատճառը, անվտանգ նորարարել տվյալները և մոդելները։

2) Տաքսոնոմիա դրեյֆի (որը կարող է «լողալ»)

Covariate drift (X): փոխվել են ֆիչիները (օրինակ բջջային/ASN, պրովայդերների խառնուրդ)։

Label/Discope drift (Y): Փոխվել է իրադարձությունների հիմքը (chargeback-rate, click/convice-rate)։

3) Ազդանշաններ և շեմեր (ուղեցույցներ)

PSI (Population Stability Index): 0. 10–0. 20 նախազգուշացում,> 0։ 20 - դրեյֆի իրադարձություն։

KL-divergention/JS-ը 'բարձրանում է հիմնական փուլերով/սկորով։

KS-ի համար (պիտակների դեպքում) 'CDF-ի տարբերության աճը։

III (տրամաչափություն): > 0։ նախազգուշացում,> 0։ 07 - գործողություն։

Expected-cost @ threshold-ը X տոկոսով բարձրացումն է ռուսական մոդելին։

Coverage-ը և Missing-rate-ը 'նվազում 49,99 տոկոսը, missing/timeout> շեմի աճը։

Slice-metrics: PR-AUC/IV/expected-cost շուկաներում/dewisam; հարվածները նվազելու համար> Y%։

Պատուհանի ընտրությունը ՝ 108-1/61/108 ժամ (սայթաքուն), D + 1/D + 7 (ձերբակալված պիտակների տրամագիծը)։

4) Պատուհաններ և պիտակներ (ուշացումներ)

Արագ դաշտային պիտակները 'կլիկ, դեպոզիտ 7d, ավարտված RG-քեյսը' վաղ գնահատման համար։

Ձերբակալված պիտակները ՝ chargeback (45-90d), churn/LTV - հետադարձ վալիդացիայի և հոսքերի/տրամաչափման համար։

As-of կարգապահություն 'ոչ ֆիետներում, ոչ էլ պիտակներում' «ապագա իրադարձություններ»։

5) Առաջին պատճառների ախտորոշումը (RCA չեկ թուղթ)

1. Տվյալները ՝ PSI/KL-ը լավագույն ֆիգուրներով, missing/lag, schema pronfs, նոր կատեգորիաներով։

2. Աղբյուրը ՝ ալտերտեր (PFC/խաղերի պրովայդեր), API/timeout սխալները։

3. Սեզոնայնությունը/ակցիան 'մրցույթի/կիսագնդի պիկ, RTP/2019 փոփոխությունները։

4. Տարածաշրջանը/նստավայրը 'շուկաների անցումը, KYC/RG նոր կանոնները։

5. Տեխնիկան 'ֆիչի քեշի քայքայումը, դանդաղ CDC, small medes փոթորիկ։

6. Տեղեկատու/դասընթացները/օրացույցները հնացած են։ (FX/արձակուրդներ)։

7. Արդարություն 'որակի ձախողում կոնկրետ սլայդներում։

6) Playbook գործողությունը dreafe ժամանակ

6. 1 Covariate/Feature drift

Արագ 'նորարարել (Platt/Isotonic D + 1), կառուցել շեմն expected-cost-ով։

Վարչականորեն 'մասնակի refeature (կայուն ագրեգատներ/պատուհաններ), նորարարել TE/WOE Time-ault CV-ից։

Երկարաժամկետ 'retrain նոր նմուշներով/պատուհաններով, անհրաժեշտության դեպքում վերանայել ֆիչի ճարտարապետությունը։

6. 2 Label/Outcome drift

Հաշվել թարմ պիտակների շեմերը (D + 1, D + 7), փետուրային տրամաչափը։

Ամրագրել guardrails (սահմանափակել ագրեսիվ գործողությունները մինչև 2019)։

6. 3 Concept drift

Shadow-ուսուցումը նոր տարբերակի վերջին տվյալների վրա կատարվում է ամբողջական rollout։

Դիտարկեք հիբրիդային դեկոմոզիա (առանձին մոդելներ սեգմենտների/շուկաների վրա)։

6. 4 Schema/Operational drift

Միացրեք v1/v2 սխեմաների կրկնակի ձայնագրությունը, on.ru/www.ru համարժեք թեստը։

Մաքրեք աղբյուրները, միացրեք քեշը/ֆոլբեքը, փոխհատուցեք backfill բացթողումները։

6. 5 Fairness drift

Ժամանակավոր սլայզ/տրամաչափություն, targeted retrain/rebalas fich, փոփոխականների աուդիտ։

6. 6 Էսկալացիա

Kill-switch (guardrails breach) տեղադրվում է անվտանգ fallback/նախորդ տարբերակը։

Rollback one click-ը 5xx/latency/expected-cost աճի ժամանակ։

7) Տվյալների նորարարման քաղաքականությունը

7. 1 Redrects և CDC

Կայուն watermarks/log-redication; Idotent MERGE/UPS.RU։

7. 2 Backfill/Reprocessing

Backfill: Դոգոն միջակայքում (քվոտաների և պատուհանների հետ)։

Reprocessing: Փոխելով տրամաբանությունը/սխալները։

Метки: `logic_version`, `reprocessed_at`, `reason`; ազդեցության զեկույց (չափումներ/արժեք)։

7. 3 Time-travel/WORM

ACID աղյուսակները (Delta/Iceberg/Hudi), WORM արխիվները 2019/Hudi։

«Ինչպես էր ամսաթիվը» 'կարգավորող հաշվետվության վերարտադրումը։

7. 4 Տեղեկատու/FX/Օրացույցներ

Avto-նորարարությունները, ստորագրությունները, տարբերակները և թարմության ստուգումը (SLO-ն latency և age)։

8) Metriki և alerta (նվազագույն հավաքածու)

Տվյալները ՝ PSI/KL-ն լավագույն ավարտներով, missing-rate, feature-fetch-latency։

Որակը ՝ PR-AUC/KS (112 պիտակների վրա), IV, expected-cost @ thr։

Վիրահատություններ ՝ p95/p99 latency, 5xx, coverage, autoscaling, cost/request։

Fairness: սլայզ վահանակներ (շուկաներ/սարքեր/պրովայդերներ)։

Պայմանագրերը 'շեմա-viol.ru, on.ru/www.equivalence test։

9) Մոդելի նորարարման ընթացակարգերը

1. Shadow 'նոր մոդել հարցումների պատճենների վրա, latency/quality/cost համեմատություն։

2. Canary: 5-10 տոկոսը 25 տոկոսն է 2450 տոկոսը 24100 տոկոսը կանաչ SLO-ում։

3. Փոշի/տրամաչափություն: Մենք հաշվարկում ենք D + 1; շեմն է։

4. Տե՛ ս մոդելի քարտը (տվյալները, պատուհանները, մետրերը, ռիսկերը, fairness)։

5. Արխիվը 'WORM-ը (քաշը, տրամաչափը, թեստերի ամսագրերը, դրեյֆի հաշվետվությունները)։

10) Օրինակներ (բեկորներ)

10. 1 PSI-ը SQL-գաղափարներում (Beining նախկինում)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 Կրակ expected-cost (կեղծ)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Համարժեք է on.ru/www.fich

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill սահմանափակելով բեռը (նվագախմբի գաղափարը)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Փորձարկումներ և փոփոխությունների վերահսկողություն

Սխեմաների/ֆիչի պայմանագրերը 'consumer-driven tes.ru, կրկնակի ձայնագրությունը v1/v2։

Ռեգրեսիայի թեստերը մետրիկ են 'մի վատացնել PR-AUC/IV/expected-cost-ը ընդունումից դուրս։

Հավասարության թեստերը on.ru/24.ru։

Chaos-թեստերը 'Fich-cash-ի հրաժարվելը, աղբյուրների թայմաուտները, burst-2019-ը։

12) Fairness և complaens

Slice-հաշվետվությունները (wwww.parate impact, equalized oddds), սլայզ շեմերը/տրամաչափը։

PII նվազեցումը, բնակությունը (EFC/UK/III), DSAR/RTBF, Legal Hold։

Որոշումների աուդիտը '«policy _ id», «threshold», միջամտությունների պատճառները, WORM լոգները։

13) Արժեքը և արտադրողականությունը

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.

Օպտիմիզացիան 'ծանր ֆիգուրային օֆլինի նյութականացումը, տաք պատուհանների քեշը, INT8/FP16-ը հավասար որակով։

Քվոտաներ ՝ backfill/reples, retrain շուկաների/թիմերի բյուջե։

14) RACI

R (Responsible): MLOps (MLOps), Direct Eng (տվյալները/CDC/backfill/պայմանագրեր), Direct Science (ախտորոշում/տրամաչափություն/retrain/fairness)։

A (Accountable): Head of Data / CDO.

C (Consulted): Compli.ru/DPO (PII/RG/AML/DSAR), Lenta.ru (KFC/աուդիտ), SNE (SLO/արժեքը), Finance (բյուջեներ/ROI)։

I (Informed) 'ապրանք/Մարքեթինգ/Վիրահատություն/Աջակցություն։

15) Ճանապարհային քարտեզը

MVP (2-4 շաբաթ)

1. PSI/KL-ը բարձր ավարտներով և score, SSA, expected-cost-ը ռուսական պիտակների վրա։

2. Dashbords coverage/missing/feature-lag, alerts և runbook '2019

3. Recalibration (D + 1) և շեմերը։ նոր մոդելների համար shadow ճանապարհը։

4. Սխեմաների/ֆիչի պայմանագրերը և հավասարության թեստը on.ru/www.ru։

Aleksanda 2 (4-8 շաբաթ)

RCA վահանակ, slice/fairness-2019, backfill պլանը քվոտաների հետ։

Avto-փոխանցում է տրամաչափեր/շեմեր, շեմերի սիմուլյատոր (what-if)։

WORM-ի արխիվը հաստատեց դրեյֆը և առյուծները։

Բրազիլիա 3 (8-12 շաբաթ)

Auto-retrain-ը դրեյֆի իրադարձությունների վրա (Կանարեկո), մուլտֆիլմ-կառավարական քաղաքականությունը։

Cost-քվոտաներ/chargeback, chaos-/DR ուսուցումներ, փաստաթղթերի ինքնագիր։

16) Չեկ թուղթ մինչև վաճառելը

• SLI/SLO և ալերտները տրամադրված են (PSI/IV/expected-cost/coverage/latency/5xx)։
• Սխեմաների/ֆիչի պայմանագրերը և կրկնակի ձայնագրությունը v1/v2 կանաչ են։
• Recalibration/threshold-corporate գործընթացները փաստաթղթավորված և ավտոմատացված են։
• Shadow/canary one-click rollback-ը ստուգված է։
• Backfill/reprocessing քվոտաների և պատուհանների հետ պատրաստ են։ WORM արխիվը ներառված է։
• Slice/fairness վահանակները և հատվածների տերերը նշանակված են։
• PII/DSAR/RTBF/Legal Hold քաղաքականությունները պահպանված են; աուդիտը ներառված է։
• Վերահսկման արժեքը (cost/request, cost/feature), քեշը/TTL-ն։

17) Anti-patterns և ռիսկեր

Նրանք տեսան բարձր PSI-ը, անմիջապես retrain-ը «արցունքաբեր», առանց RCA-ի և տրամաչափման։

Չկա հաշվի առնել ձերբակալված պիտակները կեղծ եզրակացություններ, «շեմերի փակցնում» ամեն օր։

Համարժեք թեստի բացակայությունը on.ru/24.ru է «կրկնակի իրականություն»։

Fairness 'շուկաներում/սարքերում ձախողումները մնում են անտեսանելի։

Backfill-ը առանց քվոտի/պատուհանների բացատրում է հարվածը և SLA-ը։

Շեմն «ընդմիշտ» արտահայտվում է սեզոնային սեզոնի ընթացքում expected-cost աճը։

18) Արդյունքը

Դրեյֆի կառավարումը միանվագ retrain չէ, այլ գործընթաց 'նվազագույն ռիսկային գործողություն (կալիբրացիա/շեմն), որը նշանակում է անվտանգ retrain/refichering- ը, որը վերահսկում է արժեքը և կայունությունը։ Այս կարգապահությամբ մոդելները մնում են ճշգրիտ, էթիկական և կոմպլեկտիվ, նույնիսկ երբ խաղացողների, պրովայդերների և շուկայի վարքագիծը փոխվում են։