Modelleriň süýşmegi we maglumatlary täzelemek

1) Näme üçin bu möhüm?

iGaming-de traffigiň, tölegleriň we oýun hereketiniň paýlanyşy çalt üýtgeýär (möwsümlilik, üpjün edijiler, aksiýalar, kadalaşdyryjy düzgünler). Dreýfiň ulgamlaýyn gözegçiligi bolmazdan, ýalňyşlyklar: Net Revenue-de ýitgiler, ýalan RG/AML gatyşmalar, bonuslaryň kemsidilmegi artýar. Maksat süýşmegi anyklamak, sebäbini anyklamak, maglumatlary we modelleri howpsuz täzelemek.

2) Dreýfiň taksonomiýasy ("ýüzüp" bilýän zat)

Covariate drift (X): çitler üýtgedi (mysal üçin, ykjam/ASN paýy, üpjün edijileriň garyndysy).
Label/Outcome drift (Y): wakalar bazasy üýtgedi (chargeback-rate, click/convert-rate).

3) Signallar we çäkler (görkezmeler)

PSI (Population Stability Index): 0. 10–0. 20 duýduryş,> 0. 20 - dreýf hadysasy.
KL-diwergensiýa/JS: esasy çyzyklar/tizlik boýunça bosagalara çenli ösüş.
Çaltlyk üçin KS (belliklerde): CDF tapawudynyň ýokarlanmagy.
ECE (kalibrlemek):> 0. 05 duýduryş,> 0. 07 - hereket.
Expected-cost @threshold: esasy modelden X% ösüş.
"Coverage" we "Missing-rate": örtügiň düşmegi <99%, bosaganyň ýokarlanmagy/wagty>.
Slice-metrikler: PR-AUC/ECE/expected-cost bazarlar/enjamlar boýunça; triggerler> Y%.

Penjiräni saýlamak: operatiw - 1h/6h/24h (süýşýän), hasabat - D + 1/D + 7 (tutulan bellikleri hasaba almak).

4) Penjireler we bellikler (gijikdirmeler)

Çalt proksi bellikler: basmak, 7d goýum, tamamlanan RG-iş - irki baha bermek üçin.
Tutulan bellikler: çargeback (45-90d), churn/LTV - retrospektiv walidasiýa we bosagalary/kalibrlemäni düzetmek üçin.
As-of düzgün-nyzam: ne piçlerde, ne-de belliklerde - "geljekdäki wakalar".

5) Esasy sebäpleri anyklamak (RCA çek-sanawy)

1. Maglumatlar: PSI/KL topfiçalar boýunça, missing/lag, schema diffs, täze kategoriýalar.
2. Çeşme: üpjün edijileriň alertleri (PSP/oýun üpjün ediji), API/timeout ýalňyşlyklary.
3. Möwsümlilik/mahabat: missiýalaryň/ýaryşlaryň iň ýokary derejesi, RTP/katalogyň üýtgemegi.
4. Sebit/rezidentlik: bazarlarda traffigiň üýtgemegi, KYC/RG täze düzgünleri.
5. Tehnika: fiç-kesşiň zaýalanmagy, haýal CDC, small files tupan.
6. Gollanmalar/walýuta hümmetleri/senenamalar: köne? (FX/Baýramçylyklar).
7. Adalat: anyk slaýslarda hiliň şowsuzlygy.

6) Süýşmek wagtynda hereketleriň Playbook

6. 1 Covariate/Feature drift

Çalt: kalibrlemäni täzeläň (Platt/Isotonic D + 1), bosagany expected-cost boýunça sazlaň.
Orta möhletli: bölekleýin refeature (durnukly agregatlar/penjireler), time-aware CV bilen TE/WOE täzelemek.
Uzak möhletli: täze nusgalar/penjireler bilen retrain, zerur bolsa, fiç arhitekturasyna täzeden serediň.

6. 2 Label/Outcome drift

Täze bellikler boýunça bosagalary sanamak (D + 1, D + 7), gaýtadan kalibrlemek.
Guardrails belläň (durnuklaşýança agressiw hereketleri çäklendiriň).

6. 3 Concept drift

Shadow-iň täze wersiýasyny iň soňky maglumatlarda okamak → canary → doly rollout.
Domen dekompozisiýasyna göz aýlamak (segmentler/bazarlar boýunça aýry-aýry modeller).

6. 4 Schema/Operational drift

Shemalaryň v1/v2 goşa ýazgysyny, online/offline ekwiwalentlik synagyny öz içine alyň.
Çeşmeleri bejermek, keş/folbekleri açmak, backfill boşluklarynyň öwezini dolmak.

6. 5 Fairness drift

Wagtlaýyn slaýs bosagalary/kalibrlemek, targeted retrain/rebalans fich, proxy-üýtgeýän audit.

6. 6 Eskalasiýa

Öldürmek-switch (guardrails breach) → howpsuz fallback/öňki wersiýasy.
Rollback one-click 5xx/latency/expected-cost.

7) Maglumatlary täzelemek syýasaty

7. 1 Inkrementler we CDC

Durnukly watermarks/log-replikasiýa; MERGE/UPSERT.

7. 2 Backfill/Reprocessing

Backfill: aralyga ýetmek (kwotalar we penjireler bilen).
Reprocessing: logika üýtgäninde/ýalňyşlyklar düzedilende gaýtadan hasaplamak.
Метки: `logic_version`, `reprocessed_at`, `reason`; täsiri (metrika/bahasy) barada hasabat.

7. 3 Time-travel/WORM

ACID tablisalary (Delta/Iceberg/Hudi), WORM-hasabatlaryň/neşirleriň arhiwleri.
"Senede bolşy ýaly": kadalaşdyryjy hasabatyň gaýtalanmagy.

7. 4 Gollanmalar/FX/Senenamalar

Awto-täzelenmeler, gol, wersiýalar we täzeligi barlamak (latency we age SLO).

8) Metrikler we alertler (iň az toplum)

Maglumatlar: PSI/KL top-fiçalar boýunça, missing-rate, feature-fetch latency.
Hil: PR-AUC/KS (proksi belliklerde), ECE, expected-cost @thr.
Amallar: p95/p99 latency, 5xx, coverage, autoscaling, cost/request.
Fairness: slaýs panelleri (bazarlar/enjamlar/üpjün edijiler).
Şertnamalar: schema-violations, online/offline equivalence test.

9) Modeli täzelemegiň tertibi

1. Shadow: soraglaryň nusgalarynda täze model, latency/quality/cost deňeşdirmesi.
2. Canary: 5-10% → 25% → 50% → 100% ýaşyl SLO-da.
3. Çäk/kalibrlemek: D + 1-e bil baglaýarys; bosagalar - sanawda.
4. Resminamalar: model kartoçkasy (maglumatlar, penjireler, metrikler, töwekgelçilikler, fairness).
5. Arhiw: WORM reliz (agramlar, kalibrlemek, synag magazinesurnallary, dreýf hasabatlary).

10) Mysallar (bölekler)

10. SQL-ideýalarda 1 PSI (bining öňünden taýýarlandy)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 Expected-cost boýunça bosagany düzetmek

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Ekwiwalentlik online/offline fich

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Ýük çäkli Backfill (orkestr ideýasy)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Synaglar we üýtgeşmelere gözegçilik

Shema/surat şertnamalary: consumer-driven tests, goşa ýazgy v1/v2.
Regression metrik synaglar: PR-AUC/ECE/expected-cost-ni rugsat çäginden çykarmaň.
Online/offline ekwiwalentlik synaglary: salgylanma nusgasynda.
Chaos-synaglar: fiç-kesşiň şowsuzlygy, çeşmeleriň wagtlary, burst-traffik.

12) "Fairness" we "Complayens"

Slice-hasabatlary (disparate impact, equalized odds), slaýs bosagalary/kalibrlemek.
PII-minimallaşdyrmak, rezidentlik (EEA/UK/BR), DSAR/RTBF, Legal Hold.
Çözgütleriň barlagy: 'policy _ id', 'threshold', gatyşmagyň sebäpleri, WORM-loglar.

13) Bahasy we öndürijiligi

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
Optimizasiýa: oflayn, gyzgyn penjireler üçin nagt, deň hilli INT8/FP16.
Kwotalar: backfill/repleýler üçin çäkler, bazarlar/toparlar boýunça retrain üçin býudjet.

14) RACI

R (Responsible): MLOps (gözegçilik/reýestr/tölegler), Data Eng (maglumatlar/CDC/backfill/şertnamalar), Data Science (diagnostika/kalibrlemek/retrain/fairness).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/audit), SRE (SLO/bahasy), Finance (býudjetler/ROI).
I (Informed): Önüm/Marketing/Amallar/Goldaw.

15) Ýol kartasy

1. PSI/KL top-fiçalar we skore, ECE, proksi-belliklerde expected-cost.

2. Daşbordlar coverage/missing/feature-lag, alertler we runbook 'ii.

3. Recalibration (D + 1) we bosagalar proseduralary; Täze modeller üçin shadow-ýol.

4. Shema/surat şertnamalary we online/offline ekwiwalentlik synagy.

• RCA paneli, slice/fairness-monitoring, kwotalar bilen backfill-plan.
• Kalibrlemäniň/bosagalaryň awto-aýlawy, bosagalaryň simulýatory (what-if).
• WORM drift we reliz hasabatlarynyň arhiwi.

• Awto-retrain, köp sebit syýasaty.
• Cost-kwotalar/chargeback, chaos-/DR-maşklar, awtogen resminamalary.

16) Azyk önüminden öň çek-sanawy

• SLI/SLO we alertler (PSI/ECE/expected-cost/coverage/latency/5xx).
• Shema/surat we goşa ýazgy v1/v2 şertnamalary - ýaşyl.
• Recalibration/threshold-update amallary resminamalaşdyryldy we awtomatlaşdyryldy.
• Bir click rollback bilen Şadow/canary barlandy.
• Kwotalar we penjireler bilen Backfill/reprocessing - taýýar; WORM arhiwi goşuldy.
• Slice/fairness panelleri we segment eýeleri bellendi.
• PII/DSAR/RTBF/Legal Hold syýasaty berjaý edilýär; audit girizildi.
• Gözegçilik astynda bahasy (cost/request, cost/feature), nagt pul/TTL sazlandy.

17) Anti-patternler we töwekgelçilikler

Beýik PSI-ni gördüler - retrain "kör", RCA we kalibrlemesiz.
Tutulan bellikleri hasaba almak ýok → ýalan netijeler, her gün "bosagalary kesmek".
Ekwiwalentlik synagynyň ýoklugy online/offline → "goşa hakykat".
Ignor fairness: bazarlarda/enjamlarda şowsuzlyklar görünmeýär.
Kwota/penjiresiz Backfill → bahalara we SLA-a zarba.
Bosagasy "hemişelik" kesgitlenildi → möwsümleýin bolanda expected-cost ösüşi.

18) Jemleýji

Drift dolandyryşy bir gezek ulanylýan retrain däl, ýöne proses: syn etmek → diagnostika → minimal töwekgelçilikli hereket (kalibrlemek/çäk) → howpsuz retrain/refichering → çykdajy we audit gözegçiligi. Şeýle düzgün-nyzam bilen, oýunçylaryň, üpjün edijileriň we bazaryň özüni alyp barşy üýtgese-de, modeller takyk, ahlakly we barlyşykly bolup galýar.