Modellərin sürüklənməsi və məlumatların yenilənməsi

1) Niyə vacibdir

iGaming-də trafik paylanması, ödənişlər və oyun davranışı sürətlə dəyişir (mövsümlük, provayderlər, səhmlər, tənzimləmə qaydaları). Sistemli drift nəzarəti olmadan genişlənmiş cost səhvləri artır: Net Revenue-də itkilər, saxta RG/AML müdaxilələri, sui-qəsd bonuslarının artması. Məqsəd sürüklənməni aşkar etmək, səbəbini diaqnoz etmək, məlumatları və modelləri təhlükəsiz şəkildə yeniləməkdir.

2) Driftin taksonomiyası («üzə» bilər)

Covariate drift (X): Fiçlər dəyişdi (məsələn, mobil/ASN payı, provayderlərin qarışığı).
Label/Outcome drift (Y): hadisə bazası dəyişdi (chargeback-rate, click/convert-rate).

Concept drift (P(Y	X)): əvvəlki əlamətlər fərqli olaraq hədəflə bağlıdır (yeni frod sxemləri, promosyona digər reaksiyalar).
Feature drift: Xüsusi Fich statistikasının yerdəyişməsi (mean/var/rate/missing).
Schema drift: sxemlərin/kateqoriyaların/provayderlərin ID təkamülü, yeni dəyərlər.
Operational drift: lag fich, mənbə səhvləri, missing/timeout böyümə, «qaynar açarlar».
Fairness drift: slaytlarda keyfiyyətin/kalibrləmənin pisləşməsi (bazar, cihaz, provayder).

3) Siqnallar və eşiklər (işarələr)

PSI (Population Stability Index): 0. 10–0. 20 xəbərdarlıq,> 0. 20 - sürüklənmə hadisəsi.
KL-divergensiya/JS: açar fich/sürət üzrə astanalara qədər böyümək.
KS sürüşmə üçün (etiketlərdə): CDF uyğunsuzluğunun artması.
ECE (kalibrləmə):> 0. 05 xəbərdarlıq,> 0. 07 - fəaliyyət.
Expected-cost @threshold: əsas model X% artım.
Coverage və Missing-rate: <99% əhatə azalması, missing/timeout> eşik artımı.
Slice-metrik: PR-AUC/ECE/expected-cost bazarlar/cihazlar; triggers> Y%.

Pəncərə seçimi: operativ - 1 saat/6 saat/24 saat (sürüşmə), hesabat - D + 1/D + 7 (saxlanılan etiketlərin uçotu).

4) Pəncərələr və etiketlər (gecikmələr)

Sürətli proxy etiketləri: klik, 7d depozit, tamamlanmış RG case - erkən qiymətləndirmə üçün.
Gecikmiş etiketlər: chargeback (45-90d), churn/LTV - retrospektiv validasiya və hədd/kalibrləmə düzəlişləri üçün.
As-of intizam: nə fich, nə də etiket - «gələcək hadisələr».

5) Əsas səbəblərin diaqnostikası (RCA çek siyahısı)

1. Verilənlər: PSI/KL top fiqurları, missing/lag, schema diffs, yeni kateqoriyalar.
2. Mənbə: Təchizatçılar (PSP/oyun provayderi), API/vaxt səhvləri.
3. Mövsümlük/promosyonlar: pik missiyalar/turnirlər, RTP/kataloq dəyişiklikləri.
4. Region/rezidentlik: bazar trafikinin dəyişməsi, yeni KYC/RG qaydaları.
5. Texnika: Phic cache deqradasiya, yavaş CDC, small files fırtına.
6. Referans/valyuta məzənnələri/təqvimlər: köhnəlib? (FX/bayramlar).
7. Ədalət: xüsusi slayslarda keyfiyyətin uğursuzluğu.

6) Playbook drift hərəkətləri

6. 1 Covariate/Feature drift

Tez: kalibrləmə yeniləyin (Platt/Isotonic D + 1), genişlənmiş cost ilə eşik düzəliş edin.
Orta müddətli: qismən refeature (davamlı aqreqatlar/pəncərələr), time-aware CV ilə TE/WOE yeniləmək.
Uzunmüddətli: yeni nümunələr/pəncərələr ilə retrain, lazım olduqda phich memarlıq nəzərdən.

6. 2 Label/Outcome drift

Təzə etiketlər (D + 1, D + 7) üçün eşik saymaq, yenidən kalibrləmə.
guardrails qeyd (stabilizasiya qədər aqressiv hərəkətləri məhdudlaşdırmaq).

6. 3 Concept drift

Shadow-təlim yeni versiyası son data → canary → tam rollout.
Domen dekompozisiyasını nəzərdən keçirin (seqmentlər/bazarlar üzrə ayrı-ayrı modellər).

6. 4 Schema/Operational drift

qoşa qeyd v1/v2 sxemləri, online/offline ekvivalent testi.
Mənbələri təmir edin, cache/folback daxil edin, backfill boşluqlarını kompensasiya edin.

6. 5 Fairness drift

Müvəqqəti slays həddi/kalibrləmə, targeted retrain/rebalance fich, proxy dəyişənlərin auditi.

6. 6 Eskalasiya

Kill-switch (guardrails breach) → təhlükəsiz fallback/əvvəlki versiyası.
5xx/latency/expected-cost böyüməsi ilə Rollback one-click.

7) Yeniləmə siyasəti

7. 1 Artımlar və CDC

Sabit watermarks/log-replikasiya; idempotent MERGE/UPSERT.

7. 2 Backfill/Reprocessing

Backfill: (kvotaları və pəncərələri ilə) bir sıra.
Reprocessing: məntiqin dəyişməsi/səhvlərin düzəldilməsi zamanı yenidən hesablama.
Метки: `logic_version`, `reprocessed_at`, `reason`; təsir hesabatı (metrik/dəyəri).

7. 3 Time-travel/WORM

ACID cədvəlləri (Delta/Iceberg/Hudi), WORM-hesabat arxivləri/buraxılışlar.
«Tarixdə olduğu kimi»: tənzimləyici hesabatların təkrarlanması.

7. 4 Referans/FX/Təqvimlər

Avtomatik yeniləmələr, imza, versiyalar və təravət testi (latency və age SLO).

8) Metriklər və alertlər (minimum dəst)

Verilənlər: PSI/KL top fiqurları, missing-rate, feature-fetch latency.
Keyfiyyət: PR-AUC/KS (proxy etiketlərində), ECE, expected-cost @thr.
Əməliyyatlar: p95/p99 latency, 5xx, coverage, autoscaling, cost/request.
Fairness: slays panelləri (bazarlar/cihazlar/provayderlər).
Müqavilələr: schema-violations, online/offline equivalence test.

9) Model yeniləmə prosedurları

1. Shadow: sorğu surətlərində yeni model, latency/quality/cost müqayisə.
2. Canary: 5-10% → 25% → 50% → 100% yaşıl SLO ilə.
3. Eşik/kalibrləmə: D + 1 hesablayın; Astanalar - reyestrdə.
4. Sənədləşmə: model kartı (məlumatlar, pəncərələr, metriklər, risklər, fairness).
5. Arxiv: WORM reliz (çəkilər, kalibrləmə, test jurnalları, drift hesabatları).

10) Nümunələr (fraqmentlər)

10. SQL ideyalarında 1 PSI (bininq əvvəlcədən hazırlanmışdır)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 expected-cost (psevdocode) üçün eşik düzəliş

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 ekvivalentlik online/offline phic

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill (orkestr ideyası)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Testlər və dəyişikliklərə nəzarət

sxemlər/fich müqavilələri: consumer-driven tests, ikiqat qeyd v1/v2.
Reqressiya metrik testlər: PR-AUC/ECE/expected-cost tolerans xaricində pisləşdirmək deyil.
Online/offline ekvivalentlik testləri: istinad nümunəsində.
Chaos testləri: Fich Cache-nin uğursuzluğu, mənbələrin vaxtları, burst trafiki.

12) Fairness və uyğunluq

Slice-hesabatlar (disparate impact, equalized odds), slays-eşik/kalibrləmə.
PII-minimallaşdırma, rezidentlik (EEA/UK/BR), DSAR/RTBF, Legal Hold.
Həllərin auditi: 'policy _ id', 'threshold', müdaxilələrin səbəbləri, WORM-loqlar.

13) Qiymət və performans

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
Optimizasiya: ağır fich offline materiallaşdırma, isti pəncərələr cache, bərabər keyfiyyətli INT8/FP16.
Kvotalar: backfill/replay limitləri, bazar/komanda retrain üçün büdcə.

14) RACI

R (Responsible): MLOps (monitorinq/reyestr/geri alma), Data Eng (data/CDC/backfill/müqavilələr), Data Science (diaqnostika/kalibrləmə/retrain/fairness).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/audit), SRE (SLO/dəyər), Finance (büdcələr/ROI).
I (Informed): Məhsul/Marketinq/Əməliyyatlar/Dəstək.

15) Yol xəritəsi

MVP (2-4 həftə):

1. PSI/KL top-fich və score, ECE, proxy etiketlərində expected-cost.

2. Dashboard coverage/missing/feature-lag, alert və runbook '.

3. recalibration prosedurları (D + 1) və astanaları; yeni modellər üçün shadow yolu.

4. Sxemlər/fich müqavilələri və online/offline ekvivalent testi.

Faza 2 (4-8 həftə):

RCA paneli, slice/fairness monitorinq, kvotalarla backfill planı.
Avtomatik çapraz kalibrləmə/eşik, eşik simulyatoru (what-if).
WORM drift hesabatları və relizlər arxivi.

Faza 3 (8-12 həftə):

Avto-retrain drift hadisələri (kanareik), multi-regional siyasət.
Cost-kvotalar/chargeback, chaos-/DR-təlimlər, avtogen sənədlər.

16) Satış öncəsi yoxlama siyahısı

SLI/SLO və alertlər (PSI/ECE/expected-cost/coverage/latency/5xx).
Sxemlər/fich müqavilələri və v1/v2 ikiqat qeyd - yaşıl.
recalibration/threshold-update prosedurları sənədləşdirilmiş və avtomatlaşdırılmışdır.
Shadow/canary ilə bir-click rollback yoxlanılır.
Kvotalar və pəncərələrlə Backfill/reprocessing - hazırdır; WORM arxivi daxildir.
Slice/fairness panelləri və seqment sahibləri təyin.
PII/DSAR/RTBF/Legal Hold siyasətlərinə əməl olunur; audit daxildir.
Nəzarət altında dəyəri (cost/request, cost/feature), cache/TTL xüsusi.

17) Anti-nümunələr və risklər

Biz yüksək PSI gördük - dərhal retrain «kor», RCA və kalibrləmə olmadan.
Saxlanılan etiketlərin qeydiyyatı yoxdur → saxta nəticələr, hər gün «eşik kəsmə».
Online/offline → «ikili reallıq» ekvivalentlik testi yoxdur.
Ignor fairness: bazarlarda/cihazlarda uğursuzluqlar görünməz qalır.
kvota/pəncərə olmadan Backfill → dəyər və SLA zərbə.
Eşik sabit «əbədi» → mövsümi olaraq genişlənmiş cost.

18) Yekun

Drift idarəetmə birdəfəlik retrain deyil, bir prosesdir: müşahidə → diaqnostika → minimum riskli hərəkət (kalibrləmə/eşik) → təhlükəsiz retrain/refichering → dəyər və audit nəzarəti. Belə bir intizam ilə modellər oyunçuların, provayderlərin və bazarın davranışı dəyişdikdə belə dəqiq, etik və komplayent olaraq qalır.

Modellərin sürüklənməsi və məlumatların yenilənməsi

Bizimlə əlaqə

Sürətli əlaqə

Video tezliklə yenilənəcək

Hazırda layihələrlə çox məşğuluq