Modellar monitoringi

1) Nima uchun

Maqsad - SLA/SLO, RG/AML/Legal va byudjetlarga rioya qilgan holda model yechimlarining sifati va xavfsizligini saqlash. Monitoring tanazzulni (ma’lumotlar, kalibrlash, latency, qiymat) erta aniqlashi, expected cost xatolarni minimallashtirishi va takrorlanuvchanlikni/auditni ta’minlashi kerak.

2) Monitoring sohalari (xarita)

1. Foydalanish imkoniyati va unumdorligi: latency p95/p99, error-rate, RPS, avtoskeyl.
2. Bashorat qilish sifati: PR-AUC/KS (onlayn yorliqlarda), kalibrlash (ECE), expected-cost @threshold.
3. Dreyf va barqarorlik: PSI/KL fich va skor bo’yicha, taqsimot/toifalarni o’zgartirish.
4. Qoplash va to’liqlik: muvaffaqiyatli xizmat ko’rsatilgan so’rovlar ulushi, «bo’sh» fich ulushi, hit-rate keshlar.
5. Slice/Fairness: bozorlar/provayderlar/qurilmalar/hisob yoshi bo’yicha metriklar.
6. Guardrails (RG/AML): siyosatning buzilishi, intervensiyalar chastotasi, false positives/negatives.
7. Qiymati: cost/request, cost/feature, GPU/CPU-soatlar, small-files/IO (batch/near-RT uchun).
8. Ma’lumotlar/kontraktlar: sxema fich, versiyalar, ekvivalentlik online/offline.

3) SLI/SLO (iGaming uchun mo’ljallar)

Latency p95: personalizatsiya ≤ 150 ms, RG/AML alerta ≤ 5 s e2e.
Availability: ≥ 99. 9%.
Error-rate 5xx: ≤ 0. 5 daqiqada 5%.
Coverage: So’rovlarning 99 foizi ≥ tezlik va yechim oldi.
Onlayn baholash uchun Freshness yorliqlari: D + 1 (sutkalik), tezkor proksi uchun - 1 soatdan ≤.
Drift PSI: chi/skor <0. 2 (warning с 0. 1).
ECE kalibrlash: ≤ 0. 05.
Expected-cost_live: + X% dan yuqori emas (maqsadli X biznesni tanlaydi).

4) Signallar va formulalar

4. 1 Dreyf

PSI: taqsimot farqining binalari bo’yicha yig’indilar (train vs prod).
KL-divergensiya: «ingichka» dumlarga sezgir; asosiy fich/tezlikni kuzatib borish.
Tezkorlar uchun KS (leybllar mavjud bo’lganda): ijobiy/salbiy uchun CDF farqi.

4. 2 Kalibrlash

4. 3 Expected-Cost

Ish chegarasida minimallashtiramiz (C = c_{fp}\cdot FPR + c_{fn}\cdot FNR); onlayn hisoblab chiqamiz.

5) Leybllar manbalari

Onlayn yorliqlar (tezkor proksi): «7 kunlik depozit» tadbiri, klik/konvertatsiya, tugallangan RG keysi.
Kechiktirilgan yorliqlar: chargeback/frod (45-90 kun), uzoq muddatli churn/LTV.
Qoidalar: as-of vaqtni saqlash; kelajak voqealaridan foydalanmaslik.

6) Dashbordlar (eng kam tarkib)

1. Operatsion: RPS, p50/p95/p99 latency, 4xx/5xx, saturation, autoscaling.
2. Sifati: score-distribution, PR-AUC (proksi-yorliqlarda), ECE, expected-cost, KS.
3. Dreyf: PSI/KL top-fichlar bo’yicha, novelty toifalari, missing-rate, feature-fetch latency.
4. Slice/Fairness: PR-AUC/ECE/expected-cost bo’yicha bozorlar/provayderlar/qurilmalar.
5. Guardrails: RG/AML buzilishlar, intervensiyalar/1k soʻrovlar, false-stop rate.
6. Qiymati: cost/request, CPU/GPU time, cache hit-rate, tashqi lookups.

7) Alerting (namunaviy qoidalar)

HighP95Latency: p95> 150 ms (5 min) → page SRE/MLOps.
ErrorBurst: 5xx > 0. 5% (5 min) → rollback skripti mavjud.
PSI_Drift: PSI(amount_base) > 0. 2 (15 daqiqa) → warm-up retrain/kanar orqaga qaytish.
ECE_Bad: ECE > 0. 07 (30 min) → kalibrlash/chegaralarni qayta yig’ish.
ExpectedCost_Up: + X% benchmarkga (1 kun) → qaytish/qaytishni koʻrib chiqish.
Slice_Failure: PR-AUC R bozorida> Y% (1 kun) → domen egasiga pasaydi.
Guardrails_Breach: agressiv offerlar ulushi> cap → darhol kill-switch.

8) Logirovka va trastirovka

So’rov loglari (minimal):’request _ id’,’trace _ id’,’model _ id/version’,’feature _ version’,’feature _ stats’(missing%, extremes),’score’,’decision’,’threshold’,’policy _ id’,’guard _ mask’,’latency _ ms’,’cost _ estimate’, (ixtiyoriy) tushuntirishlar (SHAP top-k).
OTel-трейсы: спаны `feature_fetch` → `preprocess` → `score` → `postprocess` → `guardrail`.
PII: faqat taxalluslar/tokenlar; siyosat bo’yicha niqoblash, kalitlarning rezidentligi.

9) Sifatni onlayn baholash

PR-AUC/KS uchun tezkor yorliqlar (soat/kun).
Ushlangan yorliqlar: retrospektiv hisobotlar D + 7/D + 30/D + 90, tuzatishlar expected-cost.
Kalibrlash: Isotonic/Platt ni D + 1 ga qayta baholash, artefaktning auto-refresh.

10) Hal qiluv qarorlarining chegarasi va siyosati

Ostonani reyestrdagi kabi ushlab turamiz; onlayn tarzda expected-cost deb hisoblaymiz va yo’l qo’yiladigan diapazon (rate-limited) doirasida tuzatish kiritamiz.
Safety-caps: harakatlarning yuqori/pastki chegaralari; komplayens uchun qo’lda override.
Chegaralarni qaytarish: kechagi maʼlumotlarda nightly simulyatsiyasi.

11) Slice & Fairness

Segmentlar: bozor/yurisdiksiya, provayder, qurilma/ASN, hisob yoshi, depozit-kuch.
Metriklar: PR-AUC, ECE, expected-cost, FPR/TPR farqlari (equalized odds), disparate impact.
Harakatlar: slayslar bo’yicha kalibrlash/chegara, tarozilar bilan qayta o’qitish, fichni qayta ko’rib chiqish.

12) Ekvivalentlik online/offline

Test tengligi fich: MAE/MAPE nazorat namunasida; > chegarasi farqlanganda alert.
Version:’feature _ spec _ version’,’logic _ version’; WORM arxivi.
Sxemalar kontraktlari: breaking-change ikki tomonlama yozuvsiz taqiqlanadi (v1/v2).

13) Guardrails (RG/AML)

Pre-/Post-filter amallari, chastota limitlari, cooldown, taqiqlar roʻyxati.
Логи `policy_id/propensity/mask/decision`; qoidabuzarliklar hisoboti.
Time-to-intervene va false-intervention rate metrikasi.

14) Hodisalar va runbook

1. Latency ↑/5xx ↑: tashqi fich-provayderlarni tekshirish → kesh/taymautlarni yoqish → masshtablash → kerak bo’lganda rollback.

2. PSI/ECE/Expected-cost yomonlashdi: freeze trafigi (canary ↓), fallback chegaralarini/modelini yoqish, retrainni ishga tushirish.

3. Slice muvaffaqiyatsiz tugadi: vaqtinchalik maxsus slays chegarasi, domen egasiga chipta.

4. Guardrails breach: kill-switch, keys auditi, post-dengiz.

15) Qiymati va unumdorligi

Profillash: feature-fetch vs score vs IOdagi vaqt ulushi.
Kesh strategiyalari: TTL/eviction, RAMda «issiq» chichlar, sovuq - lazy.
Modelni kvantlashtirish/optimallashtirish: sifatni saqlashda FP16/INT8.
Chargeback: cost/request, cost/feature buyruqlar/bozorlar boʻyicha.

16) Misollar (parchalar)

python thr_grid = np.linspace(0.01, 0.99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[np.argmin(costs)]

text model_inference_latency_ms_bucket feature_fetch_latency_ms_bucket model_request_total{code}
model_score_distribution_bucket psi_feature_amount_base ece_calibration expected_cost_live slice_pr_auc{slice="EEA_mobile"}

text
ALERT DriftDetected
IF psi_feature_amount_base > 0.2 FOR 15m

17) Jarayonlar va RACI

R (Responsible): MLOps (kuzatuv/alertlar/reyestr), Data Science (sifat metrikasi/kalibrlash/chegara), Data Eng (fitsa/kontraktlar/ekvivalentlik).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/audit), SRE (SLO/hodisalar), Finance (qiymat).
I (Informed): Mahsulot/Marketing/Operatsiyalar/Qo’llab-quvvatlash.

18) Yo’l xaritasi

1. Bazaviy SLI/SLO (latency/5xx/coverage) + dashbord.

2. top-10 fich va score-distribution uchun PSI; ECE va proksi-leybllarda expected-cost.

3. Yechimlar loglari + OTel-treyslar; online/offline ekvivalentlik testi.

4. Alertlar HighP95Latency/PSI_Drift/ECE_Bad + runbook.

• Slice/fairness-panellar, kechiktirilgan yorliqlarda nightly backfill metrik.
• Kalibrlash avto-qayta tanlash va chegaralar simulyatori.
• Cost-dashbord va chichi/replay uchun kvotalar/limitlar.

• Kanar nazorati bilan dreyf bo’yicha avto-relaut/retreyn.
• Sifat hisobotlari va artefaktlarning WORM arxivlari.
• Chaos-monitoring testlari va DR-mashqlar.

19) Oziq-ovqat tayyorgarligi chek-varaqasi

• SLI/SLO kelishilgan va shadow/canary ≥ soat 24 da monitor qilingan.
• PSI/KL, ECE, expected-cost va PR-AUC onlayn hisoblanadi; chegaralar va alertlar belgilangan.
• Slice/fairness panellari kiritilgan; segmentlar egalari tayinlandi.
• To’liq loglar/treyslar (yechimlar, ostonalar, niqoblar), PII-niqoblash va rezidentlikka rioya qilingan.
• Ekvivalentlik testi online/offline yashil; kontrakt ostidagi fich sxemalari.
• Runbook’i va one-click rollback tekshirildi; kill-switch для guardrails.
• Qiymat budjetlarga mos keladi; kesh/kvotalar/limitlar aktiv.
• Metrik/artefaktlar va sifat hisobotlari WORM arxivi saqlangan.

20) Anti-patternlar va xavflar

Onlayn-yorliqlar va retrospektiv baholash yo’qligi.
Faqat ROC-AUCni expected-cost va kalibrlashsiz monitoring qilish.
Ignor slice/fairness → hududlarda/qurilmalarda yashirin muvaffaqiyatsizliklar.
Onlayn/offline fich ekvivalentligi yo’q → «ikki tomonlama haqiqat».
Nol guardrails: toksik offerlar, RG/AML buzilishlari.
Orqaga qaytish/DR rejalari yoʻq, WORM arxivi yoʻq.

21) Jami

Modellar monitoringi - bu «haftasiga bir marta ko’rish» emas, balki xavfni/qiymatni erta ogohlantirish va boshqarish tizimidir. SLO’ni kiriting, drift/kalibrlash/expected-cost’ni o’lchang, slayslar va gardraillarni kuzating, rollback/kill-switch tugmalarini ushlab turing, hisobotlar va retrinlarni avtomatlashtiring. Shunday qilib, modellar ma’lumotlar va trafikning har qanday turbulentligida foydali, axloqiy va komplayent bo’lib qoladi.