MLOps: modellardan foydalanish

1) iGamingda foydalanish roli

iGaming modellari real pul va regulyatorga ta’sir qiladi: RG-intervensiyalar, antifrod, to’lovlar, KYC, limitlar, offerlar va tavsiyalar. Ekspluatatsiya - bu kafolatlangan SLO, kuzatuv va xavfsizlik bilan ishonchli bashoratlarni taqdim etishdir.

• Prognoz qilinadigan relizlar va to’xtovsiz qaytishlar.
• Maʼlumotlarning muvofiqligi va fich offline/online.
• Kuzatilganlik: sifat, dreyf, halollik, maxfiylik.
• TCO pasayishi: unumdorlik, kesh, GPU/CPU aralashmalari.
• Talablarga muvofiqlik (audit/DSAR/Legal Hold/etika).

2) Serving arxitekturasi

Batch (oflayn): tungi/soatbay skoringlar (limitlar, segmentlar). Afzalliklari: arzonroq, barqarorroq. Salbiy tomonlari: tezkor javob yo’q.
Stream (near-real-time): 1-5 daqiqa oynalar bilan voqealarni (stavkalar, anomaliyalar) qayta ishlash.
Online (sync API): <100-300 ms p95 UX/risk-yechimlar uchun, keshlash va degradatsiya.
Gibrid: «batch dan baseline + onlayn aniqlashtirish» (misol: 7 kun ichida RG-xavf + onlayn-trigger sessiyalari).

• Ensemble/Stacking eng muhim yo’lda engil «geyt modeli» bilan.
• Model/fich muvaffaqiyatsiz tugaganida Fallback-evristikalar.
• Circuit Breaker va rate limiting.

3) Modellar reyestri va versiyalarni boshqarish

Model Registry: versiyalar, egalari, reliz sanasi, metrika (AUC/PR, kalibrlash), dataset_version, feature_set_version, foydalanish cheklovlari.
Model kartochkasi (Model Card): vazifa, ma’lumotlar/fichlar, fairness/privacy-bo’lim, xavf-zonalar, qichqiriq chastotasi.
Relizlar siyosati:’MAJOR. MINOR. PATCH’+ majburiy rollback-reja.
Champion-Challenger: hisobotlar bilan challenger parallel yugurish; mezonlarni bajarishda avtomatik ravishda oshirish.

4) Onlayn fichlar va muvofiqlik

Feature Store: offline (o’qitish) va onlayn (inferens) vitrinalar qat’iy kontraktlar bilan.
Time travel va point-in-time join.
Idempotent apdeytlar fich va target oqishidan himoya qilish.
Muvofiqlik: «read-your-writes» yoki SLA yetkazib berish kafolatlari (masalan, 60 sek ≤).
Belgilar siyosati: allow/deny-varaqlar, niqoblash, tokenizatsiya, proksi-PII taqiqlash.

5) Relizlar strategiyasi

Shadow: butun yuk → champion; challenger so’rovlarning nusxasini oladi, javoblar biznesga ta’sir qilmaydi.
Canary: 1-10% trafik → yangi versiya; KPI/metrik taqqoslash, ostonalar bo’yicha avto-qaytish.
Blue-Green: ikkita server/endpoint hovuzi; DNS/yo’nalish.
Bayroqlar: bozorlar/tenantlar/kanallar bo’yicha nozik sozlash.

6) Kuzatish va alerting

• Ishonchlilik: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• Ma’lumotlar/fichlar: yangilik, to’liqlik, taqsimot, anomaliyalar, o’tkazib yuborishlar, schema drift.
• Sifati: kalibrlash, post-fact metrika (AUC/PR, uplift), intervensiyalarning javobi.
• Drift: kirish (PSI/KS) va chiqish (score drift).
• Axloq/adolat: EO/EOp-delta, disparate impact.
• Maxfiylik: Attack-AUC (membership/inversion) ≈ 0. 5, ε -usage (agar DP bo’lsa).
• Biznes: chargeback, RG-intervensiyalar, offerlarning konvertatsiyasi - segmentlarga bo’lingan holda.

• p95 latency ≤ 200 ms (onlayn-skoring RG/antifrod).
• Error rate ≤ 0. 1% 5 daqiqa o’rtacha.
• Drift PSI ≤ 0. 2 asosiy fichlar bo’yicha; EOp-delta ≤ 3 p.p.
• Freshness fich ≤ 60 sek; o’tkazib yuborish ≤ 0. 5%.
• Kalibrlash ACE ≤ 0. 02.

7) Hodisalar va pleybuklar

Sev-darajalar: P1 (toʻlovlarni blokirovka qilish/RG xatosi), P2 (xatolarning oʻsishi> chegarasi), P3 (sifat degradatsiyasi).
Avto-mitigatsiyalar: championga o’tish, so’rovlar chastotasini pasaytirish, fallback qoidalarini yoqish, «zaharli» fichlarni izolyatsiya qilish.
Runbooks: «chici eskirgan», «dreyf o’sgan», «fid tipifikatsiyasi o’zgargan», «GPU tugagan» cheklistlari.
Post-mortem: RCA, fix-reja, testlarni/chegaralarni/kontraktlarni yangilash.

8) Eksperimentlar va o’zgarishlarni nazorat qilish

A/B va multi-armed bandit - faqat asosiy guruhlar bo’yicha tabaqalashtirilgan (mamlakat/kanal/qurilma).
Axloqiy to’xtash qoidalari: RG-xavf/shikoyatlar keskin o’sganda.
Dual-run vitrin fich va modellar almashtirishdan oldin.
Natijalarni barqaror talqin qilish uchun KPI va taʼriflarni (BI contract) versiyalash.

9) Oziq-ovqat xavfsizligi va maxfiyligi

mTLS/TLS 1. 3, so’rovlar imzosi, anti-replay (nonce/idempotency).
Secrets Manager, JIT berish, audit sirlari.
Kirish/log tokenizatsiyasi; trassalarda PII taqiqlash.
TEE/VIP-to’lovlar uchun maxfiy inferens/AML (zarurat bo’lganda).
Fichlar va endpointlarga kirish siyosati (RBAC/ABAC/JIT).
DSAR/Legal Hold: tushuntirish va tokendan olib tashlash uchun yechimlar trassasi.

10) Unumdorlik va qiymat

TTL bilan kesh (feature/score), ayniqsa barqaror signallar uchun.
Tezlashtirish uchun kvantizatsiya/distillash (INT8/FP16).
Avtoskeyling: QPS/latency bo’yicha gorizontal, batch-size bo’yicha vertikal.
Gibrid CPU/GPU: latency-kritik GPU, «massa» CPU.
Sovuq startlarni izlash, modelni isitish.
Kesh lokalligi uchun bozorlar/tenantlar bo’yicha modellar va «sticky routing» puli.

11) iGaming keyslari (referensiyalar)

RG-skoring: kirish va sessiyada onlayn skoring; qattiq overrides (o’zini istisno qilish), maqsadli metrika - EOp + kalibrlash.
Antifrod/to’lovlar: oldindan-avtorizatsiya yechimlari <150 ms; EO-nazorat FPR, robust-signal agregatorlari.
KYC/AML: thin-file qoʻllab-quvvatlash; sherik bilan PSI/MPC; DSAR mosligi.
Personallashtirish: uplift-modellar va chastota limitlari; high-riskni tajovuzkor offerlardan chiqarish.

12) Metrika va SLO ekspluatatsiyasi (misol)

13) Artefaktlar shablonlari

13. 1 Release Notes (eskiz)

Model: ’rg _ risk @ 2. 1. 0` (MINOR)

Oʻzgarishlar: qoʻshilgan’loss _ streak _ 7d’; kalibrlash yangilandi

Validatsiya: shadow 14 kun; delta KPI ≤ 0. 3%; EOp-delta normal

Rollout: canary 10% EU → 50% → 100%

Rollback: bayrogʻrg. use_v1=true`

Egasi/sana/chipta

13. 2 Model kartochkasi (parcha)

Vazifa: antifrod to’lovlar

Maʼlumot: ’payments _ gold v3. 2’, fich-set’payout _ signals v1. 7`

Metrikasi: AUC = 0. 89, ACE=0. 015, FPR @опер. chegara = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

Cheklovlar: VIP-mijozlar - faqat human-review

Maxfiylik: TEE-inferens; PIIsiz logirovka qilish

Revyu: 90 kunda bir marta

13. 3 Endpoint SLO siyosati (parcha)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook «Fichlar eskirgan»

1. Feature Store’da lag va fayl manbasini tekshirish.

2. Boshqa kanalga/keshga oʻtish

3. Trafikni kamaytirish/fallback qoidalarini yoqish.
4. -status #ml kommunikatsiya; hodisa P2/P1 SLA bo’yicha.
5. RCA va shartnomalar/retraylarni tuzatish.

14) Reliz oldidan test jarayonlari

Kontraktlar fich: schema/enum/nullable, SLA yangilik.
Ma’lumotlar: DQ-testlar, point-in-time, target oqishi.
Model: unit/integration, kalibrlash, stress/yuk.
Xavfsizlik: sirlar, mTLS, Zero-PII.
Odob/maxfiylik: fairness-chek, attack-suite.
Kuzatilishi: dashbordlar/alertlar, SLO konfigi.
Hujjatlar: Release Notes + rollback-reja.

15) RACI (misol)

ML Lead (A/R): sifat, relizlar, metriklar.
Data Platform (R): Feature Store, registr, orkestr, kuzatish.
Domain Owners (R): manbalar shartnomalari/fich.
Security/DPO (A/R): kirish, maxfiylik, tokenizatsiya, TEE.
SRE/SecOps (R): hodisalar, SLO, avtoskeyl, SOAR.
Analytics/Finance (C): KPI va hisobotlarga ta’siri.
Support/RG/Risk (C): human-in-the-loop va tushunarlilik.

16) Joriy etish yo’l xaritasi

0-30 kun (MVP)

1. Model Registry + high-impact modellari uchun kartochkalar (RG/to’lovlar/antifrod).
2. Asosiy monitoring: latency, errors, freshness, drift.
3. Shadow - yangi versiyalar, canary-konturlar.
4. Fich va Zero-PII shartnomalari.
5. Runbooks va #ml -status kanali.

30-90 kun

1. Champion-Challenger va mezonlar bo’yicha avto-ko’tarish.
2. Fairness/privacy-geytlar CI/CD, attack-suite.
3. Keshlash, kvantlash, avtoskeyl; SLO/qiymat budjeti.
4. BI/ML KPI va online-metrikni kelishish; SLO dashbordlari.

3-6 oy

1. Muntazam post-mortemlar, modellarning choraklik revumi.
2. Geo/tenant-izolatsiya endpointlari, kalitlari va fich.
3. Shaxsiy to’lov infensi uchun TEE/MPC/AML.
4. Release Notes to’liq avtomatlashtirish.
5. Jarayonlarning tashqi auditi (litsenziya talab qilinadigan joylarda).

17) Anti-patternlar

Shadow/canary va rollback rejasiz chiqariladi.
Kelishilmagan offline/online fichlar → degradatsiya.
PII bilan ro’yxatlar, token-policy yo’qligi.
«Abadiy» ostonalar qayta ko’rib chiqilmasdan; dreyf va kalibrlash ignori.
Yuqori xavfli yechimlar uchun human-in-the-loop yo’qligi.
Stratifikatsiyasiz va axloqiy to’xtash qoidalarisiz eksperimentlar.

18) Bog’liq bo’limlar

DataOps-amaliyotlar, Kirish nazorati, Ma’lumotlarni tokenlashtirish, Xavfsizlik va shifrlash, Audit va versiya, Xolislikni kamaytirish, Maxfiy ML, Federated Learning, Ma’lumotlarni saqlash siyosati, Ma’lumotlarning kelib chiqishi va yo’li, Ma’lumotlar etikasi.

Jami

Modellardan foydalanish - bu prodakshn-servislar darajasidagi muhandislik intizomi: aniq kontraktlar va versiyalar, prognoz qilinadigan relizlar, kuzatish darajasi 24/7, boshqariladigan axloq/maxfiylik xavfi va biznesga shaffof ta’sir. Shunday qilib, ML «noutbukdagi eng yaxshi skript» emas, balki ishonchli mahsulotga aylanadi.