MLOps: modellərin istismarı

1) iGaming əməliyyat rolu

iGaming modelləri real pul və tənzimləyicilərə təsir edir: RG müdaxilələri, antifrod, ödənişlər, KYC, limitlər, offerlər və tövsiyələr. Əməliyyat zəmanətli SLO, izləmə və təhlükəsizlik ilə etibarlı proqnoz təqdim edir.

• Gözlənilən buraxılışlar və fasiləsiz geri dönüşlər.
• Məlumatların uyğunluğu və phic offline/online.
• Müşahidə: keyfiyyət, sürüklənmə, dürüstlük, məxfilik.
• TCO azaldılması: performans, cache, GPU/CPU qarışıqları.
• Tələblərə uyğunluq (audit/DSAR/Legal Hold/etika).

2) Servinq memarlığı

Batch (oflayn): gecə/saat skorinqləri (limitlər, seqmentlər). Üstünlüklər: daha ucuz, daha sabit. Mənfi cəhətləri: ani reaksiya yoxdur.
Stream (near-real-time): 1-5 dəqiqə pəncərələrlə hadisələrin (dərəcələr, anomaliyalar) emalı.
Online (sync API): UX/risk həlləri, caching və deqradasiya üçün <100-300 ms p95.
Hibrid: «batch-dən baseline + online dəqiqləşdirmə» (məsələn: 7 gün ərzində RG riski + onlayn sessiya tetikləyiciləri).

• Kritik yolda yüngül «qapı modeli» ilə Ensemble/Stacking.
• Fallback-evristics model/fich uğursuz olduqda.
• Circuit Breaker və rate limiting pik və ya deqradasiya provayder.

3) Model reyestri və versiyaların idarə edilməsi

Model Registry: versiyalar, sahibləri, buraxılış tarixi, metriklər (AUC/PR, kalibrləmə), dataset_version, feature_set_version, istifadə məhdudiyyətləri.
Model Card (Model Card): tapşırıq, data/Fich, fairness/privacy-bölmə, risk zonası, tezlik.
Buraxılış siyasəti: 'MAJOR. MINOR. PATCH '+ məcburi rollback planı.
Champion-Challenger: hesabatları ilə paralel qaçış challenger; meyarları yerinə yetirərkən avtomatik artım.

4) Onlayn fiş və uyğunluq

Feature Store: offline (təlim) və ciddi müqavilələr ilə online (inferens) vitrinlər.
Time travel və point-in-time join təlim zamanı.
İdempotent yeniləmə fic və target sızmasına qarşı qorunma.
Uyğunluq: «read-your-writes» və ya SLA çatdırılma zəmanəti (məsələn, 60 saniyə ≤).
Xüsusiyyətlər siyasəti: allow/deny vərəqləri, maskalanma, tokenizasiya, proxy-PII qadağası.

5) Buraxılış strategiyaları

Shadow: bütün yük → champion; challenger sorğuların bir nüsxəsini alır, cavablar biznesə təsir etmir.
Canary: 1-10% trafik → yeni versiyası; KPI/metrik müqayisə, astanada avtomatik geri.
Blue-Green: server/end point iki hovuz; DNS/marşrutu.
Bayraqlar: bazarlarda/tenantlarda/kanallarda incə konfiqurasiya.

6) Müşahidə və alertinq

• Etibarlılıq: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• Verilənlər/xüsusiyyətlər: təzəlik, tamlıq, paylama, anomaliyalar, boşluqlar, schema drift.
• Keyfiyyət: kalibrləmə, post-fact metrika (AUC/PR, uplift), müdaxilələrə cavab.
• Drift: girişlərdə (PSI/KS) və çıxışlarda (score drift).
• Etika/ədalət: EO/EOp-delta, disparate impact.
• Gizlilik: Attack-AUC (membership/inversion) ≈ 0. 5, ε -usage (əgər DP).
• Biznes: chargeback, RG-müdaxilələr, offerlərin çevrilməsi - seqmentlərə parçalanma ilə.

• p95 latency ≤ 200 ms (onlayn RG/antifrod).
• Error rate ≤ 0. 1% 5-dəq. orta.
• Drift PSI ≤ 0. 2 əsas fiş üzrə; EOp-delta ≤ 3 pp
• Freshness fich ≤ 60 san; boşluqlar ≤ 0. 5%.
• Kalibrləmə ACE ≤ 0. 02.

7) Hadisələr və playbook

Sev səviyyələri: P1 (ödənişlərin bloklanması/RG səhvləri), P2 (səhvlərin artması> eşik), P3 (keyfiyyətin pozulması).
Avto-mitiqasiya: çempion keçid, sorğu tezliyini azaltmaq, fallback qaydalarını daxil etmək, «zəhərli» fiqurları təcrid etmək.
Runbooks: «Fici köhnəldi», «sürüklənmə böyüdü», «Fid tipifikasiyası dəyişdi», «GPU tükəndi» üçün çek siyahıları.
Post-mortem: RCA, fiks-plan, testlərin/hədlərin/müqavilələrin yenilənməsi.

8) Təcrübələr və dəyişikliklərə nəzarət

A/B və multi-armed bandit - yalnız əsas qruplar üzrə stratifikasiya ilə (ölkə/kanal/cihaz).
Etik stop qaydaları: RG riskinin/şikayətlərinin kəskin artması ilə.
keçid əvvəl Dual-run vitrin fich və modelləri.
Nəticələrin sabit şərhi üçün KPI və təriflərin (BI contract) versiyası.

9) Məhsulda təhlükəsizlik və məxfilik

mTLS/TLS 1. 3, imza sorğular, anti-replay (nonce/idempotency).
Secrets Manager, JIT emissiyası, audit sirləri.
Giriş/log tokenizasiyası; yollarda PII qadağası.
TEE/VIP ödənişlər/AML (lazım olduqda) üçün məxfi inferens.
(RBAC/ABAC/JIT) Fich və end-point giriş siyasəti.
DSAR/Legal Hold: izah və token aradan qaldırılması üçün həll yolları.

10) Performans və dəyəri

Xüsusilə sabit siqnallar üçün TTL ilə cache (feature/score).
Sürətləndirmə üçün kvantizasiya/distillə (INT8/FP16).
Avtomatik skeylinq: üfüqi QPS/latency, şaquli batch ölçüsü.
Hibrid CPU/GPU: latency-GPU-da kritik, CPU-da «kütlə».
Soyuq başlanğıc izi, modelin istiləşməsi.
Cash-locality üçün bazarlar/tenantlar üzrə modellər və «sticky routing» hovuzu.

11) iGaming Cases (Referanslar)

RG-skoring: giriş və sessiyada onlayn skoring; ciddi overrides (özünü istisna), hədəf metrika - EOp + kalibrləmə.
Antifrod/ödənişlər: pre-avtorizasiya həlləri <150 ms; EO-nəzarət FPR, robust siqnal aqreqatorları.
KYC/AML: thin-file dəstək; tərəfdaş ilə PSI/MPC; DSAR uyğunluğu.
Personalizasiya: uplift modelləri və tezlik limitləri; aqressiv offerlərdən yüksək risk istisna.

12) Metrik və SLO əməliyyat (nümunə)

13) Artefakt şablonları

13. 1 Release Notes (eskiz)

Model: 'rg _ risk @ 2. 1. 0` (MINOR)

Dəyişikliklər: əlavə edilmişdir 'loss _ streak _ 7d'; kalibrləmə yeniləndi

Validasiya: 14 gün; delta KPI ≤ 0. 3%; EOp-delta normal

Rollout: canary 10% EU → 50% → 100%

Rollback: bayraq 'rg. use_v1=true`

Sahibi/tarix/sorğu

13. 2 Model kartı (fraqment)

Hədəf: antifrod ödənişləri

Məlumat: 'payments _ gold v3. 2 ', fich-set' payout _ signals v1. 7`

Metriklər: AUC = 0. 89, ACE=0. 015, FPR @опер. eşik = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

Məhdudiyyətlər: VIP müştərilər - yalnız human-review ilə

Gizlilik: TEE-inference; PII olmadan loging

Revyu: 90 gündə bir

13. 3 SLO end point siyasəti (fraqment)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook «Fiçlər köhnəlib»

1. Feature Store və feed mənbəyi lag yoxlayın.
2. Ehtiyat/Cache kanalına keçid.
3. Trafiki azaltın/fallback qaydalarını aktivləşdirin.
4. -status #ml kommunikasiya; hadisə SLA P2/P1.
5. RCA və düzəliş müqavilələri/retras.

14) Buraxılışdan əvvəl test prosesləri

Form müqavilələri: schema/enum/nullable, SLA təravət.
Məlumat: DQ testləri, nöqtə-vaxt, hədəf sızması.
Model: unit/integration, kalibrləmə, stress/yük.
Təhlükəsizlik: sirləri, mTLS, log Zero-PII.
Etika/gizlilik: fairness-check, attack-suite.
Müşahidə olunma: daşbordlar/alertlər, SLO konfiqləri.
Sənədləşmə: Release Notes + rollback planı.

15) RACI (nümunə)

ML Lead (A/R): keyfiyyət, buraxılışlar, metriklər.
Data Platform (R): Feature Store, registr, orkestr, müşahidə.
Domain Owners (R): mənbə müqavilələri/fich.
Təhlükəsizlik/DPO (A/R): giriş, gizlilik, tokenizasiya, TEE.
SRE/SecOps (R): hadisələr, SLO, avtoskeyl, SOAR.
Analytics/Finance (C): KPI və hesabatlara təsiri.
Support/RG/Risk (C): human-in-the-loop və izahlılıq.

16) Tətbiqi yol xəritəsi

0-30 gün (MVP)

1. Model Registry + yüksək impact modelləri üçün kartlar (RG/ödənişlər/antifrod).
2. Əsas monitorinq: latency, errors, freshness, drift girişlər.
3. Shadow-purs yeni versiyaları, canary-konturları.
4. Form və Zero-PII müqavilələri.
5. Runbooks və kanal #ml -status.

30-90 gün

1. Champion-Challenger və avtomatik artım meyarları.
2. Fairness/privacy-geytalar CI/CD, attack-suite.
3. Caching, kvantizasiya, avtoskeyl; SLO/dəyəri büdcə.
4. BI/ML koordinasiya KPI və online-metrik; SLO daşbordları.

3-6 ay

1. müntəzəm post-mortemlər, rüblük review modelləri.
2. Geo/tenant-izolyasiya end nöqtələri, açarları və phich.
3. Şəxsi ödəniş infensi/AML üçün TEE/MPC.
4. Tam avtomatlaşdırma Release Notes cetvel və diff.
5. Proseslərin xarici auditi (lisenziya tələb olunan yerlərdə).

17) Anti-nümunələr

shadow/canary və rollback planı olmadan azad.
Razılaşdırılmamış offline/online fice → deqradasiya.
PII ilə log, token-policy yoxdur.
«Əbədi» eşiklər yenidən baxılmadan; drift və kalibrləmə ignor.
Yüksək riskli həllər üçün human-in-the-loop olmaması.
Stratifikasiya və etik stop qaydaları olmadan təcrübələr.

18) Əlaqəli bölmələr

DataOps-Practices, Access Control, Data Tokenization, Təhlükəsizlik və şifrələmə, Audit və Version, Qərəzliliyin azaldılması, Məxfi ML, Federated Learning, Data Depolama Siyasəti, Data Origin & Way, Data Ethics.

Yekun

Modellərin istismarı istehsalat xidmətləri səviyyəsində mühəndislik intizamıdır: dəqiq müqavilələr və versiyalar, proqnozlaşdırıla bilən buraxılışlar, 24/7 müşahidə, idarə olunan etika/məxfilik riskləri və biznesə şəffaf təsir. Beləliklə, ML «ən yaxşı dizüstü script» deyil, etibarlı bir məhsula çevrilir.