MLOps: Modelleriň işleýşi

1) iGaming-de ulanmagyň roly

"iGaming" -de modeller hakyky pullara we düzgünleşdirijilere täsir edýär: RG-gatyşmalar, antifrod, tölegler, KYC, çäklendirmeler, offerler we teklipler. Ekspluatasiýa, kepillendirilen SLO, yzarlamak we howpsuzlyk bilen ygtybarly çaklamalardyr.

• Öňünden aýdyp boljak goýberilişler we boş wagtlar.
• Maglumatlaryň utgaşdyrylmagy we fiç offline/online.
• Syn edilişi: hil, süýşmek, dogruçyllyk, gizlinlik.
• TCO peselmegi: öndürijilik, nagt pul, GPU/CPU garyndylary.
• Talaplara laýyklyk (audit/DSAR/Legal Hold/etika).

2) Serwingiň arhitekturasy

Batch (oflayn): gijeki/sagatlyk skoringler (çäkler, segmentler). Artykmaçlyklary: arzan, has durnukly. Minuslar: derrew reaksiýa ýok.
Akym (near-real-time): 1-5 minutlyk penjireler bilen wakalary (nyrhlary, anomaliýalary) gaýtadan işlemek.
Online (sync API): <100-300 ms p95 UX/töwekgelçilik çözgütleri, kesh we zaýalanma üçin.
Gibrid: "baseline from batch + online-takyklamak" (mysal: RG-töwekgelçilik 7 günde + onlaýn-trigger sessiýasy).

• Ensemble/Stacking agyr ýolda ýeňil "geýt modeli" bilen.
• Model şowsuz bolanda Fallback-ewristika/fich.
• Circuit Breaker we rate limiting iň ýokary derejelerde ýa-da üpjün edijiler zaýalananda.

3) Modelleriň sanawy we wersiýalary dolandyrmak

Model Registry: wersiýalar, eýeler, goýberilen senesi, metrikler (AUC/PR, kalibrlemek), dataset_version, feature_set_version, ulanyş çäklendirmeleri.
Model kartoçkasy (Model Card): wezipe, maglumatlar/aýratynlyklar, fairness/privacy-bölüm, töwekgelçilik zolaklary, ýygylygy gykylyk.
Çykyş syýasaty: 'MAJOR. MINOR. PATCH '+ hökmany rollback meýilnamasy.
Champion-Challenger: hasabatlar bilen paralel challenger geçişi; ölçegleri ýerine ýetirilende awtomatiki ýokarlanmak.

4) Onlaýn fiçalar we sazlaşyk

Feature Store: offline (okuw) we berk şertnamalar bilen onlaýn (inferens) penjireler.
Okuw wagtynda wagt syýahaty we nokat wagty join.
Idempotent täzelenmeleri we nyşanyň syzmagyndan gorag.
Yzygiderlilik: "read-your-writes" ýa-da gowşuryş SLA kepillikleri (mysal üçin 60 sekunt ≤).
Alamatlar syýasaty: allow/deny-listler, maskalanmak, bellik etmek, proxy-PII-ni gadagan etmek.

5) Goýberiş strategiýalary

Shadow: ähli ýük → champion; challenger haýyşlaryň göçürmesini alýar, jogaplar işe täsir etmeýär.
Canary: 1-10% traffik → täze wersiýa; KPI/metrik deňeşdirme, bosagalar boýunça awto-yza gaýdyp gelmek.
Blue-Green: iki sany serwer/endpoint; DNS/ugruny üýtgetmek.
Baýdaklar: bazarlar/tenantlar/kanallar boýunça inçe sazlama.

6) Synlamak we alerting

• Ygtybarlylygy: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• Maglumatlar/aýratynlyklar: täzelik, dolulyk, paýlanyş, anomaliýalar, geçişler, shema drift.
• Hil: kalibrlemek, post-fact metrika (AUC/PR, uplift), interwensiýa jogap.
• Drift: girelgelerde (PSI/KS) we çykyşlarda (score drift).
• Etika/adalat: EO/EOp-delta, disparate impact.
• Gizlinlik: Attack-AUC (membership/inversion) ≈ 0. 5, ε -usage (DP bolsa).
• Iş: çargeback, RG-gatyşmalar, offerleriň öwrülişigi - segmentlere bölünmek bilen.

• p95 latency ≤ 200 ms (onlaýn skoring RG/antifrod).
• Error rate ≤ 0. 1% 5 minut. orta.
• Drift PSI ≤ 0. 2 esasy aýratynlyklar boýunça; EOp-delta ≤ 3 p.p.
• Freshness fiç ≤ 60 sek; geçişler ≤ 0. 5%.
• ACE kalibrlemek ≤ 0. 02.

7) Wakalar we pleýbuklar

Sev-derejeler: P1 (tölegleri blokirlemek/RG ýalňyşlygy), P2 (ýalňyşlyklaryň ösüşi> bosagasy), P3 (hiliň peselmegi).
Awto-mitigasiýalar: çempionlyga geçmek, haýyşlaryň ýygylygyny azaltmak, fallback düzgünlerini goşmak, "zäherli" sahnalary izolirlemek.
Runbooks: "Çeňňek köne", "dreýf ösdi", "Fidiň tipizasiýasy üýtgedi", "GPU tükendi" üçin çekler.
Post-mortem: RCA, fiks-meýilnama, synaglary/bosagalary/şertnamalary täzelemek.

8) Synaglar we üýtgeşmelere gözegçilik etmek

A/B we multi-armed bandit - diňe esasy toparlar boýunça stratifikasiýa bilen (ýurt/kanal/enjam).
Etiki stop düzgünleri: RG töwekgelçiliginiň/şikaýatlarynyň düýpgöter ýokarlanmagy bilen.
Dual-run vitrin fich we modelleri geçmezden ozal.
Netijeleri durnukly düşündirmek üçin KPI we kesgitlemeleri (BI contract) wersiýalaşdyrmak.

9) Önümdäki howpsuzlyk we gizlinlik

mTLS/TLS 1. 3, haýyşlaryň goly, anti-replay (nonce/idempotency).
Secrets Manager-dan syrlar, JIT-ekstradisiýa, audit.
Giriş/giriş bellikleri; ýollarda PII gadaganlygy.
TEE/VIP-tölegler üçin gizlin inferens/AML (zerurlyk boýunça).
Fiçlere we endpointlere giriş syýasaty (RBAC/ABAC/JIT).
DSAR/Legal Hold: düşündirmek we token arkaly aýyrmak üçin çözgütler ýoly.

10) Öndürijiligi we bahasy

Esasanam durnukly signallar üçin TTL bilen nagt pul (feature/score).
Tizlenmek üçin kwantizasiýa/distilýasiýa (INT8/FP16).
Awtoskeyling: QPS/latency boýunça gorizontal, batch-size görä dik.
Gibrid CPU/GPU: latency-kritiki GPU, "massa" CPU.
Sowuk başlangyçlary yzarlamak, modeli gyzdyrmak.
Keş-lokalizm üçin bazarlar/tenantlar boýunça modeller we "sticky routing" howuzy.

11) iGaming ýagdaýlary (salgylanmalar)

RG-skoring: girelgede we sessiýada onlaýn skoring; berk overrides (öz-özüni aýyrmak), maksatly metrika - EOp + kalibrlemek.
Antifrod/tölegler: deslapky ygtyýarlylandyryjy çözgütler <150 ms; EO-gözegçilik FPR, robust-signal agregatorlary.
KYC/AML: thin-file goldaw; Hyzmatdaş bilen PSI/MPC; DSAR gabat gelýär.
Şahsylaşdyrma: uplift modelleri we ýygylyk çäkleri; agressiw offerlerden ýokary töwekgelçiligi aýyrmak.

12) Ulanyş metrikleri we SLO (mysal)

13) Artefaktlaryň şablonlary

13. 1 Release Notes (eskiz)

Model: 'rg _ risk @ 2. 1. 0` (MINOR)

Üýtgeşmeler: goşuldy 'loss _ streak _ 7d'; kalibrlemek täzelendi

Tassyklamak: 14 gün; delta KPI ≤ 0. 3%; EOp-delta kadaly

Rollout: canary 10% EU → 50% → 100%

Rollback: baýdak 'rg. use_v1=true`

Eýesi/senesi/bileti

13. 2 Model kartoçkasy (bölek)

Wezipe: töleglere garşy

Maglumat: 'payments _ gold v3. 2 ', fich-set' payout _ signals v1. 7`

Metrikler: AUC = 0. 89, ACE=0. 015, FPR @опер. çäk = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

Çäklendirmeler: VIP-müşderiler - diňe human-review

Gizlinlik: TEE-inferens; PII-siz giriş

Rebyu: 90 günde bir gezek

13. 3 SLO endpoint syýasaty (bölek)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook "Çitler köne"

1. Feature Store-daky lageri we fid çeşmesini barlaň.

2. Ätiýaçlyk kanalyna geçiň

3. Traffigi azaldyň/fallback düzgünlerini açyň.
4. -status #ml aragatnaşyk; SLA P2/P1.
5. RCA we şertnamalary/retraýlary düzetmek.

14) Goýberilmezden öň synag prosesleri

Şertnamalar: schema/enum/nullable, SLA täzelik.
Maglumatlar: DQ-synaglar, nokat wagty, nyşanyň syzmagy.
Model: unit/integration, kalibrlemek, stres/ýük.
Howpsuzlyk: syr, mTLS, Zero-PII.
Etika/gizlinlik: fairness-çek, attack-suite.
Syn edilişi: daşbordlar/alertler, SLO konfigi.
Dokumentasiýa: Release Notes + rollback-plan.

15) RACI (mysal)

ML Lead (A/R): hil, goýberilişler, metrikler.
Data Platform (R): Feature Store, registr, orkestr, gözegçilik.
Domain Owners (R): Çeşme şertnamalary/fiç.
Howpsuzlyk/DPO (A/R): elýeterlilik, gizlinlik, bellik, TEE.
SRE/SecOps (R): hadysalar, SLO, awtoskeýl, SOAR.
Analytics/Finance (C): KPI we hasabatlara täsiri.
Support/RG/Risk (C): human-in-the-loop we düşündiriş.

16) Durmuşa geçirmegiň ýol kartasy

0-30 gün (MVP)

1. Model Registry + ýokary täsirli modeller üçin kartoçkalar (RG/tölegler/antifrod).
2. Esasy gözegçilik: latency, errors, freshness, drift girelgeleri.
3. Täze wersiýalaryň, kanary konturlaryň kölegeleri.
4. Fiç we Zero-PII şertnamalary.
5. Runbooks we #ml -status kanaly.

30-90 gün

1. Çempion-Challenger we kriteriýalara laýyklykda awto-ösüş.
2. Fairness/privacy-geýtlar CI/CD, attack-suite.
3. Kesmek, kwantizasiýa, awtoskeýl; SLO/bahanyň býudjeti.
4. BI/ML KPI we online-metrikleri utgaşdyrmak; SLO dashbordlary.

3-6 aý

1. Yzygiderli post-mortemler, modelleriň çärýekleýin gykylygy.
2. Geo/tenant-izolýasiýa endpointleri, açarlary we fiç.
3. Şahsy tölegler üçin TEE/MPC/AML.
4. Doly awtomatlaşdyryş Release Notes of Linedge and diff.
5. Prosesleriň daşarky auditi (bu ýerde ygtyýarnama talap edilýär).

17) Anti-patternler

Shadow/canary we rollback meýilnamasy bolmazdan goýberiň.
Utgaşdyrylmadyk offline/online fiçalar → pese gaçmak.
PII bilen ýazgylary, token-policy ýoklugy.
"Baky" bosagalar täzeden seredilmezden; dreýf we kalibrlemek ignory.
Ýokary töwekgelçilikli çözgütler üçin human-in-the-loop ýoklugy.
Stratifikasiýa we ahlak düzgünleri bolmazdan synaglar.

18) Baglanyşykly bölümler

DataOps-Practices, Access Control, Data Tokenization, Security & Şifrlemek, Audit we wersiýa, Önyargyny azaltmak, Gizlin ML, Federated Learning, Maglumatlary saklamak syýasaty, Maglumatlaryň gelip çykyşy we ýoly, Maglumatlaryň etikasy.

Jemi

Modelleriň işleýşi önümçilik hyzmatlarynyň derejesinde in engineeringenerçilik düzgün-nyzamydyr: anyk şertnamalar we wersiýalar, öňünden aýdyp boljak neşirler, syn edilişi 24/7, dolandyrylyp bilinýän etika/gizlinlik töwekgelçiligi we işewürlige aç-açan täsir. Şeýlelik bilen, ML "noutbukda iň gowy skript" däl-de, ygtybarly önüm bolýar.