ML modellerini ýerleşdirmek

(Bölüm: Tehnologiýalar we infrastruktura)

Gysgaça gysgaça

ML-iň ygtybarly prodakşn ýerleşdirilmegi: gaýtalanýan artefaktlaryň (model/tokenayzer/ ), standartlaşdyrylan serwingiň (Triton/KServe/vLLM), howpsuz goýberiş prosesiniň (kanarlar/blu-ýaşyl/şadow), syn edilişiň (gizlinlik, hil, süýşme) we hadysalara runbook. iGaming üçin pes gijikdirme (anti-frod/şahsylaşdyrma), berk SLO, PII/complayens we çykdajylara gözegçilik etmek möhümdir.

1) Ýerleşdiriş düzgünleri

Batch (oflayn): gijeki/sagat işleri (retrospektivleri, segmentleri täzelemek). Arzan, öňünden aýdyp bolar.
Online (sinhron API): antifrod, şahsylaşdyrma, teklipler, LLM-maslahatlar. p95 SLA talap edýär (mysal üçin 100-300 ms ≤).
Akym (near-real-time): CRM signallary we triggerler üçin 1-60 sekunt (Flink/Spark/Kafka Streams) penjireleri.
Gibrid: onlaýn çalt gödek skorer + awtonom gaýtadan hasaplamak/kalibrlemek.

2) Artefaktlar we gaplamak

Model artefaktlary: agramlar, tokenizator, deslapky/soňky prosessing konfigleri, dataset/kod görnüşi.
Formatlar: PyTorch/TF SavedModel, gabat gelmek üçin ONNX, tizlenmek üçin TensorRT-engine, LLM kwantizasiýasy üçin GGUF/awq/gptq.
Konteýnerler: Docker OCI-şekiller pinned endikler; köp platformly taglar (CPU/GPU).
Immutable-relizler: taglamak 'model: fraud-v3. 2. 1`, `image: fraud:3. 2. 1`.

3) Serwing platformasy

Triton Inference Server: multimodel, dinamiki batching, ensemble-pipelines.
KServe (K8s-native): awto-skail (HPA/KPA), kanari/shadow, öz runtime.
vLLM/TGI (LLM): continuous batching, KV-kesh, spekulýatiw dekoding.
Fichestor: online (ms-SLA) + fich (feature parity) utgaşdyrmak üçin offline.

yaml apiVersion: serving. kserve. io/v1beta1 kind: InferenceService metadata: { name: fraud }
spec:
predictor:
canaryTrafficPercent: 15 model:
modelFormat: { name: triton }
storageUri: s3://models/fraud/v3. 2. 1/
resources: { limits: { nvidia. com/gpu: "1" } }

4) Goýberiş strategiýalary

Blue-Green: iki sany birmeňzeş yrym, traffigiň derrew üýtgemegi, ýönekeý yza gaýdyp gelmek.
Canary: SLO/hil geýtleri boýunça traffigiň kem-kemden ýokarlanmagy (1% → 5% → 25% → 100%).
Shadow: täze model traffigiň nusgasyny alýar, jogaplar hiç zada täsir etmeýär - howpsuz baha bermek.
A/B-synaglary: iş metriklerini (öwrülişik, saklamak), statistik ähmiýetini ölçeýäris.

map $request_id $route {
default old;
"~ canary" new; # 5-15% by flag/cook/feature-toggle
}

5) SLO we iş býudjetleri

Onlaýn antifrod/şahsylaşdyrma: p95 ≤ 100-150 ms, p99 ≤ 250-400 ms.
LLM maslahatlary (128-512 token): p95 ≤ 300-800 ms ilkinji token, tokens/s ≥ maksatly.
Elýeterlilik: ≥ 99. Kritiki ýollar üçin 9%.
Hili: AUC/PR-AUC/Top-K @N ≥ bosagasy;% zäherli/nädogry jogaplar ≤ X.
Bahasy: $/1k haýyşlar ýa-da $/1k bellikleri - býudjetiň içinde.

6) Modeller üçin CI/CD

1. Train/finetune → reýestrdäki model (meta-maglumatlar: maglumatlar/kod/metrika/ygtyýarnama).

2. Pack & Validate: deslapky/soňky unit synaglary, API laýyklygy, ýük synaglary (latency/tokens/s).

3. Canary Deploy: 1-5% traffik; syn edilmegi (SLO/hil/baha).

4. Kriteriýalaryň geýtleri boýunça Promote/Rollback.

yaml jobs:
build-serve:
steps:
- run: make export_onnx && make docker_build
- run: pytest tests/serve --maxfail=1
- run: python perf_check. py --p95 120 --fail-on-regress
- run: kubectl apply -f kserve-canary. yaml

7) Gijä galmagy we geçirmegi optimizirlemek

Batching/mikrobatching (Triton/vLLM), soraglaryň paralelligi, CPU-da pre-/post-processing.
Kalibrlemek bilen kwantlamak (INT8/FP8/INT4); TensorRT/ONNX Runtime.
Kesmek: LLM üçin fiç (online-fichestor/Redis), netijeler we KV-kesh.
Warmup: deplode terezini/kesşini gyzdyrmak; awtoskeýl üçin "ýyly" podlar.
Wagt-býudjet: ir durmak, bellikleri/beam çäklendirmek, temperatura uýgunlaşmak.

8) Syn edilmegi: telemetriýa, süýşmek, hil

SRE metrleri: RPS, p50/p95/p99, ýalňyşlyklar (5xx/4xx), GPU/CPU util, ýat, nobat, batch-fill.
ML-metrikler: AUC/PR-AUC, calibration error, coverage, tokens/s, jogap uzynlygy, keş-hit.
Drift: PSI/JS-girelgeler/şekiller boýunça diwergensiýa, paýlanyşyň üýtgemegine gözegçilik; alertler.
Onlaýn hili: gözegçilik altyn mysallary, jogap synaglary, awtomatiki RAG-skore/LLM üçin zäherlilik.
Žurnallaşdyrma: prompt/jogap (anonimleşdirme bilen), trace_id, modeliň görnüşi.

inference_latency_ms_bucket{model="fraud-v3. 2. 1",le="100"} 12345 inference_qps{model="fraud-v3. 2. 1"} 450 tokens_per_second{model="llm-help-v1"} 210

9) Şekilleri dolandyrmak we ylalaşyklylyk

Feature-parity: şol bir offline/online üýtgemeleri; fiçleri kod hökmünde wersiýa ediň.
Onlaýn fichestor: ms-SLA, TTL, upsert, idempotency; serwinge has ýakyn.
Backfill/refresh: Onlaýn skoring awtonom metrlere laýyk gelmezligi üçin meýilnama.

10) Howpsuzlyk, PII we ygtyýarnamalar

PII: tokenizasiýa/maskalama, sebitler boýunça segmentasiýa (EU/TR/LATAM), ýeke-täk/tranzitde şifrlemek.
Syrlar/açarlar: KMS/Secrets Manager, şekillerde hiç hili syr ýok.
LLM syýasatlary: mazmun süzgüçleri, howpsuz stoperler, red-teaming.
Ygtyýarnamalar: datasetlere/agramlara şertleri, redistributsiýa/söwdany gadagan etmegi barlaň.
Izolýasiýa: namespace-RBAC, GPU-howuzlar üçin kwotalar, taints/tolerations.

11) Awtoskeýl we QoS

Awtoskaling: RPS/nobatlar/latency/GPU-util; gyzgyn liniýalar üçin min-ready-pods.
QoS synplary: möhüm onlaýn (anti-fraud)> LLM-söhbetdeşlik> synaglar. Preemption kritikleriň peýdasyna.
Multiregion: latency-based routing, gyzdyrylan agramly keşler, surat replikasiýasy.

12) Runbooks we hadysalar

p99 beýikligi: batch-fill, nobat, GPU-util, kesh-miss; agressiw batching/beam/tokenleri peseltmek.
Hil pese gaçdy: öňki wersiýa yza gaýdyp, howany açyň, süýşmegiň çeşmelerini düzüň.
Bahasy ýokarlanýar: kwantizasiýany/TensorRT-i öz içine alyň, batçy ýokarlandyryň, çeňňek/kesiş optimizirläň, RAG/netije-kesiş arkaly LLM-generasiýalaryň ýygylygyny peseldiň.
PII-hadysasy: derrew stop-the-line, artefaktlary yzyna almak, giriş barlagy, prosedura boýunça düzgünleşdirijä hasabat.

13) Şablonlaryň mysallary

text dynamic_batching { preferred_batch_size: [4, 8, 16, 32]
max_queue_delay_microseconds: 2000 }
instance_group { kind: KIND_GPU count: 2 }

--tensor-parallel-size 2
--max-num-seqs 512
--gpu-memory-utilization 0. 9

python resp = client. score({"features": f}) # v3. 2. 1 assert set(resp. keys()) >= {"score","version","latency_ms"}

14) Girizmegiň çek-sanawy

1. SLO/SLA (latency/availability/quality/cost) kesgitläň.
2. Artefaktlary we modelleriň sanawyny standartlaşdyryň (wersiýalar, meta maglumatlar).
3. Hyzmat stekini (Triton/KServe/vLLM) we fichestor saýlaň.
4. Kanary/blu-green/shadow we awtomatiki geýtleri sazlaň.
5. CI/CD guruň: gabat gelmek, perf-regressiýa, howpsuz mahabat synaglary.
6. Syn edilişini (SRE + ML-metrikler), süýşme gözegçiligini we aladalary goşuň.
7. PII/howpsuzlygy/ygtyýarnamalary we auditi üpjün ediň.
8. Awtoskeýli/QoS we sebitleýin syýasatlary sazlaň.
9. Runbook-y taýýarlaň we game-day geçiriň.
10. Çykdajy dolandyryşyny giriziň: batching, kwantizasiýa, nagt pul, RAG.

15) Antipatternler

Depla "bolşy ýaly" kanari/syn edilmezden → garaşylmadyk hadysalar.
Ylalaşylmadyk fiçalar offline/online → metrikleriň tapawudy.
Perf-synaglaryň we çäkleriň ýoklugy → p99 "ýüzýär".
Adynyň aýdylmazdan promptlary/jogaplary logirlemek → PII töwekgelçiligi.
QoS bolmasa hemme zat üçin bir umumy GPU howzy → möhüm onlaýn ejir çekýär.
Artefaktlaryň yzyna gaýtarylmagy we snapshotlary ýok → uzak duralgalar.

Netijeler

ML modelleriniň üstünlikli ýerleşdirilmegi konteýnerleşdirilen artefaktlar, standartlaşdyrylan hyzmat, howpsuz goýberiş prosesi (canary/blue-green/shadow), gaty SLO we hil/dreýf/gymmatyň syn edilmegi. Fichestor, perf-geýtli CI/CD, PII-arassaçylyk, awtoskeýl we QoS goşuň - we siziň antifrod/şahsylaşdyrma/LLM hyzmatlaryňyz p99 we býudjet boýunça öňünden aýdyp boljak iGaming iň ýokary ýüklerini durnukly saklar.