Déploiement de modèles ML

(Section : Technologie et infrastructure)

Résumé succinct

Le déploiement de production fiable de ML est un ensemble d'artefacts répétables (modèle/tokenizer/config), de serving standardisé (Triton/KServe/vLLM), de processus de sortie sécurisé (canari/blue green/shadow), d'observabilité (latence, qualité, drafe) et runbook sur les incidents. Pour iGaming, une faible latence (antifrod/personnalisation), un SLO strict, un PII/conformité et un contrôle des coûts sont essentiels.

1) Modes de déploiement

Batch (hors ligne) : tâches nocturnes/horaires (scoring rétrospectif, mise à jour des segments). Bon marché, prévisible.
En ligne (API synchrone) : antifrod, personnalisation, recommandations, conseils LLM. Demande p95 SLA (par exemple, ≤ 100-300 мс).
Stream (near-real-time) : fenêtres de 1 à 60 secondes (Flink/Spark/Kafka Streams) pour les signaux CRM et les déclencheurs.
Hybride : scorer rapide rapide en ligne + recalculer/calibrer hors ligne.

2) Artefacts et emballage

Artefacts modèles : poids, tokenizer, configurations de préprocesseur/post-traitement, version datacet/code.
Formats : PyTorch/TF SavedModel, ONNX pour la compatibilité, TensorRT-engine pour l'accélération, GGUF/awq/gptq pour la quantification LLM.
Conteneurs : Images OCI Docker avec dépendances pinned ; tags multiplateformes (CPU/GPU).
Versions immuables : tag 'model : fraud-v3. 2. 1`, `image: fraud:3. 2. 1`.

3) La plate-forme de Serving

Triton Inference Server : multimodal, batch dynamique, ensemble-pipelines.
KServe (K8s-native) : auto-skale (HPA/KPA), canari/shadow, propre runtime.
vLLM/TGI (LLM) : batch continu, cache KV, décodage spéculatif.
Fichestor : online (ms-SLA) + offline pour la cohérence fich (feature parity).

yaml apiVersion: serving. kserve. io/v1beta1 kind: InferenceService metadata: { name: fraud }
spec:
predictor:
canaryTrafficPercent: 15 model:
modelFormat: { name: triton }
storageUri: s3://models/fraud/v3. 2. 1/
resources: { limits: { nvidia. com/gpu: "1" } }

4) Stratégies de libération

Blue-Green : deux piles identiques, commutation instantanée du trafic, simple retour en arrière.
Canary : augmentation progressive du trafic (1 % → 5 % → 25 % → 100%) sur les jeux SLO/qualité.
Shadow : le nouveau modèle reçoit une copie du trafic, les réponses n'affectent rien - évaluation sécurisée.
Tests A/B : nous mesurons les métriques commerciales (conversion, rétention), la signification statistique.

map $request_id $route {
default old;
"~ canary" new; # 5-15% by flag/cook/feature-toggle
}

5) SLO et budgets de travail

Antifrod/personnalisation en ligne : p95 ≤ 100-150 ms, p99 ≤ 250-400 ms.
Conseils LLM (128-512 tokens) : p95 ≤ 300-800 ms génération des premiers tokens, tokens/s ≥ cible.
Disponibilité : ≥ 99. 9 % pour les voies critiques.
Qualité : AUC/PR-AUC/Top-K @ N ≥ seuil ;% de réponses toxiques/incorrectes ≤ X.
Coût : $/1k demandes ou $/1k tokens - dans le budget.

6) CI/CD pour les modèles

1. Train/finetune → le modèle dans le registre (métadonnées : données/code/métriques/licences).

2. Pack & Validate : Tests unitaires pré-proc./post-proc., compatibilité API, tests de charge (latency/tokens/s).

3. Canary Deploy : 1-5 % du trafic ; observabilité (SLO/qualité/coût).

4. Promotion/Rollback par critères de jeu.

yaml jobs:
build-serve:
steps:
- run: make export_onnx && make docker_build
- run: pytest tests/serve --maxfail=1
- run: python perf_check. py --p95 120 --fail-on-regress
- run: kubectl apply -f kserve-canary. yaml

7) Optimisation du retard et du débit

Batching/microbatching (Triton/vLLM), parallélisme des requêtes, pré-/post-traitement sur le CPU.
Quantification (INT8/FP8/INT4) avec calibrage ; TensorRT/ONNX Runtime compilation.
Cache : fiche (en ligne-fichestor/Redis), résultats et cache KV pour LLM.
Warmup : Échauffement des échelles/caches à la dérive ; Des pods « chauds » pour le ski automobile.
Budget temporel : arrêt précoce, limitation des tokens/beam, adaptation de la température.

8) Observabilité : Télémétrie, dérive, qualité

Métriques SRE : RPS, p50/p95/p99, erreurs (5xx/4xx), GPU/CPU, mémoire, file d'attente, batch-fill.
Mesures ML : AUC/PR-AUC, erreur de calibration, coverage, tokens/s, longueur de réponse, cache-hit.
Dérive : divergence PSI/JS par entrées/fiches, suivi du décalage des distributions ; alerte.
Qualité en ligne : exemples d'or témoin, réponses d'échantillonnage, score automatique RAG/toxicité pour LLM.
Journal : prompt/réponse (avec anonymisation), trace_id, version du modèle.

inference_latency_ms_bucket{model="fraud-v3. 2. 1",le="100"} 12345 inference_qps{model="fraud-v3. 2. 1"} 450 tokens_per_second{model="llm-help-v1"} 210

9) Gestion des fiches et cohérence

Feature-parity : les mêmes transformations en offline/online ; Versez la fiche comme code.
Fichestor en ligne : ms-SLA, TTL, upsert, idempotency ; le cache est plus proche du surving.
Backfill/refresh : un plan pour que le scoring en ligne ne diverge pas des métriques hors ligne.

10) Sécurité, PII et licences

PII : Tokenisation/masquage, segmentation par région (EU/TR/LATAM), cryptage au repos/en transit.
Secrets/clés : KMS/Secrets Manager, aucun secret dans les images.
Politiques LLM : filtres de contenu, bouchons sécurisés, red-teaming.
Licences : vérifier les conditions pour les datacets/poids, les interdictions de redistribution/commerce.
Isolation : namespace-RBAC, quotas, taints/tolerations pour les pools GPU.

11) Auto Skale et QoS

Autoscaling : par RPS/file d'attente/latency/GPU-util ; min-ready-pods pour les lignes téléphoniques.
Classes QoS : critique en ligne (anti-fraud)> chat LLM> expériences. Préemption en faveur des critiques.
Multiregion : routage à base de latitude, caches de poids chauffés, réplication de fiche.

12) Runbooks et incidents

Croissance p99 : vérifier batch-fill, file d'attente, GPU-util, cache-miss ; activer le batch agressif/abaisser les beam/tokens.
La qualité a chuté : retour à la version précédente, activer le shadow, enregistrer les sources de dérive.
Le coût augmente : activer la quantification/TensorRT, augmenter le batch, optimiser les fiches/cache, réduire la fréquence des génération LLM via le cache RAG/résultat.
Incident PII : stop-the-line immédiat, retrait des artefacts, vérification de l'accès, rapport au régulateur sur la procédure.

13) Exemples de modèles

text dynamic_batching { preferred_batch_size: [4, 8, 16, 32]
max_queue_delay_microseconds: 2000 }
instance_group { kind: KIND_GPU count: 2 }

--tensor-parallel-size 2
--max-num-seqs 512
--gpu-memory-utilization 0. 9

python resp = client. score({"features": f}) # v3. 2. 1 assert set(resp. keys()) >= {"score","version","latency_ms"}

14) Chèque de mise en œuvre

1. Définissez SLO/SLA (latitude/disponibilité/qualité/cost).
2. Normaliser les artefacts et le registre des modèles (versions, métadonnées).
3. Sélectionnez Serving Stek (Triton/KServe/vLLM) et Fichestor.
4. Personnalisez canari/blue green/shadow et gates automatiques.
5. Construire CI/CD : tests de compatibilité, régression perf, promotion sécurisée.
6. Activer l'observabilité (mesures SRE + ML), la surveillance de la dérive et les alertes.
7. Fournir des IPI/sécurité/licences et des audits.
8. Configurez les politiques Auto Scale/QoS et Multirégionales.
9. Préparez le runbook-and et passez le game-day.
10. Entrez la gestion des coûts : batch, quantification, cache, RAG.

15) Anti-modèles

Le « tel quel » sans canari/observation → des incidents inattendus.
Les fiches offline/online incohérentes → des métriques divergentes.
L'absence de tests de perf et de limites → p99 « nage ».
Le logage des prompts/réponses sans anonymisation → le risque de PII.
Un GPU commun pool pour tout sans QoS → critique en ligne souffre.
Il n'y a pas de retour et de snapshot d'artefacts → long temps d'arrêt.

Résultats

Le déploiement réussi des modèles ML sont des artefacts conteneurisés, un serving standardisé, un processus de sortie sécurisé (canary/blue-green/shadow), des SLO rigides et l'observation de la qualité/dérive/coût. Ajoutez fichestor, CI/CD avec perf-gates, PII-hygiène, auto-ski et QoS - et vos services antifrod/personnalisation/LLM maintiendront les charges de pointe iGaming de façon stable, tout en restant prévisibles sur p99 et le budget.