MLOps: explotación de modelos
1) El papel de la operación en iGaming
En iGaming, los modelos influyen en el dinero real y la regulación: intervenciones RG, antifraude, pagos, KYC, límites, offers y recomendaciones. La operación es un suministro confiable de predicciones con SLOs garantizados, trazabilidad y seguridad.
Objetivos:- Versiones predecibles y retrocesos sin tiempo de inactividad.
- Consistencia de los datos y de los ficheros offline/online.
- Observabilidad: calidad, deriva, honestidad, privacidad.
- Reducción de TCO: rendimiento, caché, mezclas GPU/CPU.
- Cumplimiento (auditoría/DSAR/Legal Hold/ética).
2) Arquitecturas de serving
Batch (fuera de línea): calificaciones nocturnas/horarias (límites, segmentos). Pros: más barato, más estable. Contras: no hay reacción instantánea.
Stream (near-real-time): manejo de eventos (apuestas, anomalías) con ventanas de 1-5 min.
API en línea (sync): <100-300 ms p95 para soluciones de riesgo/UX, almacenamiento en caché y degradación.
Híbrido: «baseline de batch + refinamiento en línea» (ejemplo: riesgo RG en 7 días + disparadores de sesión en línea).
- Ensemble/Stacking con un «modelo de puerta» ligero en el camino crítico.
- Fallback-heurísticas cuando el modelo/fich falla.
- Circuit Breaker y rate limiting en picos o cuando los proveedores se degradan.
3) Registro de modelos y control de versiones
Registro del modelo: versiones, propietarios, fecha de lanzamiento, métricas (AUC/PR, calibración), dataset_version, feature_set_version, restricciones de uso.
Tarjeta modelo (Model Card): tarea, datos/fichas, sección fairness/privacy, zonas de riesgo, frecuencia de rugido.
Política de lanzamientos: 'MAJOR. MINOR. PATCH '+ un plan de rollback obligatorio.
Champion-Challenger: challenger de ejecución paralela con informes; mejora automática cuando se cumplen los criterios.
4) Fichi en línea y coherencia
Feature Store: escaparates offline (formación) e online (inferencia) con contratos estrictos.
Time travel y point-in-time join mientras aprendes.
Apdates fich idempotentes y protección contra fugas de objetivos.
Consistencia: garantías «read-your-writes» o SLA de entrega (por ejemplo, ≤ 60 segundos).
Política de características: hojas allow/deny, enmascaramiento, tokenización, prohibición de proxy-PII.
5) Estrategias de lanzamiento
Shadow: toda la carga → campeón; challenger recibe una copia de las consultas, las respuestas no afectan al negocio.
Canario: 1-10% de tráfico → nueva versión; comparación de KPI/métricas, retroceso automático en los umbrales.
Blue-Green: dos grupos de servidores/endpoint; Cambiar ruta/DNS.
Banderas: ajuste fino por mercados/tenantes/canales.
6) Observabilidad y alerting
Señales (en línea):- Fiabilidad: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
- Datos/fichas: frescura, plenitud, distribución, anomalías, omisiones, schema drift.
- Calidad: calibración, métricas post-facto (AUC/PR, uplift), respuesta de las intervenciones.
- Deriva: en las entradas (PSI/KS) y en las salidas (score drift).
- Ética/Justicia: EO/EOp-delta, disparate impact.
- Privacidad: Attack-AUC (membership/inversión) ≈ 0. 5, ε -usage (si DP).
- Negocios: chargeback, intervenciones RG, conversión de offs - con descomposición por segmentos.
- p95 latency ≤ 200 ms (puntuación en línea RG/antifraude).
- Error rate ≤ 0. 1% 5-min. promedio.
- Drift PSI ≤ 0. 2 por fichas clave; EOp-delta ≤ 3 p.p.
- Freshness fich ≤ 60 segundos; pases ≤ 0. 5%.
- Calibración ACE ≤ 0. 02.
7) Incidentes y playbucks
Niveles de seis: P1 (bloqueo de pagos/error RG), P2 (aumento de errores> umbrales), P3 (degradación de la calidad).
Auto-mitigación: cambiar a campeón, reducir la frecuencia de las solicitudes, incluir reglas fallback, aislar «tóxico» fich.
Runbooks: las checklists para «fichi están obsoletas», «la deriva ha crecido», «la tipificación del fid ha cambiado», «la GPU está agotada».
Post mortem: RCA, plan de fix, actualización de pruebas/umbrales/contratos.
8) Experimentación y control de cambios
A/B y bandit multi-armado - sólo con estratificación por grupos clave (país/canal/dispositivo).
Reglas de stop ético: con un aumento drástico del riesgo de RG/quejas.
Dual-run escaparate fich y modelos antes de cambiar.
Versificación de KPI y definiciones (BI aprox.) para una interpretación estable de los resultados.
9) Seguridad y privacidad en venta
mTLS/TLS 1. 3, solicitudes de firma, anti-replay (nonce/idempotency).
Secretos de Secrets Manager, emisión de JIT, auditoría.
Tokenización de entradas/registros; prohibición de PII en las vías.
TEE/inferencia confidencial para pagos VIP/AML (según sea necesario).
Directivas de acceso (RBAC/ABAC/JIT) a fichas y endpoints.
DSAR/Legal Hold: una pista de soluciones para explicar y eliminar por token.
10) Rendimiento y costo
Caché (feature/score) con TTL, especialmente para señales estables.
Cuantización/destilación para aceleración (INT8/FP16).
Auto Scaling: horizontal por QPS/latencia, vertical por batch-size.
CPU/GPU híbrido: latencia-crítica en la GPU, «masa» en la CPU.
Trazando lanzamientos fríos, calentando el modelo.
Pool de modelos y «sticky routing» por mercados/tenantes para la localización en caché.
11) Casos de iGaming (referencias)
Puntuación RG: puntuación en línea al iniciar sesión y en las sesiones; overrides rigurosos (autoexclusión), métrica objetivo - EOp + calibración.
Anticongelante/pagos: decisiones de autorización <150 ms; Control EO FPR, agregadores de señales robustas.
KYC/AML: soporte de thin-file; PSI/MPC con un socio; Compatibilidad con DSAR.
Personalización: modelos uplift y límites de frecuencia; la exclusión del alto riesgo de las offers agresivas.
12) Métricas y SLO de funcionamiento (ejemplo)
13) Patrones de artefactos
13. 1 Notas de release (esbozo)
Modelo: 'rg _ risk @ 2. 1. 0` (MINOR)
Cambios: se ha añadido la ficha 'loss _ streak _ 7d'; calibración actualizada
Validación: shadow 14 días; delta KPI ≤ 0. 3%; EOp-delta normalmente
Rollout: canary 10% EU → 50% → 100%
Rollback: bandera 'rg. use_v1=true`
Propietario/fecha/ticket
13. 2 Tarjeta modelo (fragmento)
Tarea: antifraude de pagos
Datos: 'payments _ gold v3. 2 ', fich set' payout _ signals v1. 7`
Métricas: AUC = 0. 89, ACE=0. 015, FPR @ óperas. umbral = 1. 2%
Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»
Limitaciones: clientes VIP: sólo con revisión humana
Privacidad: TEE-inferencia; lógica sin PII
Rugido: una vez cada 90 días
13. 3 Política de SLO endpoint (fragmento)
yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55
13. 4 Runbook «Fichi está obsoleto»
1. Echa un vistazo a la ficha en Feature Store y la fuente del feed.
2. Cambiar a canal de repuesto/caché.
3. Reducir el tráfico/habilitar reglas fallback.
4. Comunicación en # ml-status; el incidente P2/P1 por SLA.
5. RCA y revisiones de contratos/retiros.
14) Procesos de prueba antes del lanzamiento
Contratos fich: schema/enum/nullable, frescura SLA.
Datos: pruebas de DQ, punto en tiempo, fuga de destino.
Modelo: unidad/integración, calibración, estrés/carga.
Seguridad: secretos, mTLS, Zero-PII en los logs.
Ética/privacidad: cheque fairness, attack-suite.
Observabilidad: dashboards/alertas, SLO confites.
Documentación: Release Notes + rollback-plan.
15) RACI (ejemplo)
ML Lead (A/R): calidad, lanzamientos, métricas.
Plataforma de datos (R): Tienda de características, registro, orquestación, observabilidad.
Domain Owners (R): contratos de fuentes/fich.
Seguridad/DPO (A/R): accesos, privacidad, tokenización, TEE.
SRE/SecOps (R): incidentes, SLO, auto skale, SOAR.
Analytics/Finance (C): impacto en KPI e informes.
Support/RG/Risk (C): human-in-the-loop y explicabilidad.
16) Hoja de ruta para la implementación
0-30 días (MVP)
1. Modelo Registro + tarjetas para modelos de alto impacto (RG/pagos/antifraude).
2. Monitoreo básico: latency, errors, freshness, drift entradas.
3. Correcciones de sombras de nuevas versiones, contornos canarios.
4. Contratos fich y Zero-PII en las logias.
5. Runbooks y el canal # ml-status.
30-90 días
1. Champion-Challenger y auto-ascenso según criterios.
2. Fairness/privacy-gates en CI/CD, attack-suite.
3. Almacenamiento en caché, cuantización, tabla automática; presupuesto SLO/costo.
4. Negociación BI/ML de KPI y métricas en línea; SLO dashboards.
3-6 meses
1. Postmortemas regulares, rugidos trimestrales de modelos.
2. Geo/tenant-aislamiento de endpoints, llaves y fich.
3. TEE/MPC para Pagos Privados/AML.
4. Automatización completa de las Notas Release desde linja y diff.
5. Auditoría externa de procesos (donde la licencia lo requiere).
17) Anti-patrones
Lanzamiento sin shadow/canary y plan rollback.
Los fiches offline/online inconsistentes → la degradación.
Registros con PII, sin token-policy.
Umbrales «eternos» sin revisión; ignorar la deriva y la calibración.
Sin human-in-the-loop para soluciones de alto riesgo.
Experimentos sin estratificación y reglas éticas de parada.
18) Secciones relacionadas
Prácticas de DataOps, Control de acceso, Tokenización de datos, Seguridad y cifrado, Auditoría y versionabilidad, Reducción de sesgos, ML confidencial, Aprendizaje federado, Políticas de retención, Origen y ruta de datos, Ética de datos.
La explotación de modelos es una disciplina de ingeniería a nivel de servicios de producción: contratos y versiones claras, lanzamientos predecibles, observabilidad 24/7, riesgos gestionados de ética/privacidad e impacto transparente en el negocio. Así que ML se convierte en un producto confiable, no en el «mejor script en un portátil».