Formación con refuerzos

1) Asignación y lugar de RL en iGaming

• Personalización del catálogo de juegos (Slate-RL): seleccione un conjunto de ofertas para la pantalla/pool.
• Optimización de bonificaciones/promociones: tamaño/tipo/tiempo, teniendo en cuenta el riesgo de abusividad.
• Reacciones en RG/Retention: cuándo y cómo intervenir (notificaciones blandas/pausa/escalada).
• Operaciones: administración dinámica de límites, priorización de colas de bote.
• Tráfico y compra: bidding en subastas, presupuesto-peising.

Por qué no solo supervisado: la variable objetivo es la recompensa a largo plazo (LTV, wellbeing, reducción del riesgo), que se debe acumular de forma óptima en lugar de simplemente predecir.

2) Formulación básica

Estado (s_t): perfil del jugador, contexto de la sesión, restricciones del mercado.
Acción (a_t): offer, selección de juegos (slate), disparador RG, apuesta de bidder.
Recompensa (r_t): métrica mixta (ingresos - multas RG/AML - costo).

3) Familias de métodos

3. 1 Bandidos (sin fortuna)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Bandidos contextuales: tienen en cuenta los signos del jugador/sesión.
Slate/Ranking Bandits: selección de un conjunto de ofertas; ajustamos los efectos de posición.

3. 2 RL completo

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - resistentes a los grandes espacios.
Q-Learning/Deep Q-Networks: acciones discretas, aprendizaje fuera de línea con buffer de experiencia.
Conservative/Offline RL: CQL, BCQ, IQL - aprenden por logs sin expoliación en línea.

3. 3 RL seguro/limitado

RL construida (CMDP): optimización con restricciones de RG/AML/presupuesto.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Diseño del premio (reward shaping)

• Ingresos: contribución a Net Revenue/LTV incremental (en lugar de «apuestas en bruto»).
• Juego responsable: multas por patrones de riesgo, exceso de límites, incentivos cansadores.
• Cumplimiento/AML: sanciones por acciones que aumentan la probabilidad de actividad insegura.
• Calidad de la experiencia: CTR/CVR/duración de la sesión, pero con cap/weight para evitar el «sobrecalentamiento».

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Formación y evaluación fuera de línea (clave de seguridad)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust en los logotipos del recomendador.
• Replay/Simulators: simuladores con modelos de respuesta personalizados/proveedores.
• Regularización Conservativa: penalización de salida por soporte de datos de registros (CQL/IQL).
• Política-logger: lógica la probabilidad de las impresiones (propensity) para que haya una evaluación correcta.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Bandidos contextuales: inicio rápido

• Thompson Sampling (logit): póster por coeficientes → selección de la acción.
• UCB: para presupuestos limitados y fuertes sares.
• Regularización de fairness/RG: enmascaramos acciones no válidas, limitamos la frecuencia de las impresiones.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (recomendaciones de kits)

Objetivo: maximizar la recompensa de todo el conjunto (contabilidad de posiciones, competición de tarjetas).
Métodos: Listwise-bandidos, slate-Q, policy gradient con factorización (Plackett-Luce).
Corrección de posiciones: propensity por posiciones; aleatorización dentro de límites permitidos.

8) Seguridad, RG/AML y cumplimiento

• Reglas estrictas (hard constraints): prohibición de offers tóxicos, restricciones de frecuencia, «refrigeración».
• Policy Shielding: Filtramos la acción con la política RG/AML antes y después del infierno.
• Optimización dual: Lagrange multiplier para restricciones (por ejemplo, la proporción de offers «agresivos» ≤ θ).
• Ética y uso justo: eliminamos los archivos proxy, auditoría de impacto.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Arquitectura de datos y serving

Contorno fuera de línea

Lakehouse: registros de impresiones/clics/conversiones, propensity, costo.
Feature Store (fuera de línea): fiches de punto en tiempo, etiquetas correctas.
Formación: RL offline (CQL/IQL) + simuladores; validación IPS/DR.

Online/near-real-time

Fichas: ventanas rápidas (1-60 min), señales de jugador/sesión, límites y máscaras RG/AML.
Serving: gRPC/NAT, p95 50-150 ms (personalización), routing canario.
Logs: guardamos 'policy _ id', 'propensity', 'slate', 'guard _ mask', el resultado real.

10) Métricas y experimentación

Fuera de línea: evaluación de valor DR/IPS, cobertura de soporte, divergencia de loger.
En línea: incremento a Net Revenue/LTV, señales RG (time-to-intervene), abuse-rate, CTR/CVR/retention.
Métricas de riesgo: CVaR, proporción de trastornos guardrails, frecuencia de intervenciones RG.
Experimentos: A/B/n con capping de tráfico y «kill-switch», sequential-testing.

11) Costo-ingeniería y rendimiento

Complejidad de las acciones: limitamos el tamaño de la ranura/espacio de los offers.
Cash fich/solutions: TTL cortos para estados populares.
Descomposición: two-stage (generación candidata → re-rank).
Formación fuera de línea programada: retrain diario/semanal; en línea - sólo fácil adaptación (bandits).

12) Ejemplos (fragmentos)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Procesos, roles y RACI

R (Responsable): Ciencia de datos (modelos RL/bandidos), MLOps (plataforma/lógica/evaluación), Data Eng (fichas/simuladores).
A (Accountable): Head of Data / CDO.
C (Consultado): Compliance/DPO (RG/AML/PII), Legal (Términos de Offer), Security (Secretos/KMS), SRE (SLO/Costo), Product.
I (Informed): Marketing/CRM, Operaciones, Soporte.

14) Hoja de ruta para la aplicación

1. Un bandido contextual para seleccionar 1 offer con máscaras RG/AML y lógica propensity.

2. Puntuación fuera de línea IPS/DR, limitada A/B (5-10% de tráfico), kill-switch.

3. Dashboards: value (DR), CTR/CVR, métricas RG, violaciones de guardrails.

• Slate-bandit (N = 3-5 tarjetas), correcciones de posición; two-stage candidate→re-rank.
• Offline RL (IQL/CQL) con simulador; retraín regular.
• Constrained-RL: límites de agresividad/frecuencia, optimización dual.

• Políticas de intervención RG (safe RL) con caps estrictos y auditoría.
• Presupuesto-peising y bidding (subastas) con limitaciones CVaR.
• Adaptación interregional, chargeback a costo de infersa y offs.

15) Lista de verificación antes de la venta

• Los registros contienen 'policy _ id', 'propensity', máscaras/restricciones, resultados.
• La evaluación DR/IPS es estable; soporte de datos suficiente (overlap con loger).
• Guardrails: listas de prohibiciones, límites de frecuencia, cooldown, kill-switch.
• RG/AML/Legal acordaron reglas; auditoría habilitada (WORM para casos).
• Liberación canaria y límites de tráfico; monitoreo value/RG/abuse.
• Documentación de recompensas y riesgos; tarjeta de política (owner, versión, SLA).
• Costo bajo control: latency p95, costo/solicitud, tamaño de ranura, caché.

16) Anti-patrones

Explore en línea sin protección y evaluación fuera de línea.
La recompensa de «clics/apuestas» sin tener en cuenta el Abius y el RG → una política tóxica.
Falta de propensidad y una correcta evaluación causal por logs.
Demasiado espacio de acción, sin máscaras/capping.
Mezcla de regiones/jurisdicciones sin residencia y normas.
Ausencia de kill-switch y canarios.

17) Resultado

RL le da a la plataforma iGaming políticas adaptativas que maximizan el valor a largo plazo cuando se respeta RG/AML/Legal. La clave para una implementación segura es métodos offline/conservadores, evaluación causal correcta (IPS/DR), guardrails rigurosos, recompensa transparente, disciplina MLOps y rollout gradual. Así que obtendrá el crecimiento de Net Revenue/LTV sin compromisos de responsabilidad y cumplimiento.