Treinamento com reforços

1) Destino e local RL em iGaming

• Personalização do diretório de jogos (Slate-RL): seleciona um conjunto de sugestões para a tela/jogo.
• Otimização de bónus/promoção: tamanho/tipo/timing com base no risco de abyuz.
• Reações em RG/Retenção: quando e como intervir (notação suave/pausa/escalação).
• Operações: controle dinâmico de limites, priorização de filas de safort.
• Tráfego e compra, bidding em leilões, orçamento-pacing.

Por que não apenas supervised: a variável-alvo é um prêmio de longo prazo (LTV, wellbeing, redução de risco) que deve ser melhor acumulado e não apenas previsto.

2) Formulação básica

Estado (s _ t): perfil do jogador, contexto de sessão, restrições de mercado.
Ação (a _ t): off, seleção de jogos (slate), desencadeador RG, aposta bidder.
Recompensa (r _ t): métrica mista (renda - multas RG/AML - valor).

3) Famílias de métodos

3. 1 Bandidos (sem condição)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Bandidos contextuais: Consideram os sinais do jogador/sessão.
Slate/Ranking Bandits: seleção de um conjunto de propostas; Ajustamos os efeitos de posição.

3. 2 RL completo

Policy Gradiente/Ator-Crítico: REINFORCE, A2C/A3C, PPO - Resistentes a grandes espaços.
Q-Learning/Deep Q-Networks: ação discreta, treinamento offline com buffet de experiência.
Conservative/Offline RL: CQL, BCQ, IQL - aprendem com logs sem exposição online.

3. 3 RL seguro/limitado

Constrained RL (CMDP): otimização para restrições RG/AML/orçamento.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Design de recompensa (reward shaping)

• Rendimentos: Contribuição para Net Revenue/LTV (em vez de «apostas cruas»).
• Jogo responsável: multas de risco, excesso de limites, estímulos cansativos.
• Complaens/AML: Multas por ações que aumentem a probabilidade de atividade insegura.
• Qualidade da experiência: CTR/CVR/comprimento da sessão, mas com cap/weight para evitar «superaquecimento».

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Treinamento e avaliação off-line (chave de segurança)

• IPS/DR: Investe Propensity Scoring/Duply Robust nos logs do recomendador.
• Replay/Simuladores: Simuladores com modelos de resposta personalizados/provedores.
• Conservative Regularization: multa por suporte a logs (CQL/IQL).
• Política logger: Logando a probabilidade de exibição (propensity) para que haja uma avaliação correta.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Bandidos contextuais: início rápido

• Thompson Sampling (logit): Posterior por coeficiente → seleção de ação.
• UCB: Para orçamentos limitados e fortes sars.
• Regulação fairness/RG: Camuflando ações inválidas, limitando a frequência de exibição.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (recomendações de conjuntos)

O objetivo é maximizar a recompensa de todo o conjunto (contabilidade de posições, concorrência de cartões).
Métodos: Bandido Listwise, slate-Q, policy gradien com faturamento (Platkett-Claire).
Ajustar posições: propensity por posição; randomização dentro dos limites permitidos.

8) Segurança, RG/AML e complacência

• Regras rígidas (hard constraits): proibição de off tóxicos, restrições de frequência, «refrigeração».
• Policy Shielding: Filtramos a ação com a política RG/AML antes e depois da inferência.
• Otimização dual: Lagrange multiplier para limitações (por exemplo, a proporção de «agressivos» offshores ≤ 201).
• Ética e fair-use, excluindo proxy-fici, auditoria de influência.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Arquitetura de dados e serving

Caminho offline

Lakehouse: logs de exibições/cliques/conversões, propensity, cost.
Função Store (offline): point-in-time fici, editoras corretas.
Treinamento: offline RL (CQL/IQL) + simuladores; validação IPS/DR..

Online/near-real-time

Fichos: janelas rápidas (1-60 min), sinais de jogador/sessão, limites e máscaras RG/AML.
Serving: gRPC/REST, p95 50-150 ms (personalização), routing canário.
Logi: Salvamos 'policy _ id', 'propensity', 'slate', 'guard _ mask', o resultado real.

10) Métricas e experimentação

Offline: DR./IPS valorização, coverage suporte, divergence do loger.
Online: incorporação de Net Revenue/LTV, RG (time-to-intervene), abuse-rate, CTR/CVR/retenção.
Métricas de risco: CVaR, taxa de perturbação de guardrails, frequência de intervenções RG.
Experimentos: A/B/n com caping de tráfego e «kill-switch», sequential-testing.

11) Costa-engenharia e desempenho

Complexidade de ação: limitamos o tamanho do slate/espaço dos offs.
Cachê/soluções: TTL curtos para estados populares.
Descomposição: two-stage (candidate generation → re-rank).
Treinamento off-line programado: retrain diário/semanal; online é apenas uma adaptação fácil (bandits).

12) Exemplos (fatias)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Processos, papéis e RACI

R (Resolvível): Data Science (modelos RL/bandido), MLOps (plataforma/loging/avaliação), Data Eng (fichas/simuladores).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (RG/AML/PII), Legal (Termos Off), Security (segredos/KMS), SRE (SLO/Valor), Product.
I (Informed): Marketing/CRM, Operações, Suporte.

14) Mapa de trânsito de implementação

1. Bandido contextual para selecionar 1 off com máscaras RG/AML e logação de propensite.

2. Avaliação off-line IPS/DR., limitada A/B (5-10% de tráfego), kill-switch.

3. Dashboards: value (DR.), CTR/CVR, métricas RG, violações de guarda.

• Slate-bandido (N = 3-5 cartões), correções de posição; two-stage candidate→re-rank.
• Offline RL (IQL/CQL) com simulador; retrain regular.
• Constrained-RL: limites de agressividade/frequência, otimização dual.

• Políticas de intervenção RG (safe RL) com caps rigorosos e áudio.
• Orçamento-packing e bidding (leilões) com restrições CVaR.
• Adaptação interregional, chargeback a custo de infernização e off.

15) Folha de cheque antes de vender

• Os logs contêm 'policy _ id', 'propensity', máscaras/restrições, saques.
• A nota DR./IPS é estável; suporte de dados suficiente (overlap com loger).
• Guardrails: listas de restrições, limites de frequência, cooldown, kill-switch.
• RG/AML/Legal concordaram com as regras; a auditoria está ativada (WORM para malas).
• Lançamento de canário e limites de tráfego; monitoramento de valor/RG/abuse.
• Documentação de recompensas e riscos; cartão de política (owner, versão, SLA).
• Custo sob controle: latency p95, costa/request, tamanho de slate, dinheiro.

16) Anti-pattern

Expresso online sem proteção ou avaliação off-line.
Recompensa «cliques/apostas» sem incluir abyus e RG políticas tóxicas.
Falta de propensite e de uma avaliação de causal correta por logs.
Espaço de ação demasiado grande, sem máscaras/capping.
Mistura de regiões/jurisdições sem residência e regras.
Falta de kill-switch e canarinhos.

17) Resultado

O RL fornece à plataforma iGaming políticas adaptativas que maximizam o valor a longo prazo com RG/AML/Legal. A chave para a implementação segura é offline/métodos conservadores, avaliação de causal correta (IPS/DR), guardas rigorosas, recompensa transparente, disciplina MLOs e rollout gradual. Assim você vai crescer Net Revenue/LTV sem compromissos de responsabilidade e complicação.