Formazione con supporto

1) Assegnazione e posizione RL nel iGaming

• Personalizzazione catalogo giochi (Slate-RL) - Seleziona una serie di suggerimenti per la schermata.
• Ottimizzazione bonus/promo: dimensioni/tipo/timing in base al rischio di abyuse.
• Reazioni in RG/Retention: quando e come intervenire (notificazioni morbide/pause/escalation).
• Operazioni: gestione dinamica dei limiti, priorità delle code di zapport.
• Traffico e acquisto: bidding in aste, budget-packing.

Perché non solo supervised: la variabile di destinazione è una ricompensa a lungo termine (LTV, wellbeing, riduzione dei rischi) che deve essere accumulata in modo ottimale e non semplicemente predetta.

2) Formulazione di base

Stato (s _ t) - Profilo del giocatore, contesto della sessione, vincoli di mercato.
Azione (a _ t): off, selezione giochi (slate), trigger RG, puntata bidder.
Premio (r _ t): metrica mista (reddito - multe RG/AML - valore).

3) Famiglie di metodi

3. 1 Bandi (nessuno stato)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Gruppi contestuali: contano i segni del giocatore/sessione.
Slate/Ranking Bandits: selezione di una serie di offerte; correggiamo gli effetti di posizione.

3. 2 RL completa

Policy Gradent/Actor-Critic: REINFORCE, A2C/A3C, PPO - Resistono a grandi spazi.
Q-Learning/Deep Q-Networks: attività discrete, formazione offline con buffer di esperienza.
Conservative/Offline RL: CQL, BCQ, IQL - Imparano dai fogli senza esposizione online.

3. 3 RL sicuro/limitato

Costrained RL (CMDP): ottimizzazione per i vincoli RG/AML/budget.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Design premio (reward shaping)

• Reddito: un contributo a Net Revenue/LTV incrementale (non a tassi crudi).
• Gioco responsabile: multe per rischi-pattern, superamento dei limiti, stimoli faticosi.
• Compendio/AML: multe per azioni che aumentano la probabilità di attività pericolose.
• Qualità dell'esperienza: CTR/CVR/lunghezza della sessione, ma con cap/weight per evitare il «surriscaldamento».

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Formazione e valutazione offline (chiave di sicurezza)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust sui fogli del raccomandatore.
• Replay/Simulatori: simulatori con modelli di risposta personalizzati/provider.
• Conservative Regolarization - Multa per il supporto di questi reparti (CQL/IQL).
• Criterio logger: logifichiamo la probabilità di visualizzazione per una valutazione corretta.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Bandi contestuali: partenza rapida

• Thompson Sampling (logit) - La selezione dell'azione viene eseguita in base al fattore Posterior.
• UCB: per budget limitati e forti sar'ov.
• Regolazione fairness/RG: maschera le azioni non valide e limita la frequenza di visualizzazione.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (raccomandazioni set)

Obiettivo: massimizzare il premio dell'intero set (conteggio delle posizioni, concorrenza delle carte).
Metodi: Bandi listwise, slate-Q, policy gradient con fattorizzazione (Plackett-Luce).
Regolazione delle posizioni: propensity per posizione randomizzazione all'interno dei limiti consentiti.

8) Sicurezza, RG/AML e compilazione

• Regole rigide (hard constrains): proibizione di offshore tossici, restrizioni di frequenza, raffreddamento.
• Policy Shielding - Filtriamo l'azione con il criterio RG/AML prima e dopo l'infertilità.
• Ottimizzazione duale: Lagrange multiplier per i vincoli (ad esempio, la percentuale di off-off aggressivi).
• Etica e fair-usa: escludiamo i proxy-fici, controllo dell'influenza.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Architettura dei dati e del cerving

Tracciato offline

Lakehouse: fogli di proiezioni/click/conversioni, propensity, cost.
Feature Store (offline): point-in-time, etichette corrette.
Formazione: offline RL (CQL/IQL) + simulatori; convalida IPS/DR.

Online/near-real-time

Ficci: finestre veloci (1-60 min), segni di giocatore/sessione, limiti e maschere RG/AML.
Cerving: gRPC/REST, p95 50-150 mc (personalizzazione), routing canario.
Loghi: salviamo «policy _ id», «propensity», «slate», «guard _ mask», l'esito reale.

10) Metriche e sperimentazione

Offline: DR/IPS value value, coverage supporto, divergence dal loger.
On-line: incorporazione di Net Revenue/LTV, RG (time-to-intervene), abuse-rate, CTR/CVR/retention.
Metriche a rischio: CVaR, percentuale di disturbi di guardia, frequenza di intervento RG.
Esperimenti: A/B/n con capping del traffico e kill-switch, sequential-testing.

11) Cost-ingegneria e prestazioni

Complessità delle azioni: limitiamo le dimensioni dello slot/spazio offshore.
Cash fich/soluzioni: TTL brevi per gli stati più popolari.
Decomposizione: two-stage (candidate generation → re-rank).
Retrain giornaliero/settimanale; online è solo un facile adattamento (bandits).

12) Esempi (sezioni)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Processi, ruoli e RACI

R (Respontible): Data Science (modelli RL/Bands), MLOs (Piattaforma/Loging/Valutazione), Data Eng (Fichi/Simulatori).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (RG/AML/PII), Legale (condizioni offshore), Security (segreti/KMS), SRE (SLO/costo), Product.
I (Informed) - Marketing/CRM, Operazioni, Supporto.

14) Road map di implementazione

1. Bandito contestuale per selezionare 1 offer con maschere RG/AML e loging propensity.

2. Valutazione offline IPS/DR, limitata A/B (5-10% traffico), kill-switch.

3. Dashboard: value (DR), CTR/CVR, metriche RG, violazioni della guardia.

• Slate bandit (N = 3-5 carte), correzioni di posizione; two-stage candidate→re-rank.
• Offline RL (IQL/CQL) con simulatore; retrain regolare.
• Costrained-RL: limiti di aggressività/frequenza, ottimizzazione duale.

• Criteri di intervento RG (safe RL) con caps e audio rigorosi.
• Budget-packing e bidding (aste) con restrizioni CVaR.
• Adattamento interregionale, chargeback per costo di inferenze e offshore.

15) Foglio di assegno prima della vendita

• I loghi contengono «policy _ id», «propensity», maschere/vincoli, esiti.
• Il DOTTOR/IPS è stabile; il supporto dei dati è sufficiente (overlap con loger).
• Guardrails: elenchi di proibizioni, limiti di frequenza, cooldown, kill-switch.
• RG/AML/Legale hanno concordato le regole; Controllo attivato (WORM per le valigette).
• Rilascio canario e limiti di traffico; Monitoraggio value/RG/abuse.
• Documentazione dei premi e dei rischi; scheda criteri (owner, versione, SLA).
• Costo sotto controllo: latency p95, cost/sollest, dimensione slot, cache.

16) Anti-pattern

Internet Explorer senza protezione e valutazione off-line.
Il premio «click/scommesse», senza considerare l'Abyus e l'RG, è una politica tossica.
Nessuna propensity e corretta causal-valutazione per logi.
Troppo spazio di azione, nessuna maschera/capping.
Miscelare regioni/giurisdizioni senza residenza e regole.
Assenza di kill-switch e canarini.

17) Totale

RL fornisce alla piattaforma iGaming politiche adattive che massimizzano il valore a lungo termine rispettando RG/AML/Legale. La chiave per l'implementazione sicura è offline/metodi conservatori, corretta causa-valutazione (IPS/DR), rigide guardrail, premio trasparente, disciplina MLOs e rollout graduale. Così si ottiene la crescita di Net Revenue/LTV senza compromessi sulla responsabilità e la compliance.