增援訓練

1） RL在iGaming中的分配和位置

• 個性化遊戲目錄（Slate-RL）： 選擇一組屏幕/push優惠。
• 優化獎金/促銷：大小/類型/計時,並考慮抽獎風險。
• RG/Retention中的反應：何時以及如何幹預（軟標記/暫停/升級）。
• 操作：動態極限管理，優先排隊。
• 交通和采購：在拍賣中閑逛，預算分頁。

為什麼不僅僅是超級：目標變量是長期獎勵（LTV，wellbeing，降低風險），必須最佳地積累，而不僅僅是預測。

2）基本表述

狀態（s_t)：玩家個人資料，會話上下文，市場限制。
動作（a_t)：offer，遊戲選擇（slate），RG觸發器，bidder賭註。
獎勵（r_t)：混合指標（收入-RG/AML罰款-價值）。

3）方法家族

3.1匪徒（無狀態）

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.

上下文強盜：考慮玩家/會話的特征。
Slate/Ranking Bandits：選擇一組句子；調整位置效果。

3.2完整的RL

Policy Gradient/Actor-Critic：REINFORCE，A2C/A3C，PPO-對大空間具有抵抗力。
Q-Learning/Deep Q-Networks：離散動作,離線學習和體驗緩沖。
Conservative/Offline RL： CQL、BCQ、IQL-通過邏輯學習,無需在線利用。

3.3安全/限制RL

結構化RL （CMDP）：在RG/AML/預算限制下進行優化。

Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4）獎項設計（獎勵影像）

• 收入：對增量網絡Revenue/LTV的貢獻（而不是「原始費率」）。
• 負責任的遊戲：對風險模式的處罰，超過限制，厭倦激勵。
• 合規性/AML：對增加不安全活動可能性的行為的處罰。
• 體驗質量：CTR/CVR/會話長度，但使用cap/weight避免了「過熱」。

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5）離線培訓和評估（安全關鍵）

• IPS/DR：在推薦者日誌上進行逆向預測測定/雙重機器人。
• Replay/Simulators：具有自定義/提供者響應模型的模擬器。
• 保護性法規：因支持日誌數據而退出的罰款（CQL/IQL）。
• 路由器策略：我們計算顯示概率（propensity），以便進行正確的評估。

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6）上下文匪徒： 快速啟動

• 湯普森采樣（logit）：後驗系數→動作選擇。
• UCB：預算有限和強勁的sar。
• 正則化fairness/RG：掩蓋無效動作，限制放映頻率。

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7）Slate-RL（套件推薦）

目的：最大限度地提高整套的獎勵（考慮位置、卡片競爭）。

方法： Listwise-bandites, slate-Q, policy gradient with factorization （Plackett-Luce）.

位置校正：按位置進行擴展；在允許的邊界內隨機化。

8）安全,RG/AML和合規性

• 強硬的規則（強硬的規則）：禁止有毒的除塵器，頻率限制，「冷卻」。
• Policy Shielding：在地獄前後通過RG/AML策略過濾操作。
• 二元優化：用於約束的Lagrange multiplier（例如「激進」offers的比例≤ θ）。
• 倫理和公平使用：不包括代理菲奇，影響力審計。

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9）數據和伺服體系結構

離線輪廓

Lakehouse：顯示/點擊/轉換，propensiti，費用記錄。
Feature Store （offline）：點對點、正確標簽。
培訓：離線RL（CQL/IQL）+模擬器；IPS/DR驗證。

在線/近實時

Fichi：快速窗口（1-60分鐘）、玩家/會話跡象、限制和RG/AML口罩。
Serving： gRPC/REST, p95 50-150 ms（個性化）,金絲雀漫遊。
Logi：我們保留「policy_id」、「propensity」、「slate」、「guard_mask」和實際結果。

10）度量與實驗

離線：DR/IPS價值評估，支持覆蓋，來自日誌的幹擾。
在線：轉化為Net Revenue/LTV，RG信號（時間到中間），abuse-rate，CTR/CVR/retention。
風險指標：CVaR，護欄違規比例，RG幹預頻率。
實驗：A/B/n帶有流量滴答和「kill-switch」，序列測試。

11）成本工程和性能

操作復雜性：限制板塊/離岸空間。
信息/解決方案緩存：用於流行狀態的短TTL。
解調：兩個階段（candidate生成→重新排名）。
離線時間表培訓：每日/每周retrain；網上只是簡單的改編（bandits）。

12）示例（片段）

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13）流程、角色和RACI

A (Accountable): Head of Data / CDO.

R（Responsible）：數據科學（RL模型/土匪模型），MLOps（平臺/編寫/評估），Data Eng（幻影/模擬器）。
C（咨詢）：Compliance/DPO （RG/AML/PII）, Legal（離岸條款）,Security （秘密/KMS）, SRE （SLO/成本）,產品。
I （Informed）： 市場營銷/CRM,運營,支持。

14）實施路線圖

1.選擇1個帶有RG/AML口罩和propensity成像的offer的上下文匪徒。

2.IPS/DR離線評分受到A/B（5-10％的流量），殺手開關的限制。

3.Dashbords：value（DR），CTR/CVR，RG度量，guardrails違規。

• Slate-bandit（N=3-5卡），位置校正；two-stage candidate→re-rank.
• 帶模擬器的離線RL（IQL/CQL）；定期retrain。
• Constrained-RL：攻擊性/頻率限制，雙重優化。

• RG幹預政策（safe RL）具有嚴格的上限和審核。
• 帶有CVaR限制的預算尋呼和拍手（拍賣）。
• 區域間適應，按地獄和offers的成本進行充電。

15）售前支票清單

• Logi包含「policy_id」、「propensity」、掩碼/限制、結果。
• DR/IPS評估是穩定的；數據支持是足夠的（使用日誌的覆蓋）。
• Guardrails：禁令清單，頻率限制，cooldown，kill-switch。
• RG/AML/Legal商定了規則；已啟用審計（案例的WORM）。
• 金絲雀發布和流量限制；value/RG/abuse監視。
• 獎勵和風險文檔；政策卡（所有者,版本,SLA）。
• 控制成本：latency p95, cost/request, slate大小,緩存。

16）反模式

沒有保護和離線評估的在線專家。
不考慮借口和RG的「點擊/投註」獎→有毒的政策。
缺少propensity和正確的causal評估。
行動空間太大，沒有口罩/帽子。
混合區域/轄區，沒有居住權和規則。
缺少殺手開關和金絲雀。

17）結果

RL為iGaming平臺提供了適應性策略，這些策略在遵守RG/AML/Legal的同時最大化了長期價值。安全實施的關鍵是離線/保守方法，正確的causal評估（IPS/DR），嚴格的guardrails，透明的獎勵，MLOps紀律和漸進的滾動。因此，您將獲得Net Revenue/LTV的增長，而無需在責任和合規性方面做出妥協。