Szkolenie wzmacniające

1) Cel i miejsce RL w iGaming

• Personalizacja katalogu gier (Slate-RL): wybór zestawu ofert dla ekranu/push.
• Optymalizacja bonusu/promo: rozmiar/typ/czas biorąc pod uwagę ryzyko nadużycia.
• Reakcje w RG/retencji: kiedy i jak interweniować (miękkie powiadomienia/pauza/eskalacja).
• Operacje: dynamiczne zarządzanie limitami, ustalanie priorytetów kolejek wsparcia.
• Ruch i zamówienia: licytacja w ramach aukcji, tempo budżetowe.

Dlaczego nie tylko nadzorowane: zmienna docelowa jest długoterminową nagrodą (LTV, samopoczucie, zmniejszenie ryzyka), która musi być optymalnie zgromadzona, a nie tylko przewidywane.

2) Podstawowe brzmienie

Status (s_t): profil gracza, kontekst sesji, ograniczenia rynkowe.
Akcja (a_t): oferta, wybór gier (slate), wyzwalacz RG, zakład oferenta.
Nagroda (r_t): metryka mieszana (dochód - kary RG/AML - wartość).

3) Metody rodziny

3. 1 Bandyci (bezpaństwowcy)

Multi-Armed Bandit: (\epsilon) -greedy, UCB, Thompson Sampling.
Bandyci kontekstowi: Rozważmy cechy gracza/sesji.
Bandyci Slate/Ranking: Wybór zestawu ofert; dostosować efekty pozycyjne.

3. 2 Pełne ChRL

Gradient polityki/aktor-krytyk: REINFORCE, A2C/A3C, PPO - odporny na duże przestrzenie.
Q-Learning/Deep Q-Networks: dyskretne działania, offline Learning with Experience Buffer.
Konserwatywny/Offline RL: CQL, BCQ, IQL - uczyć się z logów bez eksploatacji online.

3. 3 Bezpieczne/Ograniczone RL

Ograniczony ChRL (CMDP): optymalizacja w ramach RG/AML/ograniczeń budżetowych.
Czuły na ryzyko: CVaR-RL, kształt kary, Lagrangian метора.

4) Projekt nagrody (kształtowanie nagród)

• Dochody: Wkład do przyrostowego przychodu netto/telewizji (nie „stopy surowe”).
• Odpowiedzialna gra: kary za wzorce ryzyka, przekroczenie limitów, męczące zachęty.
• Zgodność/AML: kary za działania zwiększające prawdopodobieństwo niebezpiecznych działań.
• Jakość doświadczenia: CTR/CVR/długość sesji, ale z nasadką/wagą, aby uniknąć „przegrzania”.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Szkolenie i ocena offline (klucz do bezpieczeństwa)

• IPS/DR: Inverse Propensity Scoring/Double Solidne na dziennikach rekomendacji.
• Powtórka/symulatory: symulatory z niestandardowymi/dostawcami modeli odpowiedzi.
• Konserwatywne rozporządzenie: Wymierzenie kary za wspieranie tych kłód (CQL/IQL).
• Polityka loggera: zalogować prawdopodobieństwo wrażeń (skłonność) tak, że istnieje prawidłowe oszacowanie.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Bandyci kontekstowi: szybki start

• Thompson Sampling (logit): tylny według współczynników → wybór działania.
• UCB: dla obcisłych budżetów i mocnych sarów.
• Regularyzacja uczciwości/RG: maska niedopuszczalne działania, ograniczenie częstotliwości wrażeń.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (zalecenia zestawu)

Cel: zmaksymalizować nagrodę całego zestawu (biorąc pod uwagę pozycje, konkurencję kart).
Metody: bandyci Listwise, łupek-Q, gradient polityki z faktoryzacją (Plackett-Luce).
Korekcja położenia: skłonność według położenia; randomizacja w dopuszczalnych granicach.

8) Bezpieczeństwo, RG/AML i zgodność

• Trudne ograniczenia: zakaz toksycznych ofert, ograniczenia częstotliwości, „chłodzenie”.
• Ekranowanie polityki: filtrowanie akcji przez politykę RG/AML przed i po wnioskowaniu.
• Podwójna optymalizacja: Mnożnik Lagrange pod kątem ograniczeń (na przykład udział „agresywnych” ofert ≤
• Etyka i sprawiedliwe korzystanie: wykluczyć funkcje proxy, wpływ audytu.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Architektura danych i obsługi

Pętla offline

Lakehouse: dzienniki wrażeń/kliknięć/konwersji, skłonności, koszt.
Funkcja Sklep (offline): funkcje punktowe w czasie, poprawne etykiety.

Szkolenie: offline RL (CQL/IQL) + symulatory; Walidacja IPS/DR

Online/w czasie zbliżonym do rzeczywistego

Feechee: Szybkie okna (1-60 min), znaki gracza/sesji, limity i maski RG/AML.
Obsługa: gRPC/REST, p95 50-150 ms (personalizacja), routing kanaryjski.
Dzienniki: zapisz 'policy _ id',' skłonność ',' slate ',' guard _ mask ', rzeczywisty wynik.

10) Metryka i eksperymenty

Offline: wartość oceny DR/IPS, wsparcie pokrycia, odchylenie od rejestratora.
Online: przyrost do przychodów netto/LTV, sygnały RG (czas do interwencji), wskaźnik nadużyć, CTR/CVR/zatrzymanie.
Wskaźniki ryzyka: CVaR, odsetek naruszeń barier ochronnych, częstotliwość interwencji RG.
Eksperymenty: A/B/n z ograniczaniem ruchu i „kill-switch”, sekwencyjne testowanie.

11) Inżynieria kosztowa i wydajność

Złożoność działań: ograniczamy rozmiar łupka/przestrzeń ofert.
Pamięć podręczna funkcji/rozwiązań: krótkie TTL dla popularnych stanów.
Rozkład: dwustopniowy (generacja kandydująca → ponowny stopień).
Szkolenie offline w harmonogramie: codzienny/tygodniowy przekwalifikowanie; online - tylko łatwa adaptacja (bandytów).

12) Przykłady (fragmenty)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Procesy, role i RACI

R (odpowiedzialny): Data Science (modele/bandyci RL), MLOp (platforma/logowanie/ocena), Data Eng (funkcje/symulatory).
A (Odpowiedzialność): szef danych/CDO.
C (Konsultacja): Zgodność/DPO (RG/AML/PII), Prawne (warunki oferty), Bezpieczeństwo (tajemnice/KMS), SRE (SLO/wartość), Produkt.
I (Poinformowany): Marketing/CRM, Operacje, Wsparcie.

14) Plan działania w zakresie wdrażania

1. Kontekst bandyta do wyboru 1 oferta z maskami RG/AML i rejestrowania skłonności.

2. Wynik offline IPS/DR, ograniczony do A/B (5-10% ruchu), kill-switch.

3. Deski rozdzielcze: wartość (DR), CTR/CVR, wskaźniki RG, naruszenia barier ochronnych.

• Bandyta łupkowy (N = 3-5 kart), korekty pozycyjne; dwustopniowy kandydat → re-ranking.
• Offline RL (IQL/CQL) z symulatorem; regularne przekwalifikowanie.
• Ograniczony ChRL: ograniczenia agresywności/częstotliwości, podwójna optymalizacja.

• Polityka interwencji RG (safe RL) z rygorystycznymi limitami i audytami.
• Tempo budżetowe i licytacja (aukcje) z ograniczeniami CVaR.
• Adaptacja międzyregionalna, obciążenie zwrotne kosztem wniosku i ofert.

15) Lista kontrolna przedsprzedaży

• Dzienniki zawierają 'policy _ id',' skłonność ', maski/ograniczenia, wyniki.
• Stabilny wynik DR/IPS; wystarczające wsparcie danych (pokrywanie się z rejestratorem).
• Poręcze: listy hamujące, limity częstotliwości, cooldown, kill-switch.
• RG/AML/Legal uzgodnione w sprawie zasad; włączony audyt (WORM dla spraw).
• Limity uwolnienia kanaryjskiego i ruchu; wartość monitoringu/RG/nadużycie.
• Nagroda i dokumentacja ryzyka; karta polisy (właściciel, wersja, SLA).
• Koszt kontrolowany: opóźnienie p95, koszt/żądanie, rozmiar gniazda, pamięć podręczna.

16) Anty-wzory

Online explor bez ochrony i oceny offline.
Kliknij/zakład z wyłączeniem nadużyć i RG → toksyczna polityka.
Brak przyzwoitości i prawidłowa ocena przyczynowa kłód.
Zbyt dużo miejsca na akcję, bez masek/zamknięć.
Mieszanie regionów/jurysdykcji bez rezydencji i zasad.
Brak wyłącznika zabójstw i kanarów.

17) Sedno sprawy

RL daje platformie iGaming adaptacyjne polityki, które maksymalizują wartość długoterminową przy jednoczesnym przestrzeganiu RG/AML/Legal. Kluczem do bezpiecznego wdrożenia są metody offline/konserwatywne, prawidłowa ocena przyczynowa (IPS/DR), ścisłe szyny ochronne, przejrzysta nagroda, dyscyplina MLOp i stopniowe wprowadzanie. W ten sposób otrzymasz przychód netto/wzrost LTV bez uszczerbku dla odpowiedzialności i zgodności.