Goldawly okuw

1) iGaming-de RL-iň maksady we ýeri

• Oýun katalogyny şahsylaşdyrmak (Slate-RL): ekran/top üçin teklipler toplumyny saýlamak.
• Bonuslary optimizirlemek/mahabatlandyrmak: ululygy/görnüşi/hyýanatçylyk töwekgelçiligini göz öňünde tutup taýming.
• RG/Retention reaksiýalary: haçan we nädip goşulmaly (ýumşak bellikler/arakesme/güýçlenmek).
• Amallar: çäkleri dinamiki dolandyrmak, sapport nobatlarynyň ileri tutulmagy.
• Traffik we satyn almak: auksionlarda bidding, býudjet-peysing.

Näme üçin diňe supervised däl: maksatly üýtgeýän - uzak möhletli baýrak (LTV, wellbeing, töwekgelçiligi azaltmak), ony diňe çaklamak bilen çäklenmän, optimal ýygnamaly.

2) Esasy düzülişi

Döwlet (s_t): oýunçynyň profili, sessiýanyň mazmuny, bazaryň çäklendirilmegi.
Hereket (a_t): offer, oýunlary saýlamak (slate), trigger RG, bidder stawkasy.
Sylag (r_t): garyşyk metrika (girdeji - jerimeler RG/AML - bahasy).

3) Usullar maşgalasy

3. 1 Garakçylar (ýagdaýy ýok)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Kontekst garakçylary: oýunçynyň/sessiýanyň alamatlaryny göz öňünde tutýarlar.
Slate/Ranking Bandits: teklipler toplumyny saýlamak; pozisiýa täsirlerini düzedýäris.

3. 2 Doly RL

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - uly giňişliklere çydamly.
Q-Learning/Deep Q-Networks: diskret hereketler, tejribe buferi bilen awtonom okuw.
Conservative/Offline RL: CQL, BCQ, IQL - onlaýn ekspluatasiýa bolmazdan bloglar boýunça öwrenýärler.

3. 3 Ygtybarly/çäkli RL

Constrained RL (CMDP): RG/AML/býudjet çäklendirmelerinde optimizasiýa.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Baýragyň dizaýny (reward shaping)

• Girdeji: inkremental Net Revenue/LTV-e goşant ("çig nyrhlar" däl).
• Jogapkär oýun: töwekgelçilik-patternler üçin jerimeler, çäklendirmelerden artyk, höweslendirmeleri ýadadýan.
• Complayens/AML: howply hereketleriň ähtimallygyny ýokarlandyrýan hereketler üçin jerimeler.
• Tejribäniň hili: CTR/CVR/sessiýanyň uzynlygy, ýöne "aşa gyzmakdan" gaça durmak üçin cap/weight bilen.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Awtonom okuw we baha bermek (howpsuzlyk açary)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust.
• Replay/Simulators: ulanyjy/üpjün ediji jogap modelleri bolan simulýatorlar.
• Conservative Regularization: Bu ýazgylary goldaýandygy üçin jerime (CQL/IQL).
• Logger syýasaty: dogry baha bermek üçin görkezmeleriň ähtimallygyny (propensity) seljerýäris.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Kontekst garakçylary: çalt başlamak

• Thompson Sampling (logit): koeffisiýentler boýunça posterior → hereket saýlamak.
• UCB: çäkli býudjetler we güýçli sarlar üçin.
• Fairness/RG düzgünleşdirmek: kabul ederliksiz hereketleri gizleýäris, görkezişleriň ýygylygyny çäklendirýäris.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (toplumlaryň teklipleri)

Maksady: tutuş toplumyň baýragyny (kartoçkalaryň pozisiýalaryny, bäsdeşligini hasaba almak) iň ýokary derejä ýetirmek.
Usullar: Listwise-garakçylar, slate-Q, faktorizasiýa bilen policy gradient (Plackett-Luce).
Pozisiýalary düzetmek: pozisiýalar boýunça propensity; rugsat berilýän çäkleriň içinde randomizasiýa.

8) Howpsuzlyk, RG/AML we gabat gelmek

• Berk düzgünler (hard constraints): zäherli offerleri gadagan etmek, ýygylyk çäklendirmeleri, "sowatmak".
• Policy Shielding: Hereketimizi RG/AML syýasaty bilen inferesden öň we soň süzýäris.
• Dual optimizasiýa: Çäklendirmeler üçin Lagrange multiplier (mysal üçin, "agressiw" offerleriň paýy ≤ θ).
• Etika we fair-use: proksi-fiçleri, täsir auditini aradan aýyrýarys.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Maglumatlaryň we serwingiň arhitekturasy

Awtonom kontur

Lakehouse: görkeziş/basma/konwersiýa, propensiti, cost.
Feature Store (offline): nokat-in-time fiçalar, dogry bellikler.
Okuw: offline RL (CQL/IQL) + simulýatorlar; IPS/DR tassyklamasy.

Onlaýn/near-real-time

Fiçler: çalt penjireler (1-60 minut), oýunçynyň/sessiýanyň alamatlary, çäklendirmeler we RG/AML maskalary.
Hyzmat: gRPC/REST, p95 50-150 ms (şahsylaşdyrma), kanar marşrutizasiýasy.
Logy: saklaň 'policy _ id', 'propensity', 'slate', 'guard _ mask', hakyky netije.

10) Metrika we synag

Awtonom: DR/IPS-baha bermek value, coverage support, divergence от loger.
Onlaýn: Net Revenue/LTV, RG-signallar (time-to-intervene), abuse-rate, CTR/CVR/retention.
Töwekgelçilik metrikleri: CVaR, garawullaryň bozulmalarynyň paýy, RG gatyşmalarynyň ýygylygy.
Synaglar: A/B/n traffik kapping we "kill-switch", sequential-testing.

11) Cost-in engineeringenerçilik we öndürijilik

Hereketleriň çylşyrymlylygy: sleýtiň ululygyny/giňişligini çäklendirýäris.
Cache Fich/Solutions: Meşhur ýagdaýlar üçin gysga TTL.
Dekompozisiýa: two-stage (candidate generation → re-rank).
Meýilnama boýunça oflayn okuw: gündelik/hepdelik retrain; onlaýn - diňe aňsat uýgunlaşma (bandits).

12) Mysallar (bölekler)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Prosesler, rollar we RACI

R (Responsible): Data Science (RL/garakçylar), MLOps (platforma/logistika/baha), Data Eng (fiçler/simulýatorlar).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (RG/AML/PII), Legal (offerleriň şertleri), Security (syrlar/KMS), SRE (SLO/bahasy), Product.
I (Informed): Marketing/CRM, Amallar, Goldaw.

14) Durmuşa geçirmegiň ýol kartasy

1. RG/AML maskalary we propensiti loglary bilen 1 offer saýlamak üçin kontekstli garakçy.

2. IPS/DR awtonom baha bermek, A/B çäkli (traffigiň 5-10%), öldürmek-switch.

3. Daşbordlar: value (DR), CTR/CVR, RG-metrikler, garawullaryň bozulmagy.

• Slate-garakçy (N = 3-5 kartoçka), pozisiýa düzedişleri; two-stage candidate→re-rank.
• Simulýator bilen Offline RL (IQL/CQL); yzygiderli retrain.
• Constrained-RL: agressiwlik/ýygylyk çäkleri, dual optimizasiýa.

• Berk kaps we audit bilen RG-gatyşmalar syýasaty (safe RL).
• CVaR çäklendirmeleri bolan býujet-peýsing we bidding (auksionlar).
• Sebitara uýgunlaşma, infersiň we offerleriň bahasy boýunça chargeback.

15) Azyk önüminden öň çek-sanawy

• Loglarda 'policy _ id', 'propensity', maskalar/çäklendirmeler, netijeler bar.
• DR/IPS bahasy durnukly; ýeterlik maglumat goldawy (loger bilen overlap).
• Garawullar: gadaganlyk sanawlary, ýygylyk çäkleri, cooldown, öldürmek-switch.
• RG/AML/Legal düzgünleri ylalaşdy; audit (wakalar üçin WORM).
• Kanareýanyň goýberilmegi we traffigiň çäkleri; gözegçilik value/RG/abuse.
• Sylagyň we töwekgelçilikleriň resminamalary; syýasat kartoçkasy (owner, wersiýa, SLA).
• Gözegçilik astynda bahasy: latency p95, cost/request, sleýtiň ululygy, nagt pul.

16) Anti-patternler

Goragsyz we awtonom baha bermezden onlaýn eksplor.
"Basmak/jedeller" baýragy hyýanatçylyksyz we RG → zäherli syýasat.
Loglar boýunça propensitiň we dogry causal-bahanyň ýoklugy.
Hereket meýdany gaty uzyn, maskalar/kapping ýok.
Sebitleriň/ýurisdiksiýalaryň rezidentlik we düzgünler bolmazdan garyşmagy.
Kill-switch we kanareýkalaryň ýoklugy.

17) Jemleýji

RL, iGaming platformasyna RG/AML/Legal berjaý edilende uzak möhletli gymmaty ýokarlandyrýan uýgunlaşdyryjy syýasatlar berýär. Ygtybarly ornaşdyrmagyň açary - offline/konserwatiw usullar, dogry causal-baha bermek (IPS/DR), berk garrails, aç-açan baýrak, MLOps düzgün-nyzam we kem-kemden rollout. Şeýlelik bilen, jogapkärçilik we ylalaşyksyz Net Revenue/LTV ösüşini alarsyňyz.