Qo’shimcha ta’lim

1) iGaming’dagi RLning vazifasi va joyi

• Oʻyin katalogini (Slate-RL) personallashtirish: ekran/push uchun takliflar toʻplamini tanlash.
• Bonuslarni maqbullashtirish/promo: abyuz xavfini hisobga olgan holda o’lchami/turi/tayming.
• RG/Retention reaksiyalari: qachon va qanday aralashish (yumshoq notifikatsiyalar/pauza/eskalatsiya).
• Operatsiyalar: limitlarni dinamik boshqarish, sapport navbatlarini ustuvorlashtirish.
• Trafik va xarid: auksionlarda bidding, budjet-peysing.

Nega nafaqat supervised: maqsadli o’zgaruvchan - uzoq muddatli mukofot (LTV, wellbeing, xavfni kamaytirish), uni shunchaki bashorat qilish emas, balki optimal tarzda to’plash kerak.

2) bazaviy formulasi

Holat (s_t): oʻyinchi profili, sessiya konteksti, bozor cheklovlari.
Harakat (a_t): offer, o’yinlarni tanlash (slate), RG trigger, bidder stavkasi.
Mukofot (r_t): aralash metrika (daromad - jarimalar RG/AML - qiymat).

3) Usullar oilasi

3. 1 Banditlar (holatsiz)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Kontekst banditlar: oʻyinchi/sessiya belgilarini hisobga oladi.
Slate/Ranking Bandits: takliflar toʻplamini tanlash; pozitsiya effektlarini tuzatamiz.

3. 2 Toʻliq RL

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - katta boʻshliqlarga chidamli.
Q-Learning/Deep Q-Networks: diskret harakatlar, tajriba buferi bilan oflayn o’qitish.
Conservative/Offline RL: CQL, BCQ, IQL - onlayn eksploratsiyasiz loglar orqali o’rganiladi.

3. 3 Xavfsiz/cheklangan RL

Constrained RL (CMDP): RG/AML/byudjet boʻyicha cheklovlarni optimallashtirish.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Mukofot dizayni (reward shaping)

• Daromad: inkremental Net Revenue/LTVga ulush («xom stavkalar» emas).
• Mas’uliyatli o’yin: tavakkalchilik uchun jarimalar, limitlardan oshib ketish, rag’batlantirishni charchatish.
• Komplayens/AML: xavfli faoliyat ehtimolini oshiradigan harakatlar uchun jarimalar.
• Tajriba sifati: CTR/CVR/sessiya uzunligi, ammo «haddan tashqari qizib ketmaslik» uchun cap/weight bilan.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Oflayn o’qitish va baholash (xavfsizlikning kaliti)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust.
• Replay/Simulators: foydalanuvchi/provayder javob modellariga ega simulyatorlar.
• Conservative Regularization: ushbu loglarni qo’llab-quvvatlaganlik uchun jarima (CQL/IQL).
• Logger siyosati: ko’rsatkichlar ehtimolini (propensity) to’g’ri baholash uchun baholaymiz.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Kontekst banditlar: tezkor boshlash

• Thompson Sampling (logit): posterior koeffitsiyentlar bo’yicha → harakat tanlash.
• UCB: cheklangan budjetlar va kuchli sarlar uchun.
• Fairness/RGni tartibga solish: nomaqbul harakatlarni yashirish, koʻrsatuv chastotasini cheklash.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (to’plamlarning tavsiyalari)

Maqsad: barcha to’plamdagi mukofotni ko’paytirish (pozitsiyalarni hisobga olish, kartochkalar raqobati).
Usullar: Listwise-banditlar, slate-Q, faktorizatsiya bilan policy gradient (Plackett-Luce).
Pozitsiyalarni tuzatish: pozitsiyalar bo’yicha propensity; ruxsat etilgan chegaralar ichida randomizatsiya qilish.

8) Xavfsizlik, RG/AML va komplayens

• Qattiq qoidalar (hard constraints): toksik offerlarni taqiqlash, chastota cheklovlari, «sovutish».
• Policy Shielding: Harakatni RG/AML siyosati bilan filtrlash.
• Dual optimallashtirish: cheklovlar uchun Lagrange multiplier (masalan, «tajovuzkor» offerlar ≤ θ ulushi).
• Axloq va fair-use: proksi-fichlarni istisno qilamiz, ta’sir auditi.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Ma’lumotlar va serving arxitekturasi

Oflayn kontur

Lakehouse: displey/klik/konversiya, propensiti, cost.
Feature Store (offline): point-in-time fichlari, to’g "ri yorliqlar.
Trening: offline RL (CQL/IQL) + simulyatorlar; IPS/DR validatsiyasi.

Onlayn/near-real-time

Fichlar: tez derazalar (1-60 daqiqa), o’yinchi/sessiya belgilari, limitlar va RG/AML niqoblari.
Serving: gRPC/REST, p95 50-150 ms (personalizatsiya), kanar routing.
Logi:’policy _ id’,’propensity’,’slate’,’guard _ mask’, haqiqiy natijani saqlab qoling.

10) Metrika va tajriba

Oflayn: DR/IPS baholash value, qo’llab-quvvatlash coverage, logerdan divergence.
Onlayn: Net Revenue/LTVga inkrement, RG-signallar (time-to-intervene), abuse-rate, CTR/CVR/retention.
Xavf-metriklar: CVaR, guardrails buzilishlari ulushi, RG intervensiyalari chastotasi.
Eksperimentlar: A/B/n kapping trafigi va «kill-switch», sequential-testing.

11) Cost-injiniring va unumdorlik

Harakatlarning murakkabligi: sleyt/offer maydonini cheklash.
Cache fich/echimlar: ommabop holatlar uchun qisqa TTL.
Dekompozisiya: two-stage (candidate generation → re-rank).
Jadval bo’yicha oflayn o’qitish: kundalik/haftalik retrain; onlayn - faqat engil moslashuv (bandits).

12) Misollar (parchalar)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Jarayonlar, rollar va RACI

R (Responsible): Data Science (RL/banditlar modellari), MLOps (platforma/loglash/baholash), Data Eng (fichi/simulyatorlar).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (RG/AML/PII), Legal (offerlar shartlari), Security (sirlar/KMS), SRE (SLO/qiymat), Product.
I (Informed): Marketing/CRM, Operatsiyalar, Qo’llab-quvvatlash.

14) Joriy etish yo’l xaritasi

1. RG/AML niqobli va propensitli 1 ta offerni tanlash uchun kontekstli bandit.

2. IPS/DR oflayn baholash, A/B cheklangan (trafikning 5-10%), kill-switch.

3. Dashbordlar: value (DR), CTR/CVR, RG-metrika, guardrails buzilishlari.

• Slate-bandit (N = 3-5 kartochka), pozitsion tuzatishlar; two-stage candidate→re-rank.
• simulyator bilan Offline RL (IQL/CQL); muntazam retrain.
• Constrained-RL: agressivlik/chastota limitlari, dual optimallashtirish.

• Qattiq caps va audit bilan RG-intervensiyalar (safe RL) siyosati.
• CVaR cheklovlari bilan budjet-peysing va bidding (auksionlar).
• Mintaqalararo moslashish, inferens va offerlar qiymati bo’yicha chargeback.

15) Sotishdan oldingi chek-varaq

• Loglarda’policy _ id’,’propensity’, niqoblar/cheklovlar, natijalar mavjud.
• DR/IPS baholash barqaror; ma’lumotlarni etarli darajada qo’llab-quvvatlash (loger bilan overlap).
• Guardrails: taqiqlar roʻyxati, chastota limitlari, cooldown, kill-switch.
• RG/AML/Legal qoidalarni kelishib oldi; audit kiritilgan (WORM keys uchun).
• Kanar relizi va trafik limitlari; value/RG/abuse monitoringi.
• Mukofot va tavakkalchiliklar hujjatlari; siyosat kartochkasi (owner, versiya, SLA).
• Nazorat ostidagi narx: latency p95, cost/request, sleyt hajmi, kesh.

16) Anti-patternlar

Himoyasiz va oflayn baholashsiz onlayn eksplor.
Abyuz va RG → zaharli siyosatdan tashqari «klik/stavka» mukofoti.
Propensit va to’g "ri causal-bahoning yo’qligi.
Harakat maydoni juda katta, niqob/kapping yoʻq.
Rezidentlik va qoidalarsiz hududlarni/yurisdiksiyalarni aralashtirish.
Kill-switch va kanareykalar yo’qligi.

17) Jami

RL iGaming platformasiga RG/AML/Legal ga rioya qilgan holda uzoq muddatli qiymatni oshiradigan moslashuvchan siyosat beradi. Xavfsiz joriy etishning kaliti - offline/konservativ usullar, toʻgʻri causal-baholash (IPS/DR), qatʼiy guardrails, shaffof mukofot, MLOps intizomi va asta-sekin rollout. Shunday qilib, siz Net Revenue/LTVning o’sishini mas’uliyat va komplayens bo’yicha murosasiz olasiz.