Нығайту арқылы оқыту

1) iGaming-дегі RL мақсаты мен орны

• Ойын каталогын (Slate-RL) дербестендіру: экран/пушка үшін ұсыныстар жиынтығын таңдау.
• Бонустарды/промо оңтайландыру: абьюз тәуекелін ескере отырып, мөлшері/түрі/тайминг.
• RG/Retention реакциялары: қашан және қалай араласу керек (жұмсақ нотификациялар/үзіліс/үдету).
• Операциялар: лимиттерді динамикалық басқару, саппорт кезегіне басымдық беру.
• Трафик және сатып алу: аукциондардағы биддинг, бюджет-пейсинг.

Неге тек supervised емес: мақсатты айнымалы - ұзақ мерзімді марапат (LTV, wellbeing, тәуекелді азайту), оны жай ғана болжау емес, оңтайлы жинақтау керек.

2) Базалық тұжырым

Жай-күйі (s_t): ойыншының бейіні, сессияның контексті, нарықты шектеу.
Әрекет (a_t): оффер, ойындарды іріктеу (slate), RG триггері, биддер ставкасы.
Награда (r_t): аралас метрика (кіріс - RG/AML айыппұлдары - құны).

3) Әдістердің отбасылары

3. 1 Бандиттер (жай-күйі жоқ)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
Контекст бандиттері: ойыншының/сессияның белгілерін ескереді.
Slate/Ranking Bandits: ұсыныстар жиынтығын таңдау; позициялық әсерлерді түзетеміз.

3. 2 Толыққанды RL

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - үлкен кеңістіктерге төзімді.
Q-Learning/Deep Q-Networks: дискретті әрекеттер, тәжірибе буферімен офлайн-оқыту.
Conservative/Offline RL: CQL, BCQ, IQL - онлайн-пайдаланусыз логтар бойынша оқиды.

3. 3 Қауіпсіз/шектелген RL

Constrained RL (CMDP): RG/AML/бюджет бойынша шектеулер кезінде оңтайландыру.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) Марапаттың дизайны (reward shaping)

• Кіріс: инкременттік Net Revenue/LTV салымы («шикі ставкалар» емес).
• Жауапты ойын: тәуекел-паттерндер үшін айыппұлдар, лимиттерден асып кету, ынталандыруды шаршату.
• Комплаенс/AML: қауіпсіз емес белсенділік ықтималдығын арттыратын әрекеттер үшін айыппұлдар.
• Тәжірибе сапасы: CTR/CVR/сессия ұзындығы, бірақ «қызып кетуді» болдырмау үшін cap/weight.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Оффлайн оқыту және бағалау (қауіпсіздік кілті)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust ұсынушының логында.
• Replay/Simulators: пайдаланушы/провайдер жауап беру үлгілері бар симуляторлар.
• Conservative Regularization: осы логтарды қолдағаны үшін айыппұл (CQL/IQL).
• Логгер-саясат: дұрыс бағалау үшін көрсеткіштердің ықтималдығын (propensity) логикалаймыз.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Контекст бандиттері: жылдам бастау

• Thompson Sampling (логит): posterior коэффициенттер бойынша → әрекетті таңдау.
• UCB: шектеулі бюджеттер мен күшті сар 'тар үшін.
• fairness/RG жүйелендіру: жарамсыз әрекеттерді жасырып, көрсету жиілігін шектейміз.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (жиынтық ұсынымдары)

Мақсаты: барлық жиынтық наградасын барынша арттыру (позицияларды, карточкалар бәсекелестігін есепке алу).
Әдістер: Listwise-бандиттер, slate-Q, факторизациялы policy gradient (Plackett-Luce).
Позицияларды түзету: позициялар бойынша propensity; рұқсат етілген шектердің ішіндегі рандомизация.

8) Қауіпсіздік, RG/AML және комплаенс

• Қатаң ережелер (hard constraints): уытты оффераларға тыйым салу, жиілік шектеулері, «салқындату».
• Policy Shielding: әрекетті RG/AML саясатымен инференске дейін және одан кейін сүзу.
• Екі жақты оңтайландыру: шектеулер үшін Lagrange multiplier (мысалы, «агрессивті» офферлер ≤ θ үлесі).
• Этика және fair-use: прокси-фичтерді, ықпал ету аудитін жоққа шығарамыз.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Деректер және сервинг архитектурасы

Офлайн контур

Lakehouse: көрсету/басу/конверсия логтары, пропенсити, cost.
Feature Store (offline): point-in-time фичтері, дұрыс лейблдер.
Тренинг: offline RL (CQL/IQL) + симуляторлар; IPS/DR валидациясы.

Онлайн/near-real-time

Фичтер: жылдам терезелер (1-60 мин), ойыншы/сессия белгілері, лимиттер және RG/AML маскалары.
Сервинг: gRPC/REST, p95 50-150 мс (дербестендіру), канареялық роутинг.
Логи: 'policy _ id', 'propensity', 'slate', 'guard _ mask', нақты нәтижені сақтаймыз.

10) Метрика және эксперимент

Оффлайн: DR/IPS-бағалау value, coverage қолдау, логерден divergence.
Онлайн: Net Revenue/LTV инкремент, RG-сигналдар (time-to-intervene), abuse-rate, CTR/CVR/retention.
Тәуекел-метрика: CVaR, guardrails бұзушылықтарының үлесі, RG интервенция жиілігі.
Эксперименттер: A/B/n трафик каппингімен және «kill-switch», sequential-testing.

11) Cost-инжиниринг және өнімділік

Әрекеттердің күрделілігі: слейттің өлшемін/оффердің кеңістігін шектейміз.
Кэш фич/шешімдер: Танымал күйге арналған қысқа TTL.
Декомпозиция: two-stage (candidate generation → re-rank).
Кесте бойынша офлайн-оқыту: күнделікті/апталық retrain; онлайн - жеңіл бейімделу (bandits).

12) Мысалдар (фрагменттер)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Процестер, рөлдер және RACI

R (Responsible): Data Science (RL модельдері/бандиттер), MLOps (платформа/логизация/бағалау), Data Eng (фичи/симуляторлар).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (RG/AML/PII), Legal (офферлер шарттары), Security (құпиялар/KMS), SRE (SLO/құны), Product.
I (Informed): Маркетинг/CRM, Операциялар, Қолдау.

14) Енгізу жол картасы

1. RG/AML бетпердесі және пропенситті логы бар 1 офферді таңдау үшін контекстік бандит.

2. IPS/DR оффлайн бағалау, A/B шектелген (трафиктің 5-10%), kill-switch.

3. Дашбордтар: value (DR), CTR/CVR, RG-метриктер, guardrails бұзушылықтары.

• Slate-бандит (N = 3-5 карточка), позициялық түзетулер; two-stage candidate→re-rank.
• Симуляторы бар Offline RL (IQL/CQL); тұрақты retrain.
• Constrained-RL: агрессивтілік/жиілік лимиттері, дуальды оңтайландыру.

• Қатаң caps және аудитпен RG-интервенция (safe RL) саясаты.
• CVaR шектеулері бар бюджет-пейсинг және биддинг (аукциондар).
• Аймақаралық бейімделу, инференс пен оффералардың құны бойынша chargeback.

15) Азық-түлік алдындағы чек-парағы

• Логтарда 'policy _ id', 'propensity', маскалар/шектеулер, аяқталулар бар.
• DR/IPS-бағалау тұрақты; деректерді жеткілікті қолдау (логері бар overlap).
• Guardrails: тыйым салу тізімдері, жиілік лимиттері, cooldown, kill-switch.
• RG/AML/Legal ережелерді келісті; аудит қосылды (кейстер үшін WORM).
• Канареялық релиз және трафик лимиттері; value/RG/abuse мониторингі.
• Наградалар мен тәуекелдердің құжаттамасы; саясат карточкасы (owner, нұсқа, SLA).
• Бақылаудағы құн: latency p95, cost/request, слейт өлшемі, кэш.

16) Қарсы үлгілер

Қорғаусыз және оффлайн бағалаусыз онлайн-эксплор.
Абьюз және RG → уытты саясаты ескерілмеген «басу/мөлшерлеме» марапаты.
Логтар бойынша пропенситаның және дұрыс causal-бағалаудың болмауы.
Әрекет кеңістігі тым үлкен, маскалар/каппинг жоқ.
Өңірлерді/юрисдикцияларды резиденттігі мен ережесінсіз араластыру.
kill-switch және канарейка болмауы.

17) Жиынтық

RL iGaming платформасына RG/AML/Legal-ді сақтай отырып, ұзақ мерзімді құндылықты арттыратын бейімделген саясат береді. Қауіпсіз енгізудің кілті - offline/консервативті әдістер, дұрыс causal-бағалау (IPS/DR), қатаң guardrails, мөлдір марапат, MLOps тәртібі және біртіндеп rollout. Осылайша сіз Net Revenue/LTV өсімін жауапкершілік пен комплаенс бойынша ымырасыз аласыз.