Güçlendirme eğitimi

1) RL'nin iGaming'deki amacı ve yeri

• Oyun kataloğunun kişiselleştirilmesi (Slate-RL): Ekran/itme için bir dizi teklifin seçilmesi.
• Bonus/promosyon optimizasyonu: kötüye kullanım riskini dikkate alarak boyut/tip/zamanlama.
• RG/Retention'daki reaksiyonlar: ne zaman ve nasıl müdahale edileceği (yumuşak bildirimler/duraklatma/eskalasyon).
• İşlemler: dinamik limit yönetimi, destek kuyruklarının önceliklendirilmesi.
• Trafik ve tedarik: açık artırmalarda teklif verme, bütçe hızlandırma.

Neden sadece denetlenmiyor: Hedef değişken, optimal olarak biriktirilmesi gereken ve sadece tahmin edilmeyen uzun vadeli bir ödüldür (LTV, refah, risk azaltma).

2) Temel ifadeler

Durum (s_t): oyuncu profili, oturum bağlamı, piyasa kısıtlamaları.
Eylem (a_t): teklif, oyun seçimi (kayrak), RG tetikleyici, teklif veren bahis.
Ödül (r_t): karışık metrik (gelir - RG/AML cezaları - değer).

3) Yöntem aileleri

3. 1 Haydutlar (vatansız)

Çok Kollu Haydut: (\epsilon) -greedy, UCB, Thompson Örnekleme.
Bağlamsal haydutlar: Oyuncu/oturum özelliklerini göz önünde bulundurun.
Arduvaz/Sıralama Haydutları: Teklif Seti Seçimi; konumsal etkileri ayarlayın.

3. 2 Tam RL

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - geniş alanlara dayanıklı.
Q-Learning/Deep Q-Networks: Ayrık Eylemler, Deneyim Arabelleği ile Çevrimdışı Öğrenme.
Muhafazakar/Çevrimdışı RL: CQL, BCQ, IQL - çevrimiçi sömürü olmadan günlüklerden öğrenin.

3. 3 Güvenli/Kısıtlı RL

Kısıtlı RL (CMDP): RG/AML/bütçe kısıtlamaları altında optimizasyon.
Riske Duyarlı: CVaR-RL, ceza şekillendirme, Lagrangian методы.

4) Ödül tasarımı (ödül şekillendirme)

• Gelir: Artan Net Gelir/LTV'ye katkı ("ham oranlar'değil).
• Sorumlu oyun: risk kalıpları için cezalar, sınırların aşılması, yorucu teşvikler.
• Uyum/AML: Güvenli olmayan etkinlik olasılığını artıran eylemler için cezalar.
• Deneyim kalitesi: CTR/CVR/oturum uzunluğu, ancak "aşırı ısınmayı" önlemek için kapak/ağırlık ile.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) Çevrimdışı eğitim ve değerlendirme (güvenlik anahtarı)

• IPS/DR: Öneri günlüklerinde Ters Eğilim Puanlaması/İki Kat Sağlam.
• Replay/Simulators: Özel/sağlayıcı yanıt modelleri ile simülatörler.
• Muhafazakar Düzenleme: Bu günlükleri desteklemek için çıkış cezası (CQL/IQL).
• Logger politikası: Doğru bir tahmin olması için gösterim olasılığını (eğilim) kaydedin.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) Bağlamsal Haydutlar: Hızlı Başlangıç

• Thompson Örnekleme (logit): Katsayılara göre posterior - eylem seçimi.
• UCB: Sıkı bütçeler ve güçlü sars için.
• Düzenlilik adalet/RG: Kabul edilemez eylemleri maskeler, gösterim sıklığını sınırlar.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (kit önerileri)

Hedef: Tüm setin ödülünü en üst düzeye çıkarmak (pozisyonları, kart rekabetini dikkate alarak).
Yöntemler: Listwise-bandits, slate-Q, çarpanlara ayırma ile politika gradyanı (Plackett-Luce).
Pozisyon düzeltme: pozisyona göre eğilim; Kabul edilebilir sınırlar içinde randomizasyon.

8) Güvenlik, RG/AML ve Uyumluluk

• Sert kısıtlamalar: toksik tekliflerin yasaklanması, frekans kısıtlamaları, "soğutma".
• Politika Koruması: Eylemi, çıkarımdan önce ve sonra RG/AML politikasına göre filtreleyin.
• İkili optimizasyon: Kısıtlamalar için Lagrange çarpanı (örneğin, "agresif" tekliflerin payı ≤ θ).
• Etik ve adil kullanım: proxy özelliklerini hariç tutun, denetimi etkileyin.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) Veri ve Hizmet Veren Mimari

Çevrimdışı döngü

Lakehouse: gösterim/tıklama/dönüşüm günlükleri, eğilimler, maliyet.
Özellik Deposu (çevrimdışı): Zaman içinde özellikler, doğru etiketler.

Eğitim: çevrimdışı RL (CQL/IQL) + simülatörleri; IPS/DR doğrulaması

Çevrimiçi/neredeyse gerçek zamanlı

Feechee: Hızlı pencereler (1-60 dakika), oyuncu/oturum işaretleri, limitler ve RG/AML maskeleri.
Servis: gRPC/REST, p95 50-150 ms (kişiselleştirme), kanarya yönlendirme.
Günlükler: 'policy _ id', 'propensity', 'slate', 'guard _ mask', gerçek sonucu kaydet.

10) Metrikler ve deneyler

Çevrimdışı: DR/IPS değerlendirme değeri, kapsama desteği, kaydediciden sapma.
Çevrimiçi: Net Gelir/LTV'ye artış, RG sinyalleri (müdahale süresi), kötüye kullanım oranı, TO/CVR/tutma.
Risk ölçümleri: CVaR, korkuluk ihlallerinin oranı, RG müdahalelerinin sıklığı.
Deneyler: Trafik kapatma ve "kill-switch'ile A/B/n, sıralı test.

11) Maliyet mühendisliği ve performans

Eylemlerin karmaşıklığı: Tekliflerin kayrak/alanının boyutunu sınırlıyoruz.
Özelliklerin/çözümlerin önbelleği: Popüler devletler için kısa TTL'ler.
Ayrışma: iki aşamalı (aday nesil - yeniden sıralama).
Programa göre çevrimdışı eğitim: günlük/haftalık yeniden eğitim; Online - sadece kolay adaptasyon (haydutlar).

12) Örnekler (fragmanlar)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) Süreçler, Roller ve RACI

R (Sorumlu): Veri Bilimi (RL modelleri/haydutlar), MLOps (platform/günlük kaydı/değerlendirme), Veri Müh (özellikler/simülatörler).
A (Sorumlu): Veri/CDO Başkanı.
C (Consulted): Uyumluluk/DPO (RG/AML/PII), Yasal (teklif şartları), Güvenlik (sırlar/KMS), SRE (SLO/değer), Ürün.
I (Bilgilendirilmiş): Pazarlama/CRM, Operasyonlar, Destek.

14) Uygulama Yol Haritası

1. RG/AML maskeleri ve eğilim günlüğü ile 1 teklif seçmek için bağlam haydut.

2. Çevrimdışı IPS/DR skoru, A/B (trafiğin %5-10'u), kill-switch ile sınırlıdır.

3. Panolar: değer (DR), TO/CVR, RG metrikleri, korkuluk ihlalleri.

• Arduvaz haydut (N = 3-5 kart), konumsal düzeltmeler; İki aşamalı aday - yeniden sıralama.
• Çevrimdışı RL (IQL/CQL) simülatörlü; Düzenli yeniden eğitim.
• Restricted-RL: agresiflik/frekans limitleri, ikili optimizasyon.

• Sıkı kapaklar ve denetimlerle RG müdahalesi (güvenli RL) politikaları.
• CVaR kısıtlamaları ile bütçe hızlandırma ve teklif verme (açık artırmalar).
• Bölgelerarası adaptasyon, çıkarım ve teklifler pahasına ters ibraz.

15) Satış öncesi kontrol listesi

• Günlükler 'policy _ id', 'eğilim', maskeler/kısıtlamalar, sonuçlar içerir.
• DR/IPS skoru stabil; Yeterli veri desteği (logger ile çakışma).
• Korkuluklar: engelleme listeleri, frekans sınırları, cooldown, kill-switch.
• RG/AML/Yasal kurallar üzerinde anlaştı; Denetim etkin (durumlar için WORM).
• Kanarya serbest bırakma ve trafik sınırları; İzleme değeri/RG/kötüye kullanımı.
• Ödül ve risk belgeleri; Politika kartı (sahibi, sürümü, SLA).
• Kontrol altındaki maliyet: gecikme p95, maliyet/istek, yuva boyutu, önbellek.

16) Anti-desenler

Koruma ve çevrimdışı değerlendirme olmadan çevrimiçi keşif.
Tıkla/bahis ödülü kötüye ve RG hariç - toksik politika.
Uygunluk eksikliği ve günlüklerle doğru nedensel değerlendirme.
Çok fazla eylem alanı, maske/kapak yok.
İkamet ve kuralları olmayan bölgeleri/yetki alanlarını karıştırmak.
Kill-switch ve kanaryaların yokluğu.

17) Alt satır

RL, iGaming platformuna, RG/AML/Legal ile uyumlu iken uzun vadeli değeri en üst düzeye çıkaran uyarlanabilir politikalar sunar. Güvenli uygulamanın anahtarı çevrimdışı/muhafazakar yöntemler, doğru nedensel değerlendirme (IPS/DR), sıkı korkuluklar, şeffaf ödül, MLOps disiplini ve kademeli kullanıma sunulmasıdır. Bu şekilde, sorumluluk ve uyumdan ödün vermeden Net Gelir/LTV büyümesi elde edersiniz.