გამაგრების სწავლება

1) iGaming- ში RL- ის დანიშვნა და ადგილი

• თამაშის კატალოგის პერსონალიზაცია (Slate-RL): ეკრანზე/ფუმფულა შეთავაზებების არჩევა.
• ბონუსების/პრომო ოპტიმიზაცია: ზომა/ტიპი/დრო, აბიუზის რისკის გათვალისწინებით.
• რეაქციები RG/Retention- ში: როდის და როგორ უნდა ჩაერიოს (რბილი ნოტიფიკაციები/პაუზა/ესკალაცია).
• ოპერაციები: ლიმიტების დინამიური მართვა, საპორტო რიგების პრიორიტეტი.
• ტრეფიკი და შესყიდვა: აუქციონში ბიდინგი, ბიუჯეტის პეიზაჟი.

რატომ არა მხოლოდ supervised: სამიზნე ცვლადი - გრძელვადიანი ჯილდო (LTV, wellbeing, რისკის შემცირება), რომელიც ოპტიმალურად უნდა დაგროვდეს და არა მხოლოდ პროგნოზირება.

2) ძირითადი ფორმულირება

მდგომარეობა (s _ t): მოთამაშის პროფილი, სესიის კონტექსტი, ბაზრის შეზღუდვები.
მოქმედება (a _ t): ოფი, თამაშის შერჩევა (slate), RG ტრიგერი, bidder ფსონი.
ჯილდო (r _ t): შერეული მეტრი (შემოსავალი - ჯარიმები RG/AML - ღირებულება).

3) მეთოდების ოჯახი

3. 1 ბანდიტები (სიმშვიდის გარეშე)

Multi-Armed Bandit: (\epsilon)-greedy, UCB, Thompson Sampling.
კონტექსტური ბანდიტები: გაითვალისწინეთ მოთამაშის/სესიის ნიშნები.
Slate/Ranking Bandits: წინადადებების არჩევა; პოზიციური ეფექტების კორექტირება.

3. 2 სრული RL

Policy Gradient/Actor-Critic: REINFORCE, A2C/A3C, PPO - მდგრადია დიდი სივრცეების მიმართ.
Q-Learning/Deep Q-Networks: დისკრეტული მოქმედებები, ოფლაინ ტრენინგი გამოცდილების ბუფერით.
Conservative/Offline RL: CQL, BCQ, IQL - სწავლობენ ლოგებს ონლაინ ექსპლოატაციის გარეშე.

3. 3 უსაფრთხო/შეზღუდული RL

Constrained RL (CMDP): ოპტიმიზაცია RG/AML/ბიუჯეტის შეზღუდვებისთვის.
Risk-Sensitive: CVaR-RL, penalty shaping, Lagrangian методы.

4) ჯილდოს დიზაინი

• შემოსავალი: ანაკლიის Net Revenue/LTV (და არა „ნედლეული განაკვეთები“) წვლილი.
• საპასუხისმგებლო თამაში: ჯარიმები რისკის ნიმუშებისთვის, ლიმიტების ჭარბი რაოდენობა, დამღლელი სტიმულები.
• შესაბამისობა/AML: ჯარიმები იმ ქმედებებისთვის, რომლებიც ზრდის სახიფათო საქმიანობის ალბათობას.
• გამოცდილების ხარისხი: CTR/CVR/სესიის სიგრძე, მაგრამ cap/weight- ით, რათა თავიდან იქნას აცილებული „გადახურება“.

python reward = w_revdelta_net_revenue \
- w_rgrg_risk_score \
- w_abusebonus_abuse_prob \
- w_costoffer_cost

5) ოფლაინ ტრენინგი და შეფასება (უსაფრთხოების გასაღები)

• IPS/DR: Inverse Propensity Scoring/Doubly Robust მრჩეველის ლოგოზე.
• Replay/Simulators: სიმულატორები მომხმარებლის/პროვაიდერის საპასუხო მოდელებით.
• Conservative Regularization: ჯარიმა ამ ლოგოების მხარდაჭერისთვის (CQL/IQL).
• Logger Logger: ჩვენ ვაწარმოებთ შოუს ალბათობას, რათა სწორი შეფასება იყოს.

python value_dr = np.mean(w_ips(r - q_hat) + v_hat) # w_ips = π(a    s)/μ(a    s)

6) კონტექსტური ბანდიტები: სწრაფი დასაწყისი

• Thompson Sampling (ლოგიტი): პოსტერი კოეფიციენტებით - მოქმედების არჩევანი.
• UCB: შეზღუდული ბიუჯეტისთვის და ძლიერი სარა.
• Fairness/RG რეგულირება: ჩვენ ნიღბავს მიუღებელ მოქმედებებს, ვზღუდავთ შოუს სიხშირეს.

python β ~ Posterior()         # выбор из апостериорного распределения scores = X @ β         # контекстные оценки actions = top_k(scores, k=slate_size, mask=policy_mask)

7) Slate-RL (კომპლექტის რეკომენდაციები)

მიზანი: ჯილდოს მაქსიმალური გამოყენება მთელი კომპლექტისთვის (პოზიციების აღრიცხვა, ბარათების კონკურენცია).
მეთოდები: Listwise-bandites, slate-Q, პოლიცია gradient ფაქტორიზაციით (Plackett-Luce).
პოზიციების კორექტირება: პოზიციების კორექტირება; რანდომიზაცია დასაშვებ საზღვრებში.

8) უსაფრთხოება, RG/AML და შესაბამისობა

• მკაცრი წესები: ტოქსიკური ოფისის აკრძალვა, სიხშირის შეზღუდვები, „გაგრილება“.
• Policy Shielding: ჩვენ ფილტრაციას ვაწარმოებთ RG/AML პოლიტიკას ინვესტიციის დაწყებამდე და მის შემდეგ.
• ორმაგი ოპტიმიზაცია: Lagrange multiplier შეზღუდვებისთვის (მაგალითად, „აგრესიული“ ოფისის წილი).
• ეთიკა და სამართლიანი მუსიკა: გამორიცხეთ მარიონეტული ფიჩები, გავლენის აუდიტი.

python a = policy.sample(s)
if not passes_guardrails(a, s):
a = safe_fallback(s) # правило/минимальный оффер

9) მონაცემთა არქიტექტურა და სერვინგი

ხაზის კონტური

Lakehouse: შოუს/დაწკაპუნების/კონვერტაციის, პროპენსიტის, cost.
Feature Store (offline): წერტილოვანი დროის ჩიპები, სწორი ეტიკეტები.
ტრენინგი: ოფლაინ RL (CQL/IQL) + სიმულატორები; სავალდებულო IPS/DR.

ონლაინ/ნამდვილი დრო

ფიჩი: სწრაფი ფანჯრები (1-60 წუთი), მოთამაშის/სესიის ნიშნები, RG/AML ლიმიტები და ნიღბები.
სერვინგი: gRPC/REST, p95 50-150 ms (პერსონალიზაცია), კანარის როუტინგი.
Logs: ჩვენ ვიცავთ 'policy _ id', 'propensity', 'slate', 'guard _ mask', ფაქტობრივი შედეგი.

10) მეტრიკა და ექსპერიმენტები

ოფლაინი: DR/IPS შეფასება value, coverage მხარდაჭერა, divergence loger- დან.
ონლაინ: Net Revenue/LTV, RG სიგნალები (დრო-ინტერვენცია), აბუსი, CTR/CVR/retention.
რისკის მეტრიკა: CVaR, guardrails დარღვევების წილი, RG ჩარევის სიხშირე.
ექსპერიმენტები: A/B/n ტრეფიკის კაპინგით და „kill-switch“, sequential-testing.

11) Cost ინჟინერია და პროდუქტიულობა

მოქმედების სირთულე: შეზღუდეთ ოფისის ზომა/სივრცე.
Kash fich/გადაწყვეტილებები: მოკლე TTL პოპულარული სახელმწიფოებისთვის.
დაშლა: ორმაგი ეტაპი (სტანდარტული თაობა - re-rank).
Offline ტრენინგი: ყოველდღიური/ყოველკვირეული retrain; ონლაინ - მხოლოდ მარტივი ადაპტაცია.

12) მაგალითები (ფრაგმენტები)

python for rollout in rollouts:
A = advantage(rollout, value_fn)
loss_policy  = -E[ clip_ratio(pi, old_pi) A ]
loss_value  = mse(V(s), R)
loss_safety  = λ relu(safety_metric - safety_cap)
loss_total  = loss_policy + c1loss_value + loss_safety + c2entropy(pi)
step_optimizer(loss_total)

python loss_cql = mse(Q(s,a), target) + α (E_{a~π}[Q(s,a)] - E_{a~D}[Q(s,a)])

python scores = model(x)           # предсказанные полезности scores[~allowed_mask] = -inf     # запретные действия a = argmax(scores) if rand()>eps else random_allowed()

13) პროცესები, როლები და RACI

R (Responsible): მონაცემთა მეცნიერება (მოდელები RL/ბანდიტები), MLOps (პლატფორმა/ლოჯისტიკა/შეფასება), Data Eng (ფიჩები/სიმულატორები).
A (Accountable): Head of Data / CDO.
C (Consulted): კომპლექსი/DPO (RG/AML/PII), იურიდიული (ოფშორული პირობები), უსაფრთხოება (საიდუმლოებები/KMS), SRE (SLO/ღირებულება), პროდუქტი.
I (ინფორმირებული): მარკეტინგი/CRM, ოპერაციები, მხარდაჭერა.

14) გზის განხორციელების რუკა

1. კონტექსტური ბანდიტი 1 ოფერის შესარჩევად RG/AML ნიღბებით და პროპენსიტის ლოჯარაციით.

2. Offline შეფასება IPS/DR, შეზღუდული A/B (5-10% ტრაფიკი), kill-switch.

3. დაშბორდები: value (DR), CTR/CVR, RG მეტრიკა, guardrails დარღვევები.

• Slate-bandit (N = 3-5 ბარათი), პოზიციური კორექტირება; two-stage candidate→re-rank.
• Offline RL (IQL/CQL) სიმულატორით; რეგულარული retrain.
• Constrained-RL: აგრესიული/სიხშირის ლიმიტები, ორმაგი ოპტიმიზაცია.

• RG ჩარევის პოლიტიკოსები (safe RL) მკაცრი caps- ით და აუდიტით.
• ბიუჯეტის პეიზაჟი და ბიდინგი (აუქციონი) CVaR შეზღუდვებით.
• ინტერრეგიონალური ადაპტაცია, chargeback ინფლექსისა და ოფისის ღირებულებით.

15) ჩეკის სია გაყიდვამდე

• logs შეიცავს 'policy _ id', 'propensity', ნიღბები/შეზღუდვები, შედეგები.
• DR/IPS შეფასება სტაბილურია; მონაცემთა მხარდაჭერა საკმარისია (overlap logerlap).
• Guardrails: აკრძალვების სიები, სიხშირის ლიმიტები, cooldown, kill-switch.
• RG/AML/Legal შეთანხმდნენ წესებზე; აუდიტი შედის (WORM შემთხვევებისთვის).
• კანარის გამოშვება და ტრეფიკის შეზღუდვები; Value/RG/abuse- ის მონიტორინგი.
• ჯილდოსა და რისკების დოკუმენტაცია; პოლიტიკის ბარათი (owner, ვერსია, SLA).
• ღირებულება კონტროლდება: latency p95, cost/request, slate ზომა, ქეში.

16) ანტი შაბლონები

ონლაინ გაფართოება დაცვისა და ოფლაინ შეფასების გარეშე.
„დაწკაპუნების/განაკვეთების“ ჯილდო, აბიუზისა და RG- ის გამოკლებით, ტოქსიკური პოლიტიკაა.
პროპენსიტის არარსებობა და სწორი causal შეფასებები ლოგებზე.
მოქმედების ძალიან დიდი სივრცე, არ არსებობს ნიღბები/კაპინგი.
რეგიონების/იურისდიქციების შერევა რეზიდენციისა და წესების გარეშე.
კილ-სვიტჩისა და კანარის არარსებობა.

17) შედეგი

RL აძლევს ადაპტირებულ პოლიტიკოსებს iGaming პლატფორმას, რომლებიც მაქსიმუმს აკეთებენ გრძელვადიან ღირებულებას RG/AML/Legal- ის შესაბამისად. უსაფრთხო განხორციელების გასაღებია ოფლაინ/კონსერვატიული მეთოდები, სწორი კაუზალის შეფასება (IPS/DR), მკაცრი guardrails, გამჭვირვალე ჯილდო, MLOps დისციპლინა და თანდათანობითი rollout. ასე რომ, თქვენ მიიღებთ Net Revenue/LTV- ს ზრდას პასუხისმგებლობისა და შესაბამისობის კომპრომისების გარეშე.