მოდელების დრიფტი და მონაცემთა განახლება

1) რატომ არის მნიშვნელოვანი

IGaming- ში სწრაფად იცვლება ტრაფიკის, გადახდებისა და თამაშის ქცევის განაწილება (სეზონური, პროვაიდერები, აქციები, მარეგულირებელი წესები). დრიფტის სისტემის კონტროლის გარეშე, გაფართოებული შეცდომები იზრდება: ზარალი Net Revenue- ში, ყალბი RG/AML ჩარევა, პრემიების აბუზის ზრდა. მიზანია ადრეული დრიფტის აღმოჩენა, მიზეზის დიაგნოზი, მონაცემების და მოდელების უსაფრთხოდ განახლება.

2) დრიფტის ტაქსონომია (რომელსაც შეუძლია „ბანაობა“)

Covariate drift (X): შეიცვალა ფიჩები (მაგალითად, მობილური/ASN წილი, პროვაიდერების მიქსი).
Label/Outcome drift (Y): შეიცვალა ღონისძიების ბაზა (chargeback-rate, click/convert-rate).

3) სიგნალები და ბარიერები (სახელმძღვანელო)

PSI (Population Stability Index): 0. 10–0. 20 გაფრთხილება,> 0. 20 - დრიფტის მოვლენა.
KL გამანადგურებელი/JS: ბარიერების ზრდა საკვანძო fich/skor- ში.
KS სკორებისთვის (ეტიკეტებით): CDF შეუსაბამობის ზრდა.
ECE (კალიბრაცია):> 0. 05 გაფრთხილება,> 0. 07 - მოქმედება.
Expected-cost @ threshold: ბაზის მოდელის ზრდა X% -ით.
Coverage და Missing-rate: საფარის ვარდნა <99%, ზრდა/timeout> ბარიერი.
Slice მეტრიკა: PR-AUC/ECE/Expected-cost ბაზრებზე/მოწყობილობებზე; დაცემის გამომწვევები> Y%.

ფანჯრის არჩევანი: დაუყოვნებლივ - 1.ch/6h/24h (მოცურების), საანგარიშო - D + 1/D + 7 (დაკავებული ეტიკეტების აღრიცხვა).

4) ფანჯრები და ეტიკეტები (შეფერხებები)

სწრაფი მარიონეტული ეტიკეტები: კლიშე, ანაბარი 7d, დასრულებული RG შემთხვევა - ადრეული შეფასებისთვის.
დაკავებული ეტიკეტები: chargeback (45-90d), churn/LTV - რეტროსპექტული სავალდებულოობისთვის და რეიდების/კალიბრაციის კორექტირებისთვის.
As-of დისციპლინა: არც ფინიში და არც ეტიკეტებში - „მოვლენები მომავალიდან“.

5) ძირითადი მიზეზების დიაგნოზი (RCA შემოწმების სია)

1. მონაცემები: PSI/KL საუკეთესო fichs, missing/lag, schema diffs, ახალი კატეგორიები.
2. წყარო: მომწოდებლების ალერტები (PSP/თამაშების პროვაიდერი), API/Timeout შეცდომები.
3. სეზონური/მოქმედებები: მისიების/ტურნირების პიკი, RTP/კატალოგის ცვლილებები.
4. რეგიონი/რეზიდენტობა: ბაზრის ტრაფიკის ცვლა, KYC/RG- ის ახალი წესები.
5. ტექნიკა: ჩიპების ქაშის დეგრადაცია, ნელი CDC, მცირე ზომის ფილმების ქარიშხალი.
6. საცნობარო წიგნები/გაცვლითი კურსები/კალენდარი: მოძველებულია? (FX/არდადეგები).
7. სამართლიანობა: ხარისხის მარცხი კონკრეტულ სლაისებში.

6) Playbook მოქმედებები დრიფტის დროს

6. 1 Covariate/Feature drift

სწრაფად: განაახლეთ კალიბრაცია (Platt/Isotonic D + 1), შეცვალეთ ბარიერი ექსპექტირებული-ფოსტით.
საშუალოვადიანი: ნაწილობრივი აღდგენა (სტაბილური დანაყოფები/ფანჯრები), TE/WOE განახლება Time-aware CV- ით.
გრძელვადიანი: retrain ახალი ნიმუშებით/ფანჯრებით, საჭიროების შემთხვევაში, გადახედეთ ფიგურის არქიტექტურას.

6. 2 Label/Outcome drift

გამოთვალეთ ბარიერები სუფთა ეტიკეტებზე (D + 1, D + 7), კალიბრის კალიბრი.
დაფიქსირდეს guardrails (შეზღუდეთ აგრესიული მოქმედებები სტაბილიზაციამდე).

6. 3 Concept drift

ბოლოდროინდელ მონაცემებზე ახალი ვერსიის Shadow ტრენინგი - სრული rollout.
განიხილეთ დომენის დაშლა (ინდივიდუალური მოდელები სეგმენტების/ბაზრების მიხედვით).

6. 4 Schema/Operational drift

ჩართეთ ორმაგი ჩანაწერი v1/v2 სქემები, ონლაინ/offline ეკვივალენტობის ტესტი.
შეაკეთეთ წყაროები, ჩართეთ ქეში/ფოლკლორი, აანაზღაუროთ ზურგჩანთა.

6. 5 Fairness drift

დროებითი სლაისი ბარიერები/კალიბრაცია, targeted retrain/rebalans fich, მარიონეტული ცვლადის აუდიტი.

6. 6 ესკალაცია

Kill-switch (guardrails breach) არის უსაფრთხო fallback/წინა ვერსია.
Rollback on- კლიკი 5xx/latency/expected-cost.

7) მონაცემთა განახლების პოლიტიკა

7. 1 ნიშნები და CDC

სტაბილური watermarks/log რეპლიკაცია; Idempotent MERGE/UPSERT.

7. 2 Backfill/Reprocessing

Backfill: დოგონი დიაპაზონში (კვოტებითა და ფანჯრებით).
რეპროდუქცია: გადაანგარიშება ლოგიკის შეცვლისას/შეცდომების გამოსწორებისას.
Метки: `logic_version`, `reprocessed_at`, `reason`; ანგარიში გავლენის შესახებ (მეტრიკა/ღირებულება).

7. 3 Time-travel/WORM

ACID ცხრილი (Delta/Iceberg/Hudi), WORM ანგარიშების/გამოცემების არქივები.
„როგორ მოხდა თარიღი“: მარეგულირებელი ანგარიშგების რეპროდუქცია.

7. 4 ცნობარი/FX/კალენდარი

ავტომობილების განახლებები, ხელმოწერა, ვერსიები და სიახლის გადამოწმება (SLO ლატვიასა და ხანაში).

8) მეტრიკი და ალერტა (მინიმალური ნაკრები)

მონაცემები: PSI/KL ტოპ ფინალში, მისიის დასკვნაში, feature-fetch latence.
ხარისხი: PR-AUC/KS (მარიონეტული ეტიკეტებით), ECE, expected-cost @ thr.
ოპერაციები: p95/p99 latency, 5xx, coverage, autoscaling, cost/request.
Fairness: სლაიდების პანელები (ბაზრები/მოწყობილობები/პროვაიდერები).
კონტრაქტები: schema-violations, online/offine equivalence test.

9) მოდელის განახლების პროცედურები

1. Shadow: ახალი მოდელი მოთხოვნის ასლებზე, შედარება latency/quality/cost.
2. Canary: 5-10% - 25%, 50% - 100% მწვანე SLO- სთან.
3. ბარიერი/კალიბრაცია: იმედი გვაქვს D + 1; ბარიერები - კონფისკაცია რეესტრში.
4. დოკუმენტაცია: მოდელის ბარათი (მონაცემები, ფანჯრები, მეტრიკა, რისკები, fairness).
5. არქივი: WORM გამოცემა (წონა, კალიბრაცია, ტესტის ჟურნალები, დრიფტის მოხსენებები).

10) მაგალითები (ფრაგმენტები)

10. 1 PSI SQL იდეებში (წინასწარ მომზადებულია bining)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 expected-cost- ის ბარიერის კორექტირება (ფსევდო კოდი)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 ონლაინ/ოფლაინ ფიშის ეკვივალენტი

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill შეზღუდული დატვირთვით (ორკესტრის იდეა)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) ტესტები და ცვლილებების კონტროლი

სქემების/fich კონტრაქტები: consumer-driven tests, ორმაგი ჩაწერა v1/v2.
რეგრესიული მეტრიკის ტესტები: არ გაუარესდეს PR-AUC/EUCE/Expected-cost დაშვების მიღმა.
ონლაინ/offline ეკვივალენტობის ტესტები: საცნობარო ნიმუშზე.
Chaos ტესტები: fich ქეშის უკმარისობა, წყაროების ტაიმაუტები, burst ტრაფიკი.

12) Fairness და შესაბამისობა

Slice მოხსენებები (disparate impact, equalized odds), slace ბარიერები/კალიბრაცია.
PII მინიმალიზაცია, რეზიდენცია (EEA/UK/BR), DSAR/RTBF, Legal Hold.
გადაწყვეტილებების აუდიტი: 'policy _ id', 'threshold', ინტერვენციის მიზეზები, WORM-logs.

13) ღირებულება და შესრულება

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
ოპტიმიზაცია: მძიმე ხაზოვანი ხაზის მატერიალიზაცია, ცხელი ფანჯრების ქეში, INT8/FP16 თანაბარი ხარისხით.
კვოტები: backfill/raples ლიმიტები, retrain ბიუჯეტი ბაზრებზე/გუნდებში.

14) RACI

R (Responsible): MLOps (მონიტორინგი/რეესტრი/გამონაყარი), Data Eng (მონაცემები/CDC/backfill/კონტრაქტები), Data Science (დიაგნოზი/კალიბრაცია/retrain/fairnest).
A (Accountable): Head of Data / CDO.
C (Consulted): კომპლექსი/DPO (PII/RG/AML/DSAR), უსაფრთხოება (KMS/აუდიტი), SRE (SLO/ღირებულება), Finance (ბიუჯეტები/ROI).
I (ინფორმირებული): პროდუქტი/მარკეტინგი/ოპერაციები/მხარდაჭერა.

15) გზის რუკა

1. PSI/KL ტოპ fices და score, ECE, Expected cost მარიონეტულ ეტიკეტებზე.

2. დაშბორდები coverage/missing/feature-lag, alerty და runbook '.

3. ჩანაწერების პროცედურები (D + 1) და რეიდები; Shadow გზა ახალი მოდელებისთვის.

4. სქემების/fich კონტრაქტები და ონლაინ/offline ეკვივალენტობის ტესტი.

• RCA პანელი, slice/fairness მონიტორინგი, backfill გეგმა კვოტებით.
• კალიბრაციის/რეიდების მანქანა, რეიდების სიმულატორი (what-if).
• WORM არქივი დრიფტისა და გამოშვებების შესახებ.

• ავტო-გამგზავრება დრიფტის მოვლენებზე (კანარეული), მრავალ რეგიონალური პოლიტიკა.
• Cost კვოტები/chargeback, chaos-/DR სავარჯიშოები, დოკუმენტაციის ავტოგენი.

16) ჩეკის სია გაყიდვამდე

• SLI/SLO და ალერტები მორგებულია (PSI/ECE/Expected-cost/coverage/latence/5xx).
• სქემების/ფიგურების კონტრაქტები და ორმაგი ჩაწერა v1/v2 მწვანეა.
• ჩანაწერების/თრეშოლდის განახლების პროცედურები დოკუმენტირებულია და ავტომატიზირებულია.
• შემოწმებულია Shadow/canary one-click rollback.
• Backfill/reprocessing კვოტებითა და ფანჯრებით - მზად არის; WORM არქივი ჩართულია.
• Slice/fairness პანელები და სეგმენტების მფლობელები დანიშნულია.
• პოლიტიკოსები PII/DSAR/RTBF/Legal Hold დაცულია; აუდიტი ჩართულია.
• ღირებულება კონტროლდება (cost/request, cost/feature), ქეში/TTL მორგებულია.

17) ანტი შაბლონები და რისკები

ჩვენ დავინახეთ მაღალი PSI - დაუყოვნებლივ ბრმა, RCA- ს და კალიბრაციის გარეშე.
არ არის გათვალისწინებული დაკავებული ეტიკეტები, ყალბი დასკვნები, ყოველდღე „ბარიერების ხერხი“.
ონლაინ/ოფისის ეკვივალენტობის ტესტის არარსებობა არის „ორმაგი რეალობა“.
Fairness- ის უგულებელყოფა: ბაზრების/მოწყობილობების წარუმატებლობა უხილავია.
Backfill კვოტების/ფანჯრების გარეშე - დარტყმა ღირებულებებზე და SLA.
ბარიერი დაფიქსირდა „სამუდამოდ“. სეზონური სეზონური ზრდის ზრდა.

18) შედეგი

დრიფტის კონტროლი არ არის ერთჯერადი retrain, არამედ პროცესი: დაკვირვება - დიაგნოზი - მინიმალური სარისკო მოქმედება (კალიბრაცია/ბარიერი) - უსაფრთხო retrain/რეფიცირება და ღირებულებისა და აუდიტის კონტროლი. ასეთი დისციპლინით, მოდელები რჩება ზუსტი, ეთიკური და კომპოზიციური, მაშინაც კი, როდესაც იცვლება მოთამაშეთა, პროვაიდერების და ბაზრის ქცევა.