MLOps: მოდელების ექსპლუატაცია

1) ოპერაციის როლი iGaming- ში

IGaming მოდელები გავლენას ახდენენ რეალურ ფულზე და მარეგულირებელზე: RG ჩარევა, ანტიფროდი, გადახდები, KYC, ლიმიტები, ოფერები და რეკომენდაციები. ექსპლუატაცია არის გარანტირებული SLO- ს, კვალიფიკაციისა და უსაფრთხოების პროგნოზების საიმედო მიწოდება.

• პროგნოზირებადი გამოშვებები და გამოტოვება სისუსტის გარეშე.
• მონაცემთა კოორდინაცია და ოფშორული/ონლაინ.
• დაკვირვება: ხარისხი, დრიფტი, პატიოსნება, კონფიდენციალურობა.
• TCO- ს შემცირება: პროდუქტიულობა, ქეში, GPU/CPU მიქსი.
• მოთხოვნების შესაბამისობა (აუდიტი/DSAR/Legal Hold/ეთიკა).

2) Serving არქიტექტურა

Batch (ოფლაინი): ღამის/საათობრივი მორიელები (ლიმიტები, სეგმენტები). დადებითი: იაფი, უფრო სტაბილური. უარყოფითი: არ არსებობს მყისიერი რეაქცია.
Stream (ნამდვილი დრო): მოვლენების დამუშავება (ფსონი, ანომალიები) ფანჯრებით 1-5 მმ.
ონლაინ (sync API): <100-300 ms p95 UX/რისკის გადაწყვეტილებებისთვის, ქეშირება და დეგრადაცია.
ჰიბრიდი: „baseline from batch + ონლაინ განმარტება“ (მაგალითი: RG რისკი 7 დღეში + სესიის ონლაინ გამომწვევი).

• Ensemble/Stacking მსუბუქი „კარიბჭის მოდელით“ კრიტიკულ გზაზე.
• Fallback Eurica- ს მოდელის/fich- ის ჩავარდნის დროს.
• Circuit Breaker და rate limiting მწვერვალებზე ან პროვაიდერების დეგრადაციის დროს.

3) მოდელების რეესტრი და ვერსიების მართვა

Model Registry: ვერსიები, მფლობელები, გამოშვების თარიღი, მეტრიკა (AUC/PR, კალიბრაცია), dataset _ version, feature _ set _ version, გამოყენების შეზღუდვები.
მოდელის ბარათი (მოდელის ბარათი): დავალება, მონაცემები/ფიჩები, fairness/კერძო განყოფილება, რისკის ზონა, შურისძიების სიხშირე.
გამოშვების პოლიტიკა: 'MAJOR. MINOR. PATCH '+ სავალდებულო rollback გეგმა.
Champion-Challenger: პარალელური გამოწვევა challenger ანგარიშებით; ავტომატური ზრდა კრიტერიუმების შესრულებისას.

4) ონლაინ ფიჩები და კოორდინაცია

Feature Store: offline (ტრენინგი) და ონლაინ (ინვესტიცია) ფანჯრები მკაცრი კონტრაქტებით.
ტრენინგის დროს მოგზაურობის დრო და წერტილის დრო.
Idempotent apdates fick და დაცვა target გაჟონვისგან.
კოორდინაცია: „read-your-writes“ ან SLA მიწოდების გარანტიები (მაგალითად, 60 წამი).
ნიშნების პოლიტიკა: allow/deny ფურცლები, შენიღბვა, ტოქსიკაცია, მარიონეტული PII აკრძალვა.

5) გამოშვების სტრატეგიები

Shadow: მთელი დატვირთვა და ჩემპიონი; ჩელენჯერი იღებს მოთხოვნის ასლს, პასუხები გავლენას არ ახდენს ბიზნესზე.
Canary: 1-10% ტრაფიკი - ახალი ვერსია; შედარება KPI/მეტრიკი, მანქანის გადახრა ბარიერების გასწვრივ.
Blue-Green: სერვერის/endpoint- ის ორი აუზი; DNS/მარშრუტის გადართვა.
დროშები: თხელი კონფიგურაცია ბაზრებზე/ტენანტებზე/არხებზე.

6) დაკვირვება და ალერტინგი

• საიმედოობა: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• მონაცემები/ფიჩები: სიახლე, სისრულე, განაწილება, ანომალიები, გამოტოვება, schema drift.
• ხარისხი: კალიბრაცია, post-fact მეტრიკა (AUC/PR, uplift), ინტერვენციების პასუხი.
• დრიფი: შესასვლელებში (PSI/KS) და გასასვლელებში (score drift).
• ეთიკა/სამართლიანობა: EO/EOp-delta, disparate impact.
• კონფიდენციალურობა: Attack-AUC (membership/ინვერსია) - 0. 5, -usage (თუ DP).
• ბიზნესი: chargeback, RG ჩარევა, ოფისის კონვერტაცია - სეგმენტების დაშლით.

• p95 latency - 200 ms (ონლაინ სკორინგი RG/ანტიფროდი).
• Error rate ≤ 0. 1% 5 წუთი საშუალო.
• Drift PSI ≤ 0. 2 საკვანძო წერტილებზე; EOp დელტა 3 პროცენტული პუნქტით.
• Freshness fich 60 წამი; გამოტოვეთ 0. 5%.
• ACE კალიბრაცია 0. 02.

7) ინციდენტები და ფლეიბუკები

Sev დონე: P1 (გადახდის ბლოკირება/RG შეცდომა), P2 (შეცდომების ზრდა> ბარიერი), P3 (ხარისხის დეგრადაცია).
ავტო მიტინგები: ჩემპიონზე გადასვლა, მოთხოვნის სიხშირის შემცირება, fallback წესების ჩართვა, „ტოქსიკური“ ფიგურების იზოლაცია.
Runbooks: ჩეკისტები „ფიჩისთვის მოძველებულია“, „დრიფტი გაიზარდა“, „შეიცვალა ფიდის ტიპიზაცია“, „GPU ამოიწურა“.
პოსტ-mortem: RCA, ფიქსის გეგმა, ტესტების/ბარიერების/კონტრაქტების განახლება.

8) ექსპერიმენტები და ცვლილებების კონტროლი

A/B და მრავალმხრივი ბანდიტი - მხოლოდ ძირითადი ჯგუფების (ქვეყანა/არხი/მოწყობილობა) სტრატიფიკაციით.
ეთიკური გაჩერების წესები: RG რისკის/საჩივრების მკვეთრი ზრდით.
ორმაგი ფანჯრის ფანჯარა და მოდელები გადართვამდე.
KPI და განმარტებების ვერსია (BI კონტრაქტი) შედეგების სტაბილური ინტერპრეტაციისთვის.

9) უსაფრთხოება და კონფიდენციალურობა გაყიდვაში

mTLS/TLS 1. 3, მოთხოვნის ხელმოწერა, ანტი-replay (nonce/idempotence).
საიდუმლოებები საიდუმლო მენეჯერისგან, JIT გამოცემა, აუდიტი.
შესასვლელი/ლოგების ტოქსიკაცია; აკრძალვა PII ტრასებზე.
TEE/კონფიდენციალური ინვესტიცია VIP გადახდებისთვის/AML (საჭიროების შემთხვევაში).
წვდომის პოლიტიკოსები (RBAC/ABAC/JIT) იხვები და ენდოინტები.
DSAR/Legal Hold: გადაწყვეტილებების მარშრუტი განმარტებისა და ამოღებისთვის.

10) პროდუქტიულობა და ღირებულება

ქეში (feature/score) TTL- ით, განსაკუთრებით სტაბილური სიგნალებისთვის.
აჩქარების რაოდენიზაცია/დისტილაცია (INT8/FP16).
ავტო სკეილინგი: ჰორიზონტალური QPS/latence, ვერტიკალური batch-size.
CPU/GPU ჰიბრიდი: კრიტიკული კრიტიკა GPU- ზე, „მასა“ CPU- ზე.
ცივი სტარტების კვალი, მოდელის დათბობა.
მოდელების აუზი და „sticky routing“ ბაზრებზე/ტენანტებში ქეშების ადგილისთვის.

11) კეისი iGaming (რეფერენდუმი)

RG Scoring: ონლაინ ესკიზი შესასვლელთან და სხდომაზე; მკაცრი overrides (თვითკონტროლი), სამიზნე მეტრიკა - EOp + კალიბრაცია.
ანტიფროდიული/გადახდები: წინასწარი ავტორიზაციის გადაწყვეტილებები <150 ms; EO კონტროლი FPR, robust სიგნალის აგრეგატორები.
KYC/AML: thin file მხარდაჭერა; PSI/MPC პარტნიორთან; DSAR თავსებადობა.
პერსონალიზაცია: uplift მოდელები და სიხშირის ლიმიტები; გამონაკლისი მაღალი რანგის აგრესიული ოფისებიდან.

12) მეტრიკა და SLO ოპერაცია (მაგალითი)

13) არტეფაქტების შაბლონები

13. 1 Release Notes (ესკიზი)

მოდელი: 'rg _ risk @ 2. 1. 0` (MINOR)

ცვლილებები: დაემატა fich 'loss _ streak _ 7d'; განახლებულია კალიბრაცია

ვალიდაცია: shadow 14 დღე; delta KPI ≤ 0. 3%; EOp დელტა ნორმალურია

Rollout: canary 10% EU → 50% → 100%

Rollback: დროშა 'rg. use_v1=true`

მფლობელი/თარიღი/პიკეტი

13. 2 მოდელის ბარათი (ფრაგმენტი)

ამოცანა: გადახდის ანტიფროზი

მონაცემები: 'payments _ gold v3. 2 ', სრული ნაკრები' payout _ signals v1. 7`

მეტრიკი: AUC = 0. 89, ACE=0. 015, FPR @ Oper. ბარიერი = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

შეზღუდვები: VIP კლიენტები - მხოლოდ ადამიანის მიმოხილვით

კონფიდენციალურობა: TEE ინვესტიცია; ლოგიკა PII გარეშე

შურისძიება: 90 დღეში ერთხელ

13. 3 SLO endpoint- ის პოლიტიკა (ფრაგმენტი)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook „Fichi მოძველებულია“

1. შეამოწმეთ lage Feature Store- ში და ფიდის წყარო.
2. გადართეთ სათადარიგო არხზე/ქეში.
3. შეამცირეთ ტრაფიკი/ჩართეთ fallback წესები.
4. კომუნიკაცია # ml-status; ინციდენტი P2/P1 SLA- სთვის.
5. RCA და კონტრაქტების/რეაგირების რედაქტირება.

14) განთავისუფლებამდე ტესტირების პროცესები

ფიჩის კონტრაქტები: schema/enum/nullable, SLA ახალი.
მონაცემები: DQ ტესტები, წერტილის დრო, მიზნობრივი გაჟონვა.
მოდელი: unit/integration, კალიბრაცია, სტრესი/დატვირთვა.
უსაფრთხოება: საიდუმლოებები, mTLS, Zero-PII ლოგოებში.
ეთიკა/კონფიდენციალურობა: fairness ჩეკი, attack-suite.
დაკვირვება: დაშბორდები/ალერტები, SLO კონფისკაცია.
დოკუმენტაცია: Release Notes + rollback გეგმა.

15) RACI (მაგალითი)

ML Lead (A/R): ხარისხი, გამოშვებები, მეტრიკა.
Data Platform (R): Feature Store, რეესტრი, ორკესტრი, დაკვირვება.
დომენის ომერები (R): წყაროების კონტრაქტები/fich.
უსაფრთხოება/DPO (A/R): წვდომა, კონფიდენციალურობა, ტოკენიზაცია, TEE.
SRE/SecOps (R): ინციდენტები, SLO, სკეიტი, SOAR.
Analytics/Finance (C): გავლენა KPI- ზე და მოხსენებებზე.
Suport/RG/Risk (C): human-in-loop და ახსნა.

16) გზის განხორციელების რუკა

0-30 დღე (MVP)

1. მოდელის რეგისტრი + ბარათები მაღალი იმპაქტისთვის მოდელებისთვის (RG/გადახდა/ანტიფროდი).
2. ძირითადი მონიტორინგი: latency, errors, freshness, drift შესასვლელი.
3. ახალი ვერსიების Shadow progons, canary contures.
4. კონტრაქტები Fick და Zero-PII საბადოებში.
5. Runbooks და არხი # ml-status.

30-90 დღე

1. Champion-Challenger და ავტომობილების გაზრდა კრიტერიუმების შესაბამისად.
2. Fairness/პირადი კარიბჭე CI/CD, attack-suite.
3. ქეშირება, ქვითარი, სკეიტი; SLO/ღირებულების ბიუჯეტი.
4. BI/ML კოორდინაცია KPI და ონლაინ მეტრიკა; დაშბორდები SLO.

3-6 თვე

1. რეგულარული პოსტ-mortems, კვარტალური მოდელები.
2. Geo/tenant იზოლაცია endpoints, გასაღებები და fich.
3. TEE/MPC პირადი გადახდის/AML ინვესტიციისთვის.
4. Release Notes- ის სრული ავტომატიზაცია ხაზისა და დიფისგან.
5. პროცესების გარე აუდიტი (სადაც საჭიროა ლიცენზია).

17) ანტი შაბლონები

გამოშვება shadow/canary და rollback გეგმის გარეშე.
არაკოორდინირებული ოფლაინ/ონლაინ ფიჩები არის დეგრადაცია.
ლოგოები PII- ით, ტოკენის პოლიტიკის ნაკლებობა.
„მარადიული“ ბარიერები გადასინჯვის გარეშე; დრიფტის და კალიბრაციის უგულებელყოფა.
Human-in-loop- ის არარსებობა მაღალი რანგის გადაწყვეტილებებისთვის.
ექსპერიმენტები სტრატიფიკაციისა და ეთიკური გაჩერების წესების გარეშე.

18) დაკავშირებული მონაკვეთები

DataOps პრაქტიკა, წვდომის კონტროლი, მონაცემთა ტოკენიზაცია, უსაფრთხოება და დაშიფვრა, აუდიტი და ვერსია, მიკერძოების შემცირება, კონფიდენციალური ML, ფედერალური ლეარინგი, მონაცემთა შენახვის პოლიტიკა, მონაცემთა წარმოშობა და გზა, მონაცემთა ეთიკა.

შედეგი

მოდელების ექსპლუატაცია არის საინჟინრო დისციპლინა წარმოების მომსახურების დონეზე: მკაფიო კონტრაქტები და ვერსიები, პროგნოზირებული გამოშვებები, 24/7 დაკვირვება, ეთიკის/კონფიდენციალურობის კონტროლირებადი რისკები და გამჭვირვალე გავლენა ბიზნესზე. ასე რომ, ML ხდება საიმედო პროდუქტი და არა „საუკეთესო სკრიპტი ლეპტოპში“.