MLOps: модельдерді пайдалану

1) iGaming пайдалану рөлі

iGaming модельдері нақты ақша мен реттеушіге әсер етеді: RG-интервенциялар, антифрод, төлемдер, KYC, лимиттер, офферлер және ұсынымдар. Пайдалану - бұл кепілдік берілген SLO, қадағалануы және қауіпсіздігі бар болжамдарды сенімді беру.

• Болжамды релиздер және бос тұрып қалу.
• Деректердің үйлесімділігі және fich offline/online.
• Бақылау қабілеті: сапасы, дрейфі, адалдығы, жекешелігі.
• TCO төмендеуі: өнімділік, кэш, GPU/CPU аралас.
• Талаптарға сәйкестігі (аудит/DSAR/Legal Hold/этика).

2) Сервинг сәулеті

Batch (офлайн): түнгі/сағаттық скорингтер (лимиттер, сегменттер). Артықшылықтары: арзан, тұрақты. Минустар: жылдам реакция жоқ.
Stream (near-real-time): 1-5 минут терезелері бар оқиғаларды (ставкалар, аномалиялар) өңдеу.
Online (sync API): <100-300 мс p95 UX/тәуекел-шешімдер, кэштеу және тозу үшін.
Гибрид: «baseline из batch + онлайн-нақтылау» (мысалы: RG-тәуекел 7 күн + онлайн-триггерлер сессия).

• Сыни жолда жеңіл «гейт-моделі» бар Ensemble/Stacking.
• Fallback-эвристика үлгісі істен шыққан кезде/фич.
• Circuit Breaker және rate limiting ең жоғары немесе провайдерлер деградациясы кезінде.

3) Модельдер тізілімі және нұсқаларды басқару

Model Registry: нұсқалар, иелері, шығарылған күні, өлшемдері (AUC/PR, калибрлеу), dataset_version, feature_set_version, пайдалану шектеулері.
Модель карточкасы (Model Card): міндет, деректер/фич, fairness/privacy-бөлім, тәуекел-аймақ, қызу жиілік.
Релиздер саясаты: 'MAJOR. MINOR. PATCH '+ міндетті rollback-жоспары.
Champion-Challenger: есептер бар challenger параллельді жүгіру; критерийлерді орындау кезінде автоматты түрде жоғарылату.

4) Онлайн-фич және келісім

Feature Store: offline (оқыту) және online (инференс) қатаң келісімшарттары бар витриналар.
Оқу кезінде Time travel және point-in-time join.
Идемпотенттік апдейттер фич және таргеттің ағуынан қорғау.
Келісу: «read-your-writes» немесе SLA жеткізу кепілдіктері (мысалы, 60 сек ≤).
Белгілер саясаты: allow/deny-парақтар, бүркемелеу, токенизациялау, прокси-PII тыйым салу.

5) Релиздер стратегиялары

Shadow: барлық жүктеме → champion; challenger сұраулардың көшірмесін алады, жауаптар бизнеске әсер етпейді.
Canary: 1-10% трафик → жаңа нұсқасы; KPI/метриктерді салыстыру, табалдырықтар бойынша авто-кері қайту.
Blue-Green: екі сервер/эндпоинт пулы; DNS/бағытын ауыстырып қосу.
Жалаулар: базарлар/тенанттар/арналар бойынша жіңішке күйге келтіру.

6) Бақылау және алертинг

• Сенімділік: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• Деректер/фичтер: жаңалық, толымдылық, бөлу, ауытқулар, рұқсатнамалар, schema drift.
• Сапасы: калибрлеу, постфактикалық метрика (AUC/PR, uplift), интервенция жауабы.
• Дрейф: кіру (PSI/KS) және шығу (score drift).
• Этика/әділеттілік: EO/EOp-дельта, disparate impact.
• Жекелік: Attack-AUC (membership/inversion) ≈ 0. 5. ε -usage (егер DP).
• Бизнес: chargeback, RG-интервенциялар, офферлер конверсиясы - сегменттер бойынша ыдыраумен.

• p95 latency ≤ 200 мс (онлайн-скоринг RG/антифрод).
• Error rate ≤ 0. 1% 5-мин. орташа.
• Drift PSI ≤ 0. 2 негізгі фичтер бойынша; EOp-дельта ≤ 3 п.т.
• Freshness фич ≤ 60 сек; жіберу ≤ 0. 5%.
• ACE ≤ 0 калибрлеу. 02.

7) Инциденттер мен плейбуктер

Sev деңгейлері: P1 (төлемдерді бұғаттау/RG қатесі), P2 (қателерді өсіру> табалдырық), P3 (сапаны төмендету).
Авто-митигациялар: champion-ға ауысу, сұрау жиілігін төмендету, fallback-ережелерді қосу, «уытты» фичтерді оқшаулау.
Runbooks: «фичи ескірді», «дрейф өсті», «фид типтеуі өзгерді», «GPU таусылды» деген чектлистер.
Пост-мортем: RCA, фикс-жоспар, тестілерді/шектерді/келісімшарттарды жаңарту.

8) Эксперименттер және өзгерістерді бақылау

A/B және multi-armed bandit - тек негізгі топтар бойынша стратификациялаумен (ел/арна/құрылғы).
Этикалық тоқтату ережелері: RG-тәуекелдің/шағымдардың күрт өсуі кезінде.
Dual-run витриналар фич және модельдерді ауыстыру алдында.
Нәтижелерді тұрақты түсіндіру үшін KPI және анықтамаларды (BI contract) нұсқалау.

9) Азық-түліктегі қауіпсіздік және құпиялылық

mTLS/TLS 1. 3, сұрау қолы, anti-replay (nonce/idempotency).
Secrets Manager, JIT-беру, аудит құпиялары.
Кіру/логтарды токенизациялау; трассаларда PII тыйым салу.
ТЕЕ/VIP-төлемдер/AML үшін құпия инференс (қажеттілігіне қарай).
Фичтер мен эндпоинттерге қол жеткізу саясаты (RBAC/ABAC/JIT).
DSAR/Legal Hold: түсіндіру және токен бойынша жою шешімдерінің жолы.

10) Өнімділік және құн

Әсіресе тұрақты сигналдар үшін TTL бар кэш (feature/score).
Жеделдету үшін квантизация/дистилляция (INT8/FP16).
Автоскейлинг: QPS/latency бойынша көлденең, batch-size бойынша тік.
CPU/GPU гибриді: latency-критикалық GPU, «масса» CPU.
Суық старттарды трассалау, үлгіні қыздыру.
Модельдер пулы және кэш-локальдығы үшін нарықтар/тенанттар бойынша «sticky routing».

11) iGaming кейстері (референциялар)

RG-скоринг: сессияға кіргенде және сессияда онлайн-скоринг; қатаң overrides (өзін-өзі жою), мақсатты метрика - EOp + калибрлеу.
Антифрод/төлемдер: алдын ала-авторизациялық шешімдер <150 мс; EO-бақылау FPR, robust-сигнал агрегаторлары.
KYC/AML: thin-file қолдау; серіктесі бар PSI/MPC; DSAR сыйысымдылығы.
Дербестендіру: uplift-модельдер және жиілік лимиттері; агрессивті офферлерден high-тәуекелді алып тастау.

12) Пайдалану өлшемдері мен SLO (мысал)

13) Артефактілердің үлгілері

13. 1 Release Notes (нобай)

Моделі: 'rg _ risk @ 2. 1. 0` (MINOR)

Өзгерістер: қосылған 'loss _ streak _ 7d'; калибрлеу жаңартылды

Валидация: shadow 14 күн; delta KPI ≤ 0. 3%; EOp-дельта қалыпты

Rollout: canary 10% EU → 50% → 100%

Rollback: rg жалаушасы. use_v1=true`

Иесі/күні/тегі

13. 2 Модель карточкасы (фрагмент)

Міндет: төлемдердің антифроды

Деректер: 'payments _ gold v3. 2 ', фич-сет' payout _ signals v1. 7`

Өлшемдері: AUC = 0. 89, ACE=0. 015. FPR @опер. шек = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

Шектеулер: VIP клиенттер - тек human-review

Құпиялылық: TEE-инференс; PII жоқ логин жасау

Ревью: 90 күнде бір рет

13. 3 SLO эндпоинт саясаты (фрагмент)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook «Фичтер ескірген»

1. Feature Store бағдарламасындағы лагты және фид көзін тексеру.
2. Қосымша арнаға/кэшке ауысу.
3. Трафикті азайту/fallback ережелерін қосу.
4. -status #ml коммуникация; оқиға SLA бойынша P2/P1.
5. RCA және келісімшарттарды/ретрайларды түзету.

14) Шығару алдындағы тестілеу процестері

Келісім-шарттар фич: schema/enum/nullable, SLA свежести.
Деректер: DQ-тесттер, point-in-time, таргеттің ағуы.
Модель: unit/integration, калибрлеу, стресс/жүктеме.
Қауіпсіздік: құпиялар, mTLS, Zero-PII.
Этика/құпиялылық: fairness-чек, attack-suite.
Байқалу: дашборд/алерта, SLO конфиги.
Құжаттама: Release Notes + rollback-жоспары.

15) RACI (мысал)

ML Lead (A/R): сапа, релиздер, метрика.
Data Platform (R): Feature Store, тіркелім, оркестрлеу, бақылау.
Domain Owners (R): дереккөздер/фич.
Security/DPO (A/R): қолжетімділік, жекелік, токенизация, TEE.
SRE/SecOps (R): оқиғалар, SLO, автоскейл, SOAR.
Analytics/Finance (C): KPI және есептерге әсері.
Support/RG/Risk (C): human-in-the-loop және түсініктілік.

16) Енгізу жол картасы

0-30 күн (MVP)

1. Model Registry + high-impact модельдеріне арналған карточкалар (RG/төлемдер/антифрод).
2. Негізгі мониторинг: latency, errors, freshness, drift кіру.
3. Жаңа нұсқалардың, canary-контурлардың көлеңкелері.
4. Келісімшарттар фич және Zero-PII логтарда.
5. Runbooks және #ml -status арнасы.

30-90 күн

1. Champion-Challenger және критерийлер бойынша авто-жоғарылату.
2. Fairness/privacy-гейттер CI/CD, attack-suite.
3. Кэштеу, кванталау, автоскейл; SLO/құны бюджеті.
4. BI/ML келісу KPI және online-метриктер; SLO дашбордтары.

3-6 ай

1. Тұрақты пост-мортемалар, тоқсандық реву модельдері.
2. Эндпоинттерді, кілттерді және фич.
3. Жеке төлем инференсы/AML үшін TEE/MPC.
4. Толық автоматтандыру Release Notes сызықтық және diff.
5. Процестердің сыртқы аудиті (лицензиямен талап етілетін).

17) Қарсы үлгілер

shadow/canary және rollback жоспарынсыз шығару.
Келісілмеген offline/online фича → деградация.
PII бар логтар, token-policy жоқ.
«Мәңгілік» табалдырықтар қайта қараусыз; дрейф және калибрлеу игноры.
High-risk шешімдері үшін human-in-the-loop-тың болмауы.
Стратификациясыз және этикалық стоп-ережесіз эксперименттер.

18) Байланысты бөлімдер

DataOps-практикалары, Қолжетімділікті бақылау, Деректерді токенизациялау, Қауіпсіздік және шифрлау, Аудит және нұсқалау, Бейімділікті төмендету, Құпия ML, Федералды оқыту, Деректерді сақтау саясаты, Деректердің шығу тегі және жолы, Деректер этикасы.

Жиынтығы

Модельдерді пайдалану - бұл продакшн-сервистер деңгейіндегі инженерлік тәртіп: нақты келісімшарттар мен нұсқалар, болжамды релиздер, 24/7 бақылануы, әдеп/жекеліктің басқарылатын тәуекелдері және бизнеске ашық әсер етуі. Осылайша, ML «ноутбуктегі ең жақсы скрипт» емес, сенімді өнім болады.