MLOps: моделдерди иштетүү

1) iGaming иштеп ролу

iGaming моделдер реалдуу акча жана жөнгө таасир этет: RG-кийлигишүү, antifrod, төлөмдөр, KYC, чектер, сунуштар жана сунуштар. Иштетүү - бул кепилденген SLO, көзөмөлдөө жана коопсуздук менен ишенимдүү алдын ала берүү.

• Алдын ала релиздер жана токтоосуз кайтаруулар.
• маалыматтардын шайкештиги жана phich offline/online.
• Байкоо: сапат, дрейф, чынчылдык, купуялуулук.
• TCO кыскартуу: аткаруу, кэш, GPU/CPU микс.
• талаптарга шайкештиги (аудит/DSAR/мыйзамдуу Hold/этика).

2) Архитектура Serving

Batch (оффлайн): түнкү/сааттык эсептери (лимиттер, сегменттер). Артыкчылыктары: арзан, туруктуу. кемчиликтери: эч кандай тез жооп.
Stream (near-real-time): 1-5 мүнөт терезелери менен иш-чараларды (коюм, аномалиялар) иштеп чыгуу.
Online (sync API): <100-300 ms p95 үчүн UX/тобокелдик чечимдер, кэш жана деградация.
Гибрид: "baseline from batch + онлайн тактоо" (мисалы: RG-тобокелдик 7 күн + онлайн триггерлер сессия).

• Ensemble/Stacking оор жолдо жарык "дарбазасы модели" менен.
• Fallback-evristics үлгү/fich иштебей жатканда.
• Circuit Breaker жана rate чеги же жөнөтүүчүлөр деградация менен.

3) Модель реестри жана версиясын башкаруу

Model Registry: версиялар, ээлери, чыгаруу датасы, метрика (AUC/PR, калибрлөө), dataset_version, feature_set_version, колдонуу чектөөлөрү.
Model Card (Model Card): тапшырма, маалыматтар/Fich, fairness/privacy-бөлүм, тобокелдик зонасы, күркүрөө жыштыгы.
Чыгаруу саясаты: 'MAJOR. MINOR. PATCH '+ милдеттүү rollback планы.
Champion-Challenger: отчеттор менен параллелдүү чуркоо challenger; критерийлерди аткарууда автоматтык түрдө жогорулатуу.

4) Онлайн чүчүкулак жана ырааттуулук

Feature Store: offline (окутуу) жана онлайн (inferens) катуу келишимдер менен дүкөндөр.
окутуу учурунда убакыт саякат жана пункту-in-time join.
Idempotent Апдейт сызык жана максаттуу агып коргоо.
ырааттуулук: кепилдик "read-your-writes" же SLA жеткирүү (мисалы, ≤ 60 сек).
Белгилердин саясаты: allow/deny-барактар, маскировка, токенизация, прокси-PII тыюу салуу.

5) Релиздер стратегиялары

Көлөкө: бардык жүк → champion; Чалленгер суроо-талаптардын көчүрмөсүн алат, жооптор бизнеске таасир этпейт.
Canary: 1-10% жол → жаңы версия; KPI/метрика салыштыруу, босоголор боюнча авто-артка.
Blue-Green: эки бассейн Server/EndPoint; DNS которуу/маршрут.
Желектер: рыноктор/тенанттар/каналдар боюнча кылдат орнотуу.

6) Байкоо жана Алертинг

• Ишенимдүүлүк: error rate, timeouts, p50/p95/p99 latency, QPS, saturation.
• Маалыматтар/сыныктар: сергектик, толуктугу, бөлүштүрүү, аномалиялар, өткөрмөлөр, схемасы drift.
• Сапаты: калибрлөө, post-fact метрика (AUC/PR, uplift), интервенция жооп.
• Дрейф: кире бериште (PSI/KS) жана чыга бериште (score drift).
• Этика/адилеттүүлүк: EO/EOp-Delta, disparate таасири.
• Купуялык: Кол салуу-AUC (membership/inversion) ≈ 0. 5, ε -usage (DP болсо).
• Бизнес: chargeback, RG-интервенциялар, офферлерди конверсиялоо - сегменттерге бөлүнүү менен.

• p95 latency ≤ 200 мс (онлайн эсеби RG/антифрод).
• Error rate ≤ 0. 1% 5-мин. орточо.
• Drift PSI ≤ 0. 2 негизги көрсөткүчтөр боюнча; EOp-дельта ≤ 3 п.п.
• Freshness fich ≤ 60 сек; өтүү ≤ 0. 5%.
• ACE калибрлөө ≤ 0. 02.

7) Окуялар жана Playbook

Sev-деңгээл: P1 (төлөмдөрдү бөгөттөө/ката RG), P2 (каталардын өсүшү> босого), P3 (сапаттын бузулушу).
Auto-mitigation: champion которуу, суроо-жыштыгын азайтуу, fallback эрежелерди киргизүү, "уулуу" fich изоляциялоо.
Runbooks: "Чичи эскирген", "дрейф өстү", "Фид типтештирүү өзгөрдү", "GPU түгөндү" үчүн чеклистер.
Post-Mortem: RCA, Fix-план, тесттерди/босоголорду/контракттарды жаңыртуу.

8) Эксперименттер жана өзгөрүүлөрдү көзөмөлдөө

A/B жана multi-armed bandit - негизги топтор боюнча стратификация менен гана (өлкө/канал/аппарат).
Этикалык токтоо эрежелери: RG тобокелдигинин/даттануулардын кескин өсүшү менен.
Dual-run vitrin fich жана моделдерди которууга чейин.
Натыйжаларды туруктуу чечмелөө үчүн KPI жана аныктамаларды версиялоо (BI contract).

9) Азык-түлүк коопсуздук жана купуялуулук

mTLS/TLS 1. 3, кол суроолор, анти-replay (nonce/idempotency).
Secrets Manager, JIT чыгаруу, аудит сырлары.
Кириштерди/логдорду токендештирүү; жолдорунда PII тыюу салуу.
TEE/VIP төлөмдөр/AML үчүн купуя inferens (зарыл).
Жеткиликтүүлүк саясаты (RBAC/ABAC/JIT) Phiches жана EndPoints.
DSAR/Legal Hold: түшүндүрмө жана токен менен алып салуу үчүн жолдор.

10) аткаруу жана наркы

Кэш (feature/score) менен TTL, өзгөчө туруктуу сигналдар үчүн.
Quantization/тездетүү үчүн дистилляция (INT8/FP16).
Autoscaling: горизонталдуу QPS/latency, тик batch-size.
Гибрид CPU/GPU: GPU боюнча latency-критикалык, CPU боюнча "масса".
Trace муздак баштоо, жылытуу модели.
Cache-locality үчүн базарлар/тенанттар боюнча моделдер жана "sticky routing".

11) iGaming учурларда (маалымдамалар)

RG-эсеби: кирүү жана сессияда онлайн эсеби; катуу overrides (өзүн-өзү жоюу), максаттуу метрика - EOp + калибрлөө.
Антифрод/төлөмдөр: алдын ала авторизациялоо чечимдери <150 мс; EO-контролдоо FPR, robust-сигналдар агрегаторлор.
KYC/AML: thin-file колдоо; өнөктөш менен PSI/MPC; DSAR шайкештиги.
Персоналдаштыруу: uplift моделдери жана жыштык лимиттери; агрессивдүү офферлерден жогорку тобокелдикти алып салуу.

12) Metrics жана SLO иштетүү (мисал)

13) Артефакттардын үлгүлөрү

13. 1 Release Notes (эскиз)

Модель: 'rg _ risk @ 2. 1. 0` (MINOR)

Өзгөртүүлөр: fich 'loss _ streak _ 7d'; калибрлөө жаңыланды

Validation: shadow 14 күн; delta KPI ≤ 0. 3%; EOp-дельта нормалдуу

Rollout: canary 10% EU → 50% → 100%

Rollback: байрак 'rg. use_v1=true`

Ээси/датасы/билети

13. 2 Карта модели (фрагмент)

Милдет: антифрод төлөмдөр

Маалыматтар: 'payments _ gold v3. 2 ', fich-set' payout _ signals v1. 7`

Метрика: AUC = 0. 89, ACE=0. 015, FPR @опер. босого = 1. 2%

Fairness: EO TPR/FPR Δ ≤ 2 п.п. по «country/method»

Чектөөлөр: VIP кардарлар - human-review менен гана

Купуялык: TEE-inference; PII жок Логин

Review: 90 күн сайын

13. 3 SLO End Point саясаты (фрагмент)

yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 55

13. 4 Runbook "Чихтер эскирген"

1. Feature дүкөнүндөгү лагды жана фид булагын текшерүү.
2. Кошумча каналга/кэшке өтүү.
3. Жол кыймылын азайтуу/fallback эрежелерин киргизүү.
4. -status #ml байланыш; окуя SLA боюнча P2/P1.
5. RCA жана түзөтүү келишимдери/retrains.

14) чыгаруу алдында сыноо жараяндары

fich келишимдер: schema/enum/nullable, SLA сергектик.
Маалыматтар: DQ-тесттер, пункту-жылы-убакыт, максаттуу агып.
Модель: unit/integration, калибрлөө, стресс/жүк.
Коопсуздук: сырлар, mTLS, нөл-PII логиндер.
Этика/купуялык: fairness-чек, кол-suite.
Байкоо: dashboard/alerty, SLO конфиги.
Документация: Release Notes + rollback планы.

15) RACI (мисал)

ML жол (A/R): сапаты, релиздер, метрика.
Data Platform (R): Feature Store, реестр, оркестр, байкоо.
Domain Owners (R): булактардын келишими/fich.
Security/DPO (A/R): жетүү, купуялык, tokenization, TEE.
SRE/SecOps (R): окуялар, SLO, Autoscale, SOAR.
Analytics/Finance (C): KPI жана отчетторго таасири.
Support/RG/Risk (C): human-in-the-loop жана түшүндүрүү.

16) Ишке ашыруунун жол картасы

0-30 күн (MVP)

1. Модель каттоо + жогорку таасирдүү моделдер үчүн карталар (RG/төлөмдөр/antifrod).
2. Негизги мониторинг: latency, errors, freshness, drift кирүү.
3. Shadow-прогондор жаңы версиялары, canary-контурлары.
4. Fich жана Zero-PII келишимдери логдордо.
5. Runbooks жана канал #ml -status.

30-90 күн

1. Champion-Challenger жана критерийлер боюнча auto-жогорулатуу.
2. Fairness/privacy-гейтс в CI/CD, attack-suite.
3. Кэширование, квантизация, автоскейл; SLO/наркы бюджети.
4. BI/ML макулдашуу KPI жана онлайн-метр; дашборддор SLO.

3-6 ай

1. Үзгүлтүксүз пост-мортемалар, чейректик ревю моделдер.
2. Гео/тенант-изоляция эндпоинттер, ачкычтар жана fich.
3. Жеке төлөм Infenerce/AML үчүн TEE/MPC.
4. Толук Automation Release Notes from linedge and diff.
5. Процесстердин тышкы аудити (лицензия талап кылынган).

17) Анти-үлгүлөрү

shadow/canary жана rollback планы жок чыгаруу.
Координацияланбаган оффлайн/онлайн чиптер → деградация.
PII менен Логи, token-саясат жок.
"Түбөлүк" босоголор кароосуз; ignor дрейф жана калибрлөө.
Жогорку тобокелдик чечимдер үчүн human-in-the-loop жоктугу.
стратификация жана этикалык токтоо эрежелери жок эксперименттер.

18) Байланыштуу бөлүмдөр

DataOps-практикалар, Access Control, Маалыматтарды токенизациялоо, Коопсуздук жана шифрлөө, Аудит жана версиялуулук, Калыстыкты азайтуу, Купуя ML, Federated Learning, Маалыматтарды сактоо саясаты, Маалыматтардын келип чыгышы жана жолу, Маалыматтардын этикасы.

Жыйынтык

Моделдерди иштетүү - бул өндүрүш кызматтарынын деңгээлинде инженердик дисциплина: так келишимдер жана версиялар, болжолдуу релиздер, 24/7 байкоо, этика/купуялуулуктун башкарылуучу тобокелдиктери жана бизнеске ачык таасир этүү. Ошентип, ML "ноутбук мыкты скрипт" эмес, ишенимдүү продукт болуп калат.