DataOps

1) DataOps дегеніміз не және неліктен iGaming

DataOps - деректер ағынын болжамды, жылдам және қауіпсіз ететін инженерлік, азық-түлік және операциялық тәжірибелер жиынтығы: көздерден және келісімшарттардан витриналарға, BI және ML-ге дейін.
iGaming-те мөлшерлемелер жоғары: реттеуіш (KYC/AML/RG), нақты уақыттағы ақша, маркетингтік эксперименттер, ойын провайдерлерінің жиі релиздері және PSP.

• «Идея → деректер → метрика/модель» циклін қысқарту.
• Тұрақты сапа және жаңғыртылуы.
• Бақыланатын өзгерістер (rollout/rollback).
• Ашықтық: кім не үшін жауап береді, қайда «бұзылады».

2) Құндылық ағыны (Value Stream)

1. Дереккөз/Келісім-шарт → 2) Ingestion → 3) Bronze/Silver/Gold → 4) Feature Store/BI → 5) Тұтынушылар (өнім, аналитика, ML) → 6) Кері байланыс.

Әр кезеңде - артефакттар, тестілер, метриктер, иелері және SLO.

3) Деректерді әзірлеуге бағытталған келісімшарт

Data Contracts: сұлба, типтер, міндеттілік, рұқсат етілген мәндер, жаңалық/жеткізу SLA, DQ ережелері, жекелік ('pii', 'tokenized').
Сыйысымдылық (SEMVER): MINOR - қосымшалар, MAJOR - сыйыспаушылық, PATCH - түзетулер.
CI-гейтс: егер келісімшарт бұзылса/тест болмаса/ретеншн болса, PR блоктаймыз.
Провайдерлермен/PSP/KYC деректері бойынша келісімдер: пішімдер, қолтаңба, ретрайлер, дедупликация.

4) Деректерді тестілеу (дейін/уақытта/кейін)

Дейін (design): келісім-шарттар тестілері, үлгілік жиынтықтар, деректер генераторлары.

• Schema tests (түрі/nullable/enum/үйлесімділік),
• DQ-тесттер (дәлдігі, бірегейлігі, толықтығы, жаңаруы),
• Құпиялылық қағидалары (Zero-PII логтарда/витриналарда),
• Демпотенттілікті тексеру және дедуп.
• Кейін (acceptance): витриналар/фич регресс-тесттері, v1/v2 (tolerance bands) салыстыру, метриктерді калибрлеу.

5) Оркестрлеу және қоршаған орта

Оркестратор (Airflow/экв.) прогондар туралы ақиқат көзі ретінде: тәуелділік, ретра, SLA, алерта.
Қоршаулар: dev → stage → prod артефактілерді (кестелерді, модельдерді, фич-сетоw) жарнамалаумен.
Брендтер/өңірлер/тенанттар бойынша оқшаулау: жеке схемалар/каталогтар/шифрлау кілттері.
Релиздер жалаушалары және релогсыз қайта қосуға арналған деректер ретінде конфигурация.

6) Релиздер және өрістету стратегиялары

витриналар мен модельдер үшін Blue-Green/Canary: v2 параллельді құрастыру, салыстыру, ішінара трафик.
Схемаларды көшіруде dual-write/dual-read.
Төмен жүктемеде және кері қайтарымдылықта кейінге қалдырылған ауыстырып қосу (feature flags).
Backfill-плейбуктар: тарихты жүктеу, бақылау сомалары, 'recomputed' белгілері.

7) Бақылау және аллергия (Data Observability)

Линдж түйіндері бойынша жаңару/толымдылық/көлем/ауытқулар.
Сапасы: pass-rate DQ, KPI үшін «қызыл» жолдар.
Схемалар/Келісімшарттар: үйлеспеушілік оқиғалары, табысты өткен тексерулердің% -ы.
Өнімділігі: пайплайндардың жасырындылығы, құны (compute/storage).
Интерпретация: байланыс «дереккөз → витрина/модель», жылдам «path to dashboard/KPI».

8) Инциденттерді басқару

Sev-деңгейлер (P1-P3), RACI, байланыс арналары.
Runbooks: жиі себептер (дереккөз жеткізбеген, schema drift, key leak, фрод-шу).
Авто-митигация: ретра, қосалқы арнаға ауыстыру, витриналарды «қатыру».
Пост-мортем: проблеманың, әрекеттің, prevention-тапсырмалардың тамыры бэклогқа.

9) Қауіпсіздік, құпиялылық және DataOps қол жетімділігі

mTLS/TLS 1. 3, пакеттердің, партия хэштерінің қолы.
Витриналар мен ойықтарда токенизация/бүркемелеу; тек «таза аймақта» детокенизациялау.
RBAC/ABAC/JIT аудитпен; оқиғалар үшін break-glass.
Retention/Legal Hold пайплайндармен (TTL, lifecycle) келісілген.
Zero-PII логдарда - бөлімнің метрикасы.

10) BI/ML толыққанды DataOps тұтынушылары ретінде

BI: «алтын» витриналарды сертификаттау, «SELECT» тыйым салу, KPI анықтамаларын нұсқалау.
ML: нұсқалары бар Feature Store, модельдерді тіркеу, champion-challenger, fairness/privacy-гейттер, counterfactual-тестілер.

11) Табыс өлшемдері (SLO/SLI)

• Freshness SLO (мысалы, payments_gold ≤ 15 мин, p95).
• Job Success Rate ≥ 99. 5%, Mean Time to Detect (MTTD) / Recover (MTTR).
• Lead Time for Change (идея → прод), Deployment Frequency (релиздер/апта).

• DQ Pass-Rate ≥ мақсатты шегі (сындарлы жолдар бойынша).
• Schema Compatibility Pass в CI.
• Delta v1/v2 рұқсат етілген.

• Zero-PII in logs ≥ 99. 99%.
• Detokenization SLO және аудит 100%.
• Retention On-time Deletion ≥ мақсатты шегі.

• Есеп/витринаны жариялау уақыты.
• Деректер инциденттерін төмендету, бақылау шегінде KPI-ге (GGR, ұстап қалу) әсер ету.

12) Үлгілер (пайдалануға дайын)

12. 1 Data Contract (үзік)

yaml name: game_rounds_ingest owner: games-domain schema_version: 1. 6. 0 fields:
- name: round_id type: string required: true
- name: bet_amount type: decimal(18,2)
required: true dq_rules:
- rule: bet_amount >= 0
- rule: not_null(round_id)
privacy:
pii: false tokenized: true sla:
freshness: PT15M completeness: ">=99. 9%"
retention: P12M

12. 2 Витрина/фич үшін PR тексеру парағы

• Келісімшарт/схема жаңартылды, semver дұрыс
• DQ/схемалар/регресс тестілері жасыл
• Release Notes + сызықтық импакт
• backfill/rollback жоспары дайын
• Шекті алерталар мен дашбордтар теңшелген
• Құпиялылық/қолжетімділік саясаты сақталды

12. 3 Release Notes (эскиз)

Не: 'rg _ signals v1. 3. 0 '- қосылған' loss _ streak _ 7d '

Түрі: MINOR, схема үйлесімді

Импакт: BI 'rg _ dashboard', ML 'rg _ model @ 2. x`

Валидация: dual-run 14 күн, delta ≤ 0. Негізгі KPI бойынша 3%

Rollback: 'rg _ signals жалаушасы. use_v1=true`

Иесі/күні/тегі

12. 4 Runbook («төлемдерді кешіктіру» оқиғасы)

1. PSP көзінің SLA, коннектор күйін тексеру.
2. Қосымша endpoint дегенді ретраи/қайта қосу.
3. Уақытша деградация: агрегаттарды нақтылаусыз жариялаймыз.
4. #data -status коммуникациясы, Incident Mgmt.
5. Пост-мортем, RCA, профилактика (квоталар/кэш/схемаларды бақылау).

13) Рөлдер және жауапкершілік (RACI)

CDO/Data Governance Council - саясат, стандарттар (A/R).
Domain Owners/Data Stewards - келісімшарттар, сапа, витриналар (R).
Data Platform/Eng - оркестратор, сақтау орны, CI/CD, observability (R).
Analytics/BI Lead - витриналарды сертификаттау, KPI-анықтамалар (R).
ML Lead - feature store, registry, модельдер мониторингі (R).
Security/DPO - құпиялылық, токенизация, қолжетімділік, ретеншн (A/R).
SRE/SecOps - оқиғалар, DR/BCP, SIEM/SOAR (R).

14) Енгізу жол картасы

0-30 күн (MVP)

1. Сыни жолдарды анықтау (payments, game_rounds, KYC, RG).
2. Келiсiм-шарттар мен CI-гейттердi (схемалар, DQ, жекешелiк) енгiзу.
3. Байқауды қосу: жаңару/толымдылық/ауытқулар + аллергия.
4. Gold сөрелері: KPI және 'SELECT' тыйым салуды бекіту.
5. Runbooks және #data -status арнасы, Release Notes үлгісі.

30-90 күн

1. витриналар/модельдер Dual-run және canary релиздері; backfill-playbook.
2. Нұсқасы бар Feature Store/Model Registry.
3. Логтарда (RBAC/ABAC/JIT) және Zero-PII кіру саясаты.
4. Дашборд SLO/құны, автоматтандыру ретеншн/TTL.
5. DataOps командаларын оқыту (онбординг, практикумдар).

3-6 ай

1. Толық цикл champion-challenger модельдері, fairness/privacy-гейты.
2. Гео/тенант-оқшаулау, кілттер және юрисдикциялар бойынша деректер.
3. Автоматты Release Notes сызықтық және diff.
4. Тұрақты пост-мортемалар және тоқсандық DataOps-ревью.
5. Процестердің сыртқы аудиті (лицензиямен талап етілетін).

15) Қарсы үлгілер

«Деректерді кейін түзетеміз»: тестісіз/келісімшарттарсыз релиздер.
Мөлдір емес пайплайндар: линейдж және иелері жоқ.
DataOps-процестерін «айналып» қолмен түсіру.
PII-ден тұратын ойықтар, құмсалғыштарға арналған прод-базалардың дамбалары.
Rollback/backfill жоспарының болмауы.
KPI нұсқаларсыз және бекітілген анықтамаларсыз.

16) Байланысты бөлімдер

Деректерді басқару, Деректердің шығу тегі және жолы, Аудит және нұсқалылық, Қолжетімділікті бақылау, Қауіпсіздік және шифрлау, Деректерді токенизациялау, Модельдер мониторингі, Сақтау саясаты, Деректердің этикасы.

Жиынтығы

DataOps шашыраңқы скрипттер мен «талдаушылардың батырлығын» басқарылатын өндірістік деректер конвейеріне айналдырады: өзгерістер жылдам, бірақ болжамды; сапасы мен құпиялылығы бақыланады; релиздер қайтымды; өлшемдері мен модельдері жаңғыртылады. Бұл масштабталатын iGaming платформасының іргетасы.