DataOps amaliyoti

1) DataOps nima va nima uchun iGaming

DataOps - ma’lumotlar oqimini oldindan aytib bo’ladigan, tezkor va xavfsiz qiladigan muhandislik, oziq-ovqat va operatsion amaliyotlar to’plami: manbalar va shartnomalardan tortib vitrinalar, BI va MLgacha.
iGaming’da stavkalar yuqori: regulyator (KYC/AML/RG), real vaqtdagi pul, marketing tajribalari, o’yin provayderlari va PSPlarning tez-tez relizlari.

• «G’oya → ma’lumotlar → metrika/model» tsiklini qisqartirish.
• Barqaror sifat va takrorlanuvchanlik.
• Boshqariladigan oʻzgarishlar (rollout/rollback).
• Shaffoflik: kim nima uchun javobgar, qayerda «buziladi».

2) Qiymat oqimi (Value Stream)

1. Manba/Kontrakt → 2) Ingestion → 3) Bronze/Silver/Gold → 4) Feature Store/BI → 5) Iste’molchilar (mahsulot, tahlillar, ML) → 6) Fikr-mulohazalar.

Har bir bosqichda - artefaktlar, testlar, metriklar, egalari va SLO.

3) Ma’lumotlarni kontraktga yo’naltirilgan tarzda ishlab chiqish

Data Contracts: sxema, turlar, majburiyat, ruxsat etilgan qiymatlar, tazelik/yetkazib berish SLA, DQ qoidalari, maxfiylik (’pii’,’tokenized’).
Moslik (SEMVER): MINOR - qoʻshimchalar, MAJOR - mos kelmaslik, PATCH - tuzatishlar.
CI-geytlar: Agar kontrakt buzilsa/test bo’lmasa/retenshna bo’lsa, PRni bloklaymiz.
/ PSP/KYC provayderlari bilan ma’lumotlar bo’yicha bitimlar: formatlar, imzo, retralar, deduplikatsiya.

4) Ma’lumotlarni sinovdan o’tkazish (oldin/vaqtida/keyin)

Do (design): kontrakt testlari, namunaviy toʻplamlar, maʼlumot generatorlari.

• Schema tests (tip/nullable/enum/moslashuvchanlik),
• DQ-testlar (haqiqiyligi, o’ziga xosligi, to’liqligi, yangiligi),
• Maxfiylik qoidalari (loglarda/vitrinalarda Zero-PII),
• Idempotentlik va dedupni tekshirish.
• Keyin (acceptance): vitrin/fich regress-testlari, v1/v2 (tolerance bands) taqqoslash, metriklarni kalibrlash.

5) Orkestr va atrof-muhit

Orkestrator (Airflow/ekv.) progonlar to’g’risida haqiqat manbai sifatida: qaramliklar, retralar, SLA, alertlar.
Atrof-muhit: dev → stage → prod va artefaktlar (jadvallar, modellar, fich-setów).
Brendlar/mintaqalar/tenantlar bo’yicha izolyatsiya: alohida sxemalar/kataloglar/shifrlash kalitlari.
Reliz bayroqlari va konfiguratsiyasi relogsiz almashtirish uchun maʼlumot sifatida.

6) Relizlar va joylashtirish strategiyalari

Vitrinalar va modellar uchun Blue-Green/Canary: parallel yig’ish v2, taqqoslash, qisman trafik.
Sxemalar migratsiyasida dual-write/dual-read.
Past yuklamali va orqaga qaytish bilan kechiktirilgan o’zgarishlar (feature flags).
Backfill pleybuklari: tarixni yuklash, nazorat summalari,’recomputed’belgilari.

7) Kuzatish va alerta (Data Observability)

Linedj uzellari bo’yicha yangilik/to’liqlik/hajmlar/anomaliyalar.
Sifati: pass-rate DQ, KPI uchun «qizil» yo’llar.
Sxemalar/Kontraktlar: mos kelmaslik hodisalari, tekshiruvlardan muvaffaqiyatli o’tganlarning%.
Unumdorligi: payplaynlarning yashirligi, qiymati (compute/storage).
Izohlanuvchanlik: aloqa «manba → vitrin/model», tezkor «path to dashboard/KPI».

8) Hodisalarni boshqarish

Sev-darajalar (P1-P3), RACI, aloqa kanallari.
Runbooks: tez-tez sabablar (manba yetkazib bermadi, schema drift, key leak, frod-shovqin).
Avto-mitigatsiyalar: retralar, zaxira kanalga o’tish, vitrinalarni «muzlatish».
Post-mortem: belogga muammo, harakat, prevention-vazifalar ildizi.

9) Xavfsizlik, maxfiylik va DataOps’ga kirish

mTLS/TLS 1. 3, partiyalar paketlari, xeshlari imzosi.
Vitrinalar va loglarda tokenlash/niqoblash; faqat «toza zonada» detokenizatsiya qilish.
audit bilan RBAC/ABAC/JIT; hodisalar uchun break-glass.
Retention/Legal Hold payplaynlar (TTL, lifecycle) bilan kelishilgan.
Zero-PII loglarda - bo’lim metrikasi.

10) BI/ML to’liq DataOps iste’molchilari sifatida

BI: «oltin» vitrinalarni sertifikatlash, «SELECT» ni taqiqlash, KPI ta’riflarini versiyalash.
ML: Feature Store versiyalari bilan, registry modellari, champion-challenger, fairness/privacy-geytlar, counterfactual-testlar.

11) Muvaffaqiyat metrikasi (SLO/SLI)

• Freshness SLO (masalan, payments_gold ≤ 15 min, p95).
• Job Success Rate ≥ 99. 5%, Mean Time to Detect (MTTD) / Recover (MTTR).
• Lead Time for Change (g’oya → prod), Deployment Frequency (relizlar/hafta).

• DQ Pass-Rate ≥ maqsadli chegara (tanqidiy yo’llar bo’yicha).
• Schema Compatibility Pass в CI.
• Delta v1/v2 cheklovlarda.

• Zero-PII in logs ≥ 99. 99%.
• Detokenization SLO va audit 100%.
• Retention On-time Deletion ≥ maqsadli chegara.

• Hisobot/vitrinani chop etish vaqti.
• Ma’lumotlar hodisalarini kamaytirish, nazorat doirasida KPIga (GGR, ushlab turish) ta’siri.

12) Shablonlar (foydalanishga tayyor)

12. 1 Data Contract (parcha)

yaml name: game_rounds_ingest owner: games-domain schema_version: 1. 6. 0 fields:
- name: round_id type: string required: true
- name: bet_amount type: decimal(18,2)
required: true dq_rules:
- rule: bet_amount >= 0
- rule: not_null(round_id)
privacy:
pii: false tokenized: true sla:
freshness: PT15M completeness: ">=99. 9%"
retention: P12M

12. 2 Vitrin uchun PR check-list/fich

• Shartnoma/sxema yangilandi, semver to’g "ri
• DQ/sxemalar/regress testlari yashil
• Release Notes + Linedj impakti
• Backfill/rollback rejasi tayyor
• Chegara alertlari va dashbordlar sozlangan
• Maxfiylik/kirish siyosatiga rioya qilingan

12. 3 Release Notes (eskiz)

Nima: ’rg _ signals v1. 3. 0’- qoʻshilgan’loss _ streak _ 7d ’

Turi: MINOR, sxema mos

Impakt: BI’rg _ dashboard’, ML’rg _ model @ 2. x`

Validatsiya: dual-run 14 kun, delta ≤ 0. Asosiy KPI boʻyicha 3%

Rollback: bayrogʻrg _ signals. use_v1=true`

Egasi/sana/chipta

12. 4 Runbook («toʻlovlarni kechiktirish» hodisasi)

1. PSP manbasining SLA holatini tekshirish.
2. Retray/zaxira endpoint.
3. Vaqtinchalik tanazzul: agregatlarni tafsilotsiz nashr etamiz.
4. -status #data aloqa, Incident Mgmt.
5. Post-mortem, RCA, profilaktika (kvotalar/kesh/sxemalarni nazorat qilish).

13) Rollar va javobgarlik (RACI)

CDO/Data Governance Council - siyosat, standartlar (A/R).
Domain Owners/Data Stewards - kontraktlar, sifat, vitrinalar (R).
Data Platform/Eng - orkestrator, saqlash, CI/CD, observability (R).
Analytics/BI Lead - vitrinalarni sertifikatlash, KPI-belgilar (R).
ML Lead - feature store, registry, modellar monitoringi (R).
Security/DPO - maxfiylik, tokenizatsiya, kirish, retenshn (A/R).
SRE/SecOps - hodisalar, DR/BCP, SIEM/SOAR (R).

14) Joriy etish yo’l xaritasi

0-30 kun (MVP)

1. Muhim yo’llarni aniqlash (payments, game_rounds, KYC, RG).
2. Kontraktlar va CI-geytlar (sxemalar, DQ, maxfiylik) joriy etilsin.
3. Kuzatishni yoqish: yangilik/to’liqlik/anomaliyalar + alerta.
4. Gold vitrinalari: KPI va «SELECT» ni taqiqlash.
5. Runbooks va #data -status kanali, Release Notes namunasi.

30-90 kun

1. vitrinalar/modellarning dual-run va canary relizlari; backfill-pleybuklar.
2. Feature Store/Model Registry versiyalashtirilgan.
3. Kirish siyosati (RBAC/ABAC/JIT) va loglarda Zero-PII.
4. Dashbordlar SLO/qiymati, avtomatlashtirish retenshna/TTL.
5. DataOps (onbording, praktikumlar) jamoalarini oʻqitish.

3-6 oy

1. To’liq sikl champion-challenger modellari, fairness/privacy-geytlar.
2. Geo/tenant-izolyatsiya, yurisdiksiyalar bo’yicha kalitlar va ma’lumotlar.
3. Avtomatlashtirilgan Release Notes lineedj va diff.
4. Muntazam post-mortemlar va choraklik DataOps-revyu.
5. Jarayonlarning tashqi auditi (litsenziya talab qilinadigan joylarda).

15) Anti-patternlar

«Ma’lumotlarni keyinchalik tuzatamiz»: test/kontraktsiz relizlar.
Shaffof boʻlmagan payplaynlar: Linedj va egalari yoʻq.
DataOps-jarayonlarni chetlab o’tish uchun qo’lda tushirish.
PIIdan loglar, qum qutilaridagi proybazalar.
Rollback/backfill rejasi mavjud emas.
KPI versiyasiz va aniqlanmagan.

16) Bog’liq bo’limlar

Ma’lumotlarni boshqarish, Ma’lumotlarning kelib chiqishi va yo’li, Audit va versiya, Kirish nazorati, Xavfsizlik va shifrlash, Ma’lumotlarni tokenlashtirish, Modellarni monitoring qilish, Saqlash siyosati, Ma’lumotlar etikasi.

Jami

DataOps turli xil skriptlar va «tahlilchilar qahramonligi» ni boshqariladigan ishlab chiqarish ma’lumotlar konveyeriga aylantiradi: o’zgarishlar tez, ammo oldindan aytib bo’ladi; sifati va maxfiyligi nazorat qilinadi; relizlar qaytarilishi mumkin; metrika va modellar takrorlanadi. Bu iGaming platformasining asosidir.