DataOps amallary

1) DataOps näme we näme üçin iGaming

DataOps - maglumat akymyny öňünden aýdyp boljak, çalt we howpsuz edýän in engineeringenerçilik, azyk we operasiýa tejribeleriniň toplumy: çeşmelerden we şertnamalardan vitrinlere, BI we ML-e çenli.
iGaming-de nyrhlar ýokary: düzgünleşdiriji (KYC/AML/RG), hakyky wagtda pul, marketing synaglary, oýun üpjün edijileriniň we PSP-leriň ýygy-ýygydan çykarylmagy.

• "Pikir → maglumatlar → metrika/model" sikliniň gysgaldylmagy.
• Durnukly hil we köpeltmek ukyby.
• Gözegçilik edilýän üýtgeşmeler (rollout/rollback).
• Aç-açanlyk: kim näme üçin jogapkär, nirede "döwülýär".

2) Gymmatlyk akymy

1. Çeşme/Şertnama → 2) Ingestion → 3) Bronze/Silver/Gold → 4) Feature Store/BI → 5) Sarp edijiler (önüm, analitika, ML) → 6) Seslenme.

Her tapgyrda - artefaktlar, synaglar, metrikler, eýeler we SLO.

3) Maglumatlaryň şertnama esasly işlenip düzülmegi

Data Contracts: shema, görnüşler, hökmany, rugsat edilýän bahalar, täzelik/gowşuryş SLA, DQ düzgünleri, gizlinlik ('pii', 'tokenized').
Gabat gelmek (SEMVER): MINOR - goşmaçalar, MAJOR - gabat gelmezlik, PATCH - düzedişler.
CI-geýtleri: eger şertnama bozulsa/synaglar ýok bolsa/retenşna PR-ni bloklaýarys.
Üpjün edijiler/PSP/KYC bilen maglumatlar boýunça şertnamalar: formatlar, gol, retra, de-duplikasiýa.

4) Maglumatlary barlamak (öň/wagtynda/soň)

Do (design): şertnama synaglary, takmynan toplumlar, maglumat generatorlary.

• Schema tests (type/nullable/enum/gabat gelmek),
• DQ-synaglar (dogrulygy, özboluşlylygy, dolulygy, täzeligi),
• Gizlinlik düzgünleri (loglarda/penjirelerde Zero-PII),
• Idempotentligi barlamak we dedup.
• Soň (acceptance): vitrin/surat regress synaglary, deňeşdirme v1/v2 (tolerance bands), kalibrleme metrikleri.

5) Orkestr we gurşaw

Orkestrator (Airflow/ekw.) geçişler barada hakykat çeşmesi hökmünde: endikler, retralar, SLA, aladalar.
Gurşaw: dev → stage → prod artefaktlary (tablisalar, modeller, surat-setów) mahabatlandyrmak bilen.
Markalar/sebitler/tenantlar boýunça izolýasiýa: aýry-aýry shemalar/kataloglar/şifrlemek açarlary.
Reliz baýdaklary we konfigurasiýa relogsyz geçiş üçin maglumatlar hökmünde.

6) Relizler we ýerleşdiriş strategiýalary

Vitrinler we modeller üçin "Blue-Green/Canary": paralel gurnama v2, deňeşdirme, bölekleýin trafik.
Shemalaryň göçmeginde dual-write/dual-read.
Pes ýükde we yza süýşürilen geçişler (feature flags).
Backfill-pleybuklary: taryhyň goşmaça ýüklenmegi, gözegçilik pullary, 'recomputed' bellikleri.

7) Syn etmek we alertler (Data Observability)

Linedge düwünleri boýunça täzelik/dolulyk/göwrümler/anomaliýalar.
Hil: pass-rate DQ, KPI üçin "gyzyl" ýollar.
Shemalar/Şertnamalar: gabat gelmeýän wakalar, üstünlikli geçirilen barlaglaryň% -i.
Öndürijilik: paýlaýynlaryň gizlinligi, bahasy (compute/storage).
Düşündirilebilirlik: baglanyşyklar "çeşme → vitrin/model", çalt "path to dashboard/KPI".

8) Wakalary dolandyrmak

Sev-derejeleri (P1-P3), RACI, aragatnaşyk kanallary.
Runbooks: ýygy-ýygydan sebäpler (çeşme bermedi, schema drift, key leak, frod-ses).
Awto-mitigasiýa: retralar, ätiýaçlyk kanala geçmek, penjireleri "doňdurmak".
Post-mortem: meseläniň, hereketiň, prevention-wezipeleriň beqlogdaky kökü.

9) DataOps-da howpsuzlyk, gizlinlik we elýeterlilik

mTLS/TLS 1. 3, paketleriň, partiýa heşleriniň goly.
Penjirelerde we ýazgylarda bellik/maskalanma; detokenizasiýa diňe "arassa zonada".
RBAC/ABAC/JIT audit bilen; wakalar üçin break-glass.
Retention/Legal Hold paýlaýjylar (TTL, lifecycle) bilen ylalaşylýar.
Zero-PII - bölümiň metrikasy.

10) BI/ML doly hukukly DataOps sarp edijileri hökmünde

BI: "altyn" penjireleri sertifikatlaşdyrmak, "SELECT" gadaganlygy, KPI kesgitlemelerini wersiýalaşdyrmak.
ML: Feature Store wersiýalary, modelleriň registrleri, çempion-challenger, fairness/privacy-oýunlar, counterfactual-synaglar bilen.

11) Üstünlik metrikleri (SLO/SLI)

• Freshness SLO (mysal üçin payments_gold ≤ 15 min, p95).
• Job Success Rate ≥ 99. 5%, Mean Time to Detect (MTTD) / Recover (MTTR).
• Lead Time for Change (ideýa → prod), Deployment Frequency (neşirler/hepde).

• DQ Pass-Rate maksat çäkleri ≥ (möhüm ýollar boýunça).
• Schema Compatibility Pass в CI.
• Delta v1/v2 aralykda.

• Zero-PII in logs ≥ 99. 99%.
• Detokenizasiýa SLO we audit 100%.
• Retention On-time Deletion maksat bosagasy ≥.

• Hasabatyň/serginiň çap edilen wagty.
• Maglumatlaryň hadysalarynyň azalmagy, KPI-e täsiri (GGR, saklamak).

12) Şablonlar (ulanmaga taýýar)

12. 1 Data Contract (bölek)

yaml name: game_rounds_ingest owner: games-domain schema_version: 1. 6. 0 fields:
- name: round_id type: string required: true
- name: bet_amount type: decimal(18,2)
required: true dq_rules:
- rule: bet_amount >= 0
- rule: not_null(round_id)
privacy:
pii: false tokenized: true sla:
freshness: PT15M completeness: ">=99. 9%"
retention: P12M

12. 2 Penjire üçin PR barlag sanawy/surat

• Şertnama/shema täzelendi, semver dogry
• DQ/shema/regress synaglary ýaşyl
• Release Notes + linza impakt
• Backfill/rollback meýilnamasy taýýar
• Çäkli alertler we daşbordlar sazlandy
• Gizlinlik/giriş syýasaty berjaý edildi

12. 3 Release Notes (eskiz)

Näme: 'rg _ signals v1. 3. 0 '- goşuldy' loss _ streak _ 7d '

Görnüşi: MINOR, shema gabat gelýär

Import: BI 'rg _ dashboard', ML 'rg _ model @ 2. x`

Tassyklama: dual-run 14 gün, delta ≤ 0. KPI üçin% 3

Rollback: baýdak 'rg _ signals. use_v1=true`

Eýesi/senesi/bileti

12. 4 Runbook ("töleg gijikdirmek" hadysasy)

1. PSP çeşmesiniň SLA-syny, konnektoryň ýagdaýyny barlaň.
2. Ätiýaçlyk endpoint-e retraý/geçiş.
3. Wagtlaýyn pese gaçmak: agregatlary jikme-jikliksiz çap edýäris.
4. Aragatnaşyk #data -status, bilet Incident Mgmt.
5. Post-mortem, RCA, öňüni alyş (kwotalar/nagt pul/shemalara gözegçilik).

13) Rollar we jogapkärçilik (RACI)

CDO/Data Governance Council - syýasat, standartlar (A/R).
Domain Owners/Data Stewards - şertnamalar, hil, vitrinler (R).
Data Platform/Eng - orkestrator, ammar, CI/CD, observability (R).
Analytics/BI Lead - vitrinleriň sertifikatlaşdyrylmagy, KPI-kesgitlemeler (R).
ML Lead - feature store, registry, modellere gözegçilik (R).
Howpsuzlyk/DPO - gizlinlik, bellik, elýeterlilik, retenşn (A/R).
SRE/SecOps - hadysalar, DR/BCP, SIEM/SOAR (R).

14) Durmuşa geçirmegiň ýol kartasy

0-30 gün (MVP)

1. Möhüm ýollary kesgitlemek (payments, game_rounds, KYC, RG).
2. Şertnamalary we CI-geýtleri (shemalar, DQ, gizlinlik) girizmek.
3. Syn etmegi öz içine alyň: täzelik/dolulyk/anomaliýalar + alertler.
4. Gold penjireleri: KPI we "SELECT" gadaganlygyny düzetmek.
5. Runbooks we #data -status kanaly, Release Notes şablony.

30-90 gün

1. Vitrin/modelleriň dual-run we canary çykarylyşy; backfill pleybuklary.
2. "Feature Store/Model Registry".
3. Giriş syýasaty (RBAC/ABAC/JIT) we loglarda Zero-PII.
4. Daşbordlar SLO/bahasy, awtomatlaşdyryş retenşna/TTL.
5. DataOps toparlaryny öwretmek (onbording, praktikumlar).

3-6 aý

1. Çempion-challenger modelleriniň doly aýlawy, fairness/privacy-geýtlar.
2. Geo/tenant-izolýasiýa, açarlar we ýurisdiksiýalar boýunça maglumatlar.
3. Cetvelden we diffden awtomatiki Release Notes.
4. Yzygiderli post-mortemler we çärýekleýin DataOps-review.
5. Prosesleriň daşarky auditi (bu ýerde ygtyýarnama talap edilýär).

15) Anti-patternler

"Maglumatlary soň düzederis": synaglar/şertnamalar bolmazdan çykarylýar.
Aç-açan paýlanmalar: linedj we eýeler ýok.
DataOps-proseslerinden "aýlanyp" el bilen düşürmek.
PII-den loglar, gum gutularyna önümçilik bazalarynyň dampalary.
Rollback/backfill meýilnamasynyň ýoklugy.
KPI wersiýalarsyz we kesgitlemesiz.

16) Baglanyşykly bölümler

Maglumatlary dolandyrmak, Maglumatlaryň gelip çykyşy we ýoly, Audit we wersiýa, Giriş gözegçiligi, Howpsuzlyk we şifrlemek, Maglumatlary bellik etmek, Modellere gözegçilik etmek, Saklamak syýasaty, Maglumatlaryň etikasy.

Jemi

DataOps dürli skriptleri we "analitikleriň gahrymançylygyny" dolandyrylýan önümçilik maglumat konweýerine öwürýär: üýtgeşmeler çalt, ýöne öňünden aýdyp bolýar; hiline we gizlinligine gözegçilik edilýär; relizleri yzyna gaýtaryp bolýar; metrikleri we modelleri köpeldip bolýar. Bu masştably iGaming platformasynyň esasyny düzýär.