Ma’lumotlar auditi va versiyasi

1) Nima uchun bu zarur?

Audit va versiya takrorlanuvchanlikni yaratadi: siz har qanday raqamni tushuntirishingiz, hisoblashni takrorlashingiz va model/vitrinalarni xavfsiz rivojlantirishingiz mumkin. iGaming’da bu moliya (GGR/NET), to’lovlar, KYC/AML, Responsible Gaming va tartibga solish hisobotlari uchun juda muhimdir.

• Izlash: ma’lumotlarni/sxemani/mantiqni kim o’zgartirdi va nima uchun.
• Takrorlanuvchanlik: maʼlumot/kod/modelning qaysi versiyasi hisobotni yaratdi.
• Relizlarning xavfsizligi: oʻzgarishlarning qaytarilishi (rollback) va oldindan aytilishi.
• Muvofiqlik: regulyatorlar va ichki auditlar uchun isbotlanadigan jurnallar.

2) Version tushunchalari va darajalari

1. Sxema versiyasi (Schema Version): maydon/tur/semantika evolyutsiyasi (SEMVER).
2. Maʼlumotlar toʻplamining versiyasi (Dataset Version): vaqtdagi rasm/kesim; hisobot/o’qish uchun «haqiqat».
3. Vitrin/model versiyasi BI (Data Product Version): formulalar, filtrlar, agregatsiyalar.
4. ML fich/model versiyasi: sana/kod/giperparametrlar/fich/maʼlumotlar (end-to-end).
5. Payplayn versiyasi: transformatsiya, konfiga, qaramlik kodi.
6. Ma’lumotlar kontraktining versiyasi: prodyuser/iste’molchiga qo’yiladigan talablar (sxema, SLA, sifat).

3) Audit: nima logotiplash kerak

Kim: subyekt (foydalanuvchi/xizmat), rol/atributlar (RBAC/ABAC).
Nima: jadval/vitrin/model/sxema/kontrakt.
Qachon: aniq vaqt, tz, korrelyatsiya id.
Sababi: task/chipta/reliz-notaga havola, sababi.
Kod/model versiyasi, commit hash, konteyner tasviri.
Qanday o’zgardi: oldin/keyin (diff), satrlar hajmi (rows affected), yaxlitlik nazorati (xesh/imzo).
Kontekst: muhit (prod/stage), domen, maʼlumotlar sezgirligi (sinf).

Audit-jurnallar o’zgarmas (append-only/WORM), imzolangan va SIEMda mavjud.

4) Versiyiylik siyosati (tavsiyalar)

SEMVER: `MAJOR. MINOR. PATCH`

MAJOR - sxema/semantikadagi nomuvofiq o’zgarishlar.
MINOR - qayta mos keladigan qoʻshimchalar (yangi nullable maydonlari/ustunlari, yangi vNext vitrinalari).
PATCH - kontraktni o’zgartirmasdan tuzatishlar (quality-fix, backfill).
Deprecation-protsedura: eskirish oynasi, katalog/CI ogohlantirishlari, oʻchirish sanasi.
Release Notes: chiqarish uchun bitta sahifa: nima, nima uchun, xavflar, qaytarish rejasi.

5) Ombor va oqimlardagi texnikalar

Time-travel/Snapshots: jadvallar versiyalarini saqlash; «T-0 da bo’lgani kabi» so’rovini bajarish imkoniyati.
SCD (Slowly Changing Dimensions): oʻlchash uchun 1/2/3 turlari (oʻyinlar, provayderlar, oʻyinchilar).
CDC/CDF (Change Data/Capture & Feed): faktlar uchun inkremental oʻzgarishlar (stavkalar, toʻlovlar, KYC).
Operatsiya jurnali (Audit Fact): tahrirlash/qoʻshish/olib tashlash hodisalari bilan alohida fakt jadvali.
Partiyalar/fayllar xeshlari, paketlar imzosi, agregatlarni solishtirish yaxlitligini nazorat qilish.

6) Sxemalar evolyutsiyasi va Data Contracts

Kontrakt kod sifatida: sxema, turlar, maydonlarning majburiyligi, yo’l qo’yiladigan qiymatlar, yangi SLA, DQ qoidalari.
Moslik: qoʻshilgan → MINOR; migratsiya va dual-write bilan MAJOR turini/semantikasini o’zgartirdi.
CI-gate: Release Notes mosligi buzilgan yoki buzilmagan boʻlsa, PR oʻzgartiruvchi sxema bloklanadi.
Katalog/Registry: Aktiv/eskirgan va egalarini saqlaydi.

7) BI va metriklardagi versiyasi

Sertifikatlangan «oltin» vitrinalar: mustahkamlangan KPI semantikasi (GGR, ARPPU, ushlab qolish).
Dual-run: vitrinaning yangi versiyasi parallel (v2), metriklarni taqqoslash (tolerance bands).
Hisobotlarni tuzatish: har bir eksport/dashboard’dataset _ version’va’definition _ version’ga murojaat qiladi.
Kalendar kesmalar: «dey-kat», «oy-k-sana» - ma’lumotlar versiyasida qayd etiladi.

8) ML/MLOps dagi versiyasi

Model Registry: model, sana, sifat metrikasi, o’qitish ma’lumotlari (dataset_version), fich versiyalari (feature_set_version).
Feature Store: versionlangan fich-guruhlar; aniq versiyasiz «issiq» maydonlarni taqiqlash.
Repro to’plami: mashg’ulot kodi (commit), atrof-muhit (Docker/conda lock), sid.
Champion-Challenger: parallel versiyalari, sifat, fairness va maxfiylik bo’yicha hisobotlar.
Rollback: oldingi barqaror model va fich-to’plamga tez qaytish.

9) Rollbek, backfill va tuzatishlar

Rollback-reja: har bir MAJOR/MINOR versiyasi uchun - aniq qaytarish qadamlari.
Backfill pleybuk: haqiqat manbai, sanalar oralig’i, qayta hisoblash tartibi, nazorat summalari, «recomputed = true» belgilari.
Tahrirlarning ko’rinishi: v2 taqqoslashdan o’tgandan keyingina v1 o’rnini bosadi; barcha «tarixiy» hisobotlar o’z versiyalariga murojaat qilishda davom etmoqda.

10) Auditdagi xavfsizlik va komplayens

Voqealar/paketlar imzosi: prodyuser imzolaydi, iste’molchi tekshiradi.
PII-sanitizing: audit xom bo’lmagan PII tokenlarni saqlaydi.
Legal Hold: tekshirish davrida versiya/loglarni olib tashlashni taqiqlash.
DSAR: versiyalar subyektning token bo’yicha yozuvlarini topadi va tushiradi; tarixiy rasmlar hisobga olinadi.

11) Metrika va SLO

Repro Rate: ≥ maqsadli chegara versiyasi/kodidan takrorlanadigan hisobotlar ulushi.
Coverage: time-travel/audit jurnali kiritilgan jadvallar%.
Schema Compatibility Pass: CI’da muvaffaqiyatli muvofiqlikni tekshirish ulushi.
Dual-run Delta: yo’l qo’yilgan chegaradagi farqlar v1/v2.
Rollback MTTR: oʻrtacha qaytarish vaqti.
Audit Integrity: imzolangan va tekshirilgan voqealar ulushi.
Backfill Success: tugallangan qayta hisoblashlar ulushi.

12) iGaming uchun patternlar (keyslar)

GGRni orqaga qarab tuzatish: yetkazib beruvchi RTPni qayta hisoblab chiqdi - davr uchun faktlarni backfill qilamiz,’recomputed _ at’ni qayd etamiz, Release Notes’ni e’lon qilamiz, v1/v2 ni taqqoslaymiz; o’tgan oylardagi hisobotlarni qayta yozmaymiz, balki «tuzatilgan versiya mavjud» deb belgilaymiz.
Antifrod qoidalari: MAJOR, dual-run modellari va vitrinalari, regressiyada champion rollbeki kabi chichlarning semantikasini o’zgartiramiz.
KYC/AML: nullable bilan MINOR - yangi provayder maqomlarini qoʻshdi; kontraktlarda muvofiqlik testlarini kiritamiz.
RG-signallar: MINOR + Release Notes mantig’i va ta’sir monitoringini aniqlashtirdi.

13) Asboblar va artefaktlar (toifalar)

Catalog/Lineage/Registry: toʻplamlar/sxemalar/vitrinalar versiyasi, egalari, aloqalar, shartnomalar.
Orchestrator & CI/CD: moslashuv geytlari, dual-run progoni, reliz-notalarni nashr etish.
Time-travel bilan saqlash: rasmlar/jurnallarni saqlash.
Signing & Checksums: paketlar imzosi, partiyalarning nazorat summasi.
Model/Feature Registry: fich/modellarning versiyalari, champion-challenger hisobotlari.

14) Shablonlar (foydalanishga tayyor)

14. 1 Release Notes (eskiz)

Versiya: ’payments _ gold v2. 1. 0`

Turi: MINOR (yangi’psp _ country’,’method _ group’)

Sababi: PSP/mamlakatlar bo’yicha hisobotlarni birxillashtirish

Xavf-xatarlar: «risk _ signals» vitrinali joylarga ta’siri

Validatsiya: dual-run 14 kun, delta ≤ 0. GGR boʻyicha 2%

Rollback: ’v2’ga oʻtish. 0. 3’orkestrator bayrog’i orqali

Deploy sanasi/egasi/chipta

14. 2 To’plam versiyasi pasporti

Dataset: `game_rounds_silver`

Versiya: ’2025-11-01T00: 00: 00Z’(snapshot id)

Sxema: ’schema @ 1. 7. 0’(kontraktga havola)

Manba: provayder A/B (commit...)

Butunlikni nazorat qilish: checksum, imzolangan manifest

DQ: to’liqligi 99. 9%, yangiligi ≤ 15 min

Foydalanuvchi: ’games _ perf _ gold v3. x`, `rg_signals v1. x`

14. 3 O’zgartirish auditi dalolatnomasi

Hodisa: update schema’kyc _ status’→’kyc _ status, v2 ’

Kim: user/service,’Data-Engineer’roli

Qachon: ’2025-11-01 09:32:10 + 02 ’

Nima uchun: chipta # 3421 (provayderning yangi maqomlari)

Diff: +’status _ reason’(nullable), enum kengaytirildi

Tekshirish: CI semver pass, kontrakt MINOR

Imzo: ’sig =...’, xesh diff:’sha256 =... ’

14. 4 Version siyosati (parcha)

MAJOR: moslikni buzadi; dual-write ≥ 30 kun; majburiy rollback-reja.
MINOR: qaytarish mumkin; katalogdagi ogohlantirishlar; A/B vitrin 7-14 kun.
PATCH: sifat/qayta hisoblash fikslari; Release Notes majburiy.
Arxivlash: regulyatorika uchun snapshotlarning N oylik ≥ saqlaymiz; Audit uchun WORM.

15) Jarayonlar (end-to-end)

1. Tashabbus: o’zgartirish bileti + linedj bo’yicha impaktni baholash.
2. Loyihalash: kontrakt/sxemani yangilash + Release Notes.
3. Validatsiya: CI-muvofiqlik tekshiruvi, DQ testlari, dual-run.
4. Deploy: bayroq bo’yicha, kanareyka; versiyani katalogda chop etish.
5. Monitoring: delta v1/v2, KPI, shikoyatlar.
6. Orqaga/Backfill: regressda pleybuk boʻyicha.
7. Post-mortem: agar hodisa boʻlsa, siyosatni/testlarni yangilash.

16) RACI (misol)

Siyosat va standartlar: CDO (A), Data Governance Council (R/A), DPO/Sec (C).
Kontraktlar/sxemalar: Domain Owners (A), Data Stewards (R), Platform/Eng (C).
Orkestr/saqlash: Platform/Eng (R), SRE (C).
BI/metriklar: Analytics Lead (R), Product/Finance (C).
ML-versiyalar: ML Lead (A), DS (R), Platform (C).
Audit/jurnallar: SecOps (R), Internal Audit (C).

17) Joriy etish yo’l xaritasi

0-30 kun (MVP)

Tanqidiy jadvallar (payments, game_rounds, kyc) uchun time-travel/rasmlarni yoqish.
Oʻzgarmas audit jurnallar va ingestion paket imzosini ishga tushirish.
SEMVER siyosati va Release Notes shablonini qabul qilish.
Katalog:’owner’,’schema _ version’,’dataset _ version’ni top-vitrinalarga qoʻshish.

30-90 kun

Barcha MINOR/MAJOR uchun dual-run kiritish; avtomatik qiyoslash v1/v2.
Kontraktlarni CI-geytlar va DQ bilan bogʻlash.
backfill/rollback reglamenti; buyruqlarni o’rgatish.
Model/Feature Registry to’liq aloqalar to’plami bilan «ma’lumotlar → chi → model → inferens».

3-6 oy

Audit jurnallari, WORM ombori, regulyatorlar uchun hisobotlarni to’liq qamrab olish.
Avtomatlashtirilgan Release Notes dan diff + linedj.
Repro Rate/Schema Compatibility/Rollback MTTR hisobotlari dashbordlarda.
KPI va «muzlatish» ta’riflarining har choraklik revyusi.

18) Anti-patternlar

KPI semantikasini yangi versiyasiz/reliz notasiz oʻzgartirish.
Backfill-rejasiz va’recomputed’belgisiz «jimgina» qayta hisoblash.
Xom PIIlarni audit-loglarda saqlash.
Dual-run yo’qligi va derazalarni bir zumda almashtirish.
Versiyasi va manbalari ko’rsatilmagan «abadiy» modellar/vitrinalar.

19) Bog’liq bo’limlar

Ma’lumotlarni boshqarish, Ma’lumotlarning kelib chiqishi va yo’li, Kirish nazorati, Tokenizatsiya, Xavfsizlik va shifrlash, Modellar monitoringi, Etika va DSAR, Federated Learning, Maxfiy ML.

Jami

Audit va versiya ma’lumotlar va modellarni ishonchli mahsulotga aylantiradi: har bir o’zgarish shaffof, takrorlanuvchan va qaytariluvchan. iGaming uchun bu KPIga ishonch, muvofiqlik va xavfsiz relizlar tezligining asosidir.