Məlumat auditi və versiyası

1) Niyə lazımdır

Audit və versiya təkrarlanabilirlik yaradır: hər hansı bir rəqəmi izah edə bilərsiniz, hesablamanı təkrarlayın və təhlükəsiz modelləri/vitrinləri inkişaf etdirin. iGaming-də bu maliyyə (GGR/NET), ödənişlər, KYC/AML, Responsible Gaming və tənzimləyici hesabatlar üçün kritikdir.

• Tracking: Kim məlumatları/sxemi/məntiqi və niyə dəyişdirdi.
• Təkrarlanabilirlik: məlumatların/kodun/modelin hansı versiyası hesabata səbəb oldu.
• Reliz təhlükəsizliyi: dönüşümlülük (rollback) və dəyişikliklərin proqnozlaşdırılması.
• Uyğunluq: tənzimləyicilər və daxili auditlər üçün sübut edilə bilən jurnallar.

2) Anlayışlar və versiya səviyyələri

1. Sxem versiyası (Schema Version): sahələrin/tiplərin/semantikanın (SEMVER) təkamülü.
2. Data Set versiyası (Dataset Version): anında şəkil/kəsik; hesabat/təlim üçün «həqiqət».
3. Vitrin versiyası/model BI (Data Product Version): formullar, filtrlər, aqreqasiya.
4. Fich/model ML versiyası: tarix/kod/hiperparametrlər/Fich/data (end-to-end).
5. Payplayn versiyası: transformasiya kodu, konfiqlər, asılılıqlar.
6. Məlumat müqaviləsinin versiyası: istehsalçıya/istehlakçıya tələblər (sxem, SLA, keyfiyyət).

3) Audit: nə loqotip

Kim: subyekt (istifadəçi/xidmət), rol/atributlar (RBAC/ABAC).
Nə: cədvəl/vitrin/model/sxem/müqavilə.
Nə zaman: dəqiq vaxt, tz, korrelyasiya id.
Niyə: tusk/bilet/release nota link, səbəb.
Nə: kod/model versiyası, commit hash, konteyner şəkli.
Necə dəyişdi: əvvəl/sonra (diff), sətir həcmi (rows affected), bütövlük nəzarəti (hash/imza).
Kontekst: mühit (prod/stage), domen, məlumatların həssaslığı (sinif).

Audit jurnalları dəyişməz (append-only/WORM), imzalanmış və SIEM-də mövcuddur.

4) Version siyasəti (tövsiyələr)

SEMVER: `MAJOR. MINOR. PATCH`

MAJOR - sxemdə/semantikada uyğunsuz dəyişikliklər.
MINOR - geri qaytarıla bilən uyğun əlavələr (nullable ilə yeni sahələr/sütunlar, yeni vNext vitrinlər).
PATCH - müqaviləni dəyişdirmədən düzəlişlər (quality-fix, backfill).
Deprecation proseduru: köhnəlmə pəncərəsi, kataloq xəbərdarlıqları/CI, bağlanma tarixi.
Release Notes: azad bir səhifə: nə, niyə, risklər, geri planı.

5) Anbar və axınlarda texnika

Time-travel/Snapshots: masa versiyalarının saxlanması; «T-0-da olduğu kimi» sorğusunu yerinə yetirmək imkanı.
SCD (Slowly Changing Dimensions): Ölçmələr üçün 1/2/3 növləri (oyunlar, provayderlər, oyunçular).
CDC/CDF (Change Data/Capture & Feed): faktları üçün artımlı dəyişikliklər (dərəcələr, ödənişlər, KYC).
Əməliyyat jurnalı (Audit Fact): düzəliş/əlavə/silinmə hadisələri ilə ayrıca faktiki cədvəl.
Bütövlüyə nəzarət: partiyalar/faylların heşləri, paketlərin imzası, aqreqatların yoxlanılması.

6) Devre təkamülü və Data Contracts

Kod kimi müqavilə: sxem, tiplər, sahələrin məcburi olması, icazə verilən dəyərlər, SLA təravəti, DQ qaydaları.
Uyğunluq: sahə → MINOR əlavə; miqrasiyası və dual-write ilə → MAJOR növü/semantikasını dəyişdi.
CI-gate: Release Notes uyğunluğu pozulduqda və ya pozulmadıqda PR dəyişən sxem bloklanır.
Kataloq/Registry: Aktiv/köhnəlmiş versiyaları və sahiblərini saxlayır.

7) BI və metrik versiyası

Sertifikatlaşdırılmış «qızıl» vitrinlər: sabit KPI semantikası (GGR, ARPPU, saxlama).
Dual-run: vitrin yeni versiyası paralel qurulur (v2), metrik müqayisə (tolerance bands).
Hesabatların fiksasiyası: hər bir ixrac/dashboard 'dataset _ version' və 'definition _ version' -a istinad edir.
Təqvim kəsikləri: «dey-kat», «ay-tarixə» - verilənlərin versiyasına yazılır.

8) ML/MLOps versiyası

Model Registry: model, tarix, keyfiyyət metrikası, təlim məlumatları (dataset_version), fich versiyası (feature_set_version).
Feature Store: version fich qrupları; açıq versiyası olmadan «isti» sahələri qadağan.
Repro dəsti: təlim kodu (commit), mühit (Docker/conda lock), led.
Champion-Challenger: prod paralel versiyalar, keyfiyyət hesabatları, fairness və gizlilik.
Rollback: əvvəlki sabit model və fich dəsti üçün sürətli geri dönüş.

9) Rollback, backfill və düzəlişlər

Rollback planı: hər bir MAJOR/MINOR versiyası üçün - aydın geri dönüş addımları.
Backfill playbook: həqiqət mənbəyi, tarix aralığı, yenidən hesablama qaydası, nəzarət məbləğləri, «recomputed = true» işarələri.
Düzəlişlərin görünüşü: v2 yalnız müqayisə edildikdən sonra v1 əvəz edir; bütün «tarixi» hesabatlar öz versiyalarına istinad etməyə davam edir.

10) Auditdə təhlükəsizlik və uyğunluq

Hadisələrin/paketlərin imzası: prodüser imzalayır, istehlakçı yoxlayır.
PII-sanitizasiya: audit xam olmayan PII tokenləri saxlayır.
Legal Hold: istintaq dövründə versiya/log silinməsi qadağan.
DSAR: versiyalar subyektin token qeydlərini tapır və yükləyir; tarixi şəkillər nəzərə alınır.

11) Metrika və SLO

Repro Rate: Hədəf həddi ≥ versiyası/kodundan səsləndirilən hesabatların payı.
Coverage:% time-travel/audit jurnalı daxil olan cədvəllər.
Schema Compatibility Pass: CI-də uğurlu uyğunluq yoxlamalarının payı.
Delta Dual-run: tolerantlıq daxilində v1/v2 uyğunsuzluğu.
Rollback MTTR: orta geri dönüş vaxtı.
Audit Integrity: imzalanmış və yoxlanılmış hadisələrin payı.
Backfill Success: Düzgün tamamlanmış yenidən hesablamaların payı.

12) iGaming üçün nümunələr (hallarda)

GGR-nin geriyə doğru düzəldilməsi: tədarükçü RTP-ni yenidən hesabladı - dövr üçün faktları backfill edirik, 'recomputed _ at' yazırıq, Release Notes-u dərc edirik, v1/v2-ni müqayisə edirik; əvvəlki ayların hesabatlarını yenidən yazmırıq, lakin «düzəliş edilmiş versiya mövcuddur».
Antifrod qaydaları: MAJOR, dual-run modelləri və vitrinləri, regressiya zamanı champion-da rollback.
KYC/AML: nullable ilə yeni provayder statusu - MINOR əlavə; müqavilələrdə uyğunluq testlərini daxil edirik.
RG siqnalları: «itki seriyası» məntiqini aydınlaşdırdı - MINOR + Release Notes və təsir monitorinqi.

13) Alətlər və artefaktlar (kateqoriyalar)

Catalog/Lineage/Registry: set/sxem/vitrin versiyaları, sahibləri, əlaqələr, müqavilələr.
Orchestrator & CI/CD: geytalar uyğunluq, run dual-run, nəşr buraxılış notları.
Time-travel ilə saxlama: şəkillərin/jurnalların saxlanması.
Signing & Checksums: paket imzası, partiyanın nəzarət məbləği.
Model/Feature Registry: phich/model versiyaları, champion-challenger hesabatları.

14) Şablonlar (istifadəyə hazır)

14. 1 Release Notes (eskiz)

Versiyası: 'payments _ gold v2. 1. 0`

Növü: MINOR (yeni sahələr 'psp _ country', 'method _ group')

Səbəb: PSP/ölkələr üzrə hesabatların unifikasiyası

Risklər: «risk _ signals» vitrinli coynlara təsiri

Validasiya: dual-run 14 gün, delta ≤ 0. 2% GGR

Rollback: 'v2 keçid. 0. 3 'orkestrator bayrağı vasitəsilə

Deployun tarixi/sahibi/sorğu

14. 2 Pasport versiyası dəsti

Dataset: `game_rounds_silver`

Versiyası: '2025-11-01T00: 00: 00Z' (snapshot id)

Sxem: 'schema @ 1. 7. 0 '(müqaviləyə keçid)

Mənbə: A/B (commit...)

Bütövlük nəzarəti: checksum, imzalanmış manifest

DQ: tam 99. 9%, təravət ≤ 15 dəq

Istifadə: 'games _ perf _ gold v3. x`, `rg_signals v1. x`

14. 3 Audit aktı dəyişikliklər

Hadisə: update schema 'kyc _ status' → 'kyc _ status, v2'

Kim: user/service, rol 'Data-Engineer'

Nə zaman: '2025-11-01 09:32:10 + 02'

Niyə: bilet # 3421 (yeni provayder statusları)

Diff: + 'status _ reason' (nullable), enum genişləndirilmişdir

Yoxlamalar: CI semver pass, MINOR müqaviləsi

İmza: 'sig =...', hash diff: 'sha256 =...'

14. 4 Version siyasəti (fraqment)

MAJOR: uyğunluq pozur; dual-write ≥ 30 gün; məcburi rollback planı.
MINOR: geri qaytarıla bilər; kataloqdakı xəbərdarlıqlar; A/B vitrin 7-14 gün.
PATCH: keyfiyyət fiksləri/yenidən hesablamalar; Release Notes tələb olunur.
Arxivləşdirmə: tənzimləyici üçün N aylıq snapshot ≥ saxlayın; Audit üçün WORM.

15) Proseslər (end-to-end)

1. Təşəbbüs: dəyişiklik bileti + linedge impakt qiymətləndirilməsi.
2. Dizayn: müqavilə/sxem yenilənməsi + Release Notes.
3. Validasiya: CI-uyğunluq testləri, DQ testləri, dual-run.
4. Deploy: bayraq, kanarya; kataloq versiyası nəşr.
5. Monitorinq: delta v1/v2, KPI, şikayətlər.
6. Geri/Backfill: reqressiya zamanı playbook.
7. Post-mortem: hadisə varsa, siyasət/testlərin yenilənməsi.

16) RACI (nümunə)

Siyasət və standartlar: CDO (A), Data Governance Council (R/A), DPO/Sec (C).
Müqavilələr/sxemlər: Domain Owners (A), Data Stewards (R), Platform/Eng (C).
Orkestr/saxlama: Platform/Eng (R), SRE (C).
BI/metrika: Analytics Lead (R), Product/Finance (C).
ML versiyaları: ML Lead (A), DS (R), Platform (C).
Audit/jurnallar: SecOps (R), Internal Audit (C).

17) Tətbiqi yol xəritəsi

0-30 gün (MVP)

Kritik cədvəllər üçün time-travel/şəkilləri daxil edin (payments, game_rounds, kyc).
Dəyişməz audit jurnalları və ingestion paketlərinin imzasını işə salın.
SEMVER siyasətini və Release Notes şablonunu qəbul edin.
Kataloq: üst vitrinlərə 'owner', 'schema _ version', 'dataset _ version' əlavə edin.

30-90 gün

Bütün MINOR/MAJOR üçün dual-run daxil edin; avtomatik müqayisə v1/v2.
Müqavilələri CI-geytləri və DQ ilə əlaqələndirin.
backfill/rollback qaydaları; komandaları öyrətmək.
Tam əlaqə dəsti ilə Model/Feature Registry «data → fici → model → inferens».

3-6 ay

Tam audit jurnalları əhatə, WORM-saxlama, tənzimləyicilər üçün hesabatlar.
diff + linedge avtomatlaşdırılmış Release Notes.
Repro Rate/Schema Compatibility/Rollback MTTR dashboard hesabatları.
KPI və «dondurma» təriflərinin rüblük revyu versiyaları.

18) Anti-nümunələr

Yeni versiya olmadan KPI semantikasını dəyişdirin/buraxılış notları.
Backfill planı və 'recomputed' işarələri olmadan «sakitcə» yenidən hesablama.
Audit loqlarında xam PII-lərin saxlanması.
Dual-run olmaması və vitrinlərin dərhal dəyişdirilməsi.
Versiyası və mənbələri göstərilmədən «əbədi» modellər/vitrinlər.

19) Əlaqəli bölmələr

Data Management, Data mənşəyi və yolu, Access Control, Tokenization, Təhlükəsizlik və şifrələmə, Model monitorinqi, Etika və DSAR, Federated Learning, Privacy ML.

Yekun

Audit və versiya məlumatları və modelləri etibarlı bir məhsula çevirir: hər dəyişiklik şəffaf, təkrarlanabilir və döndürüləndir. iGaming üçün bu, KPI-yə etimad, uyğunluq davamlılığı və təhlükəsiz buraxılış sürətinin təməlidir.