Veri denetimi ve sürüm oluşturma

1) Neden ihtiyacınız var

Denetim ve sürüm oluşturma tekrarlanabilirlik yaratır: herhangi bir rakamı açıklayabilir, hesaplamayı tekrarlayabilir ve güvenli bir şekilde modeller/vitrinler geliştirebilirsiniz. Bu, iGaming'de finans (GGR/NET), ödemeler, KYC/AML, Sorumlu Oyun ve düzenleyici raporlama için kritik öneme sahiptir.

• İzleme: Verileri/şemayı/mantığı kim değiştirdi ve neden.
• Tekrarlanabilirlik: Verinin/kodun/modelin hangi sürümü raporu oluşturdu.
• Serbest bırakma güvenliği: Geri alma ve değişikliklerin öngörülebilirliği.
• Uyumluluk: Düzenleyiciler ve iç denetimler için kanıtlanabilir günlükler.

2) Kavramlar ve sürüm seviyeleri

1. Şema Sürümü - Alan/Tür/Semantik Evrim (SEMVER).
2. Rapor/eğitim için "doğru'bir zamanda veri kümesi Sürüm-Anlık Görüntü/dilim.
3. Veri Ürünü Sürümü: formüller, filtreler, toplamalar.
4. ML özelliği/model sürümü: tarih/kod/hiperparametre/özellik/veri (uçtan uca).
5. Boru hattı sürümü: dönüştürme kodu, yapılandırmalar, bağımlılıklar.
6. Veri sözleşmesi sürümü: üretici/tüketici gereksinimleri (şema, SLA, kalite).

3) Denetim: ne kaydedilir

Kim: konu (kullanıcı/hizmet), rol/nitelikler (RBAC/ABAC).
Ne: Tablo/Vitrin/Model/Şema/Sözleşme.
Ne zaman: tam zaman, tz, korelasyon kimliği.
Neden: görev/bilet/sürüm notuna bağlantı, sebep.
Than: code/model version, commit hash, container image.
Nasıl değişti: önce/sonra (diff), satır hacmi (etkilenen satırlar), bütünlük kontrolü (karma/imza).
Bağlam: çevre (prod/stage), etki alanı, veri duyarlılığı (class).

Denetim günlükleri yalnızca eklenir/WORM, imzalanır ve SIEM'de bulunur.

4) Sürüm politikası (öneriler)

SEMVER: 'BINBAŞI. MINÖR. PATCH-

MAJOR - uyumsuz şema/semantik değişiklikleri.
MINOR - geri dönüşümlü olarak uyumlu eklemeler (nullable ile yeni alanlar/sütunlar, yeni vNext vitrinleri).
PATCH - sözleşmeyi değiştirmeden düzeltir (kalite düzeltme, geri doldurma).
Sapma prosedürü: eskime penceresi ,/CI dizinindeki uyarılar, bağlantı kesme tarihi.
Sürüm Notları: Sürüm başına bir sayfa: ne, neden, riskler, geri alma planı.

5) Depolama ve akışlardaki teknikler

Zaman yolculuğu/Anlık Görüntüler: tablo sürümlerini depolamak; Sorguyu "açık olduğu gibi" yürütme yeteneği T-0.
SCD (Yavaşça Değişen Boyutlar): Boyutlar için 1/2/3 türleri (oyunlar, sağlayıcılar, oyuncular).
CDC/CDF (Veri/Yakalama ve Beslemeyi Değiştirme): gerçekler için artımlı değişiklikler (oranlar, ödemeler, KYC).
Denetim Olgu-Olayları düzenlemek/eklemek/silmek ile ayrı bir olgu tablosu.
Bütünlük denetimi: toplu iş/dosya karmaları, paket imzaları, toplu mutabakatlar.

6) Devrelerin ve Veri Sözleşmelerinin Evrimi

Kod olarak sözleşme: şema, türler, zorunlu alanlar, izin verilen değerler, SLA tazeliği, DQ kuralları.
Uyumluluk: Eklendi - MINOR alanı; Migration ve dual-writing ile type/semantics - MAJOR değiştirildi.
CI kapısı: Uyumluluk bozulursa veya Sürüm Notları yoksa PR değiştirme şeması engellenir.
Dizin/Kayıt Defteri: etkin/eski sürümleri ve sahipleri depolar.

7) BI ve metriklerde sürüm oluşturma

Sertifikalı "altın" vitrinler: sabit KPI semantiği (GGR, ARPPU, tutma).
Dual-run: Vitrinin yeni bir versiyonu paralel olarak inşa edilmiştir (v2), metriklerin karşılaştırılması (tolerans bantları).
Commit Reports - Her dışa aktarma/kontrol paneli bir 'dataset _ version've bir' definition _ version 'referans verir.
Takvim bölümleri: "dey-kat", "aydan bugüne" - veri sürümünde sabitlenir.

8) ML/MLOps'de sürüm oluşturma

Model Kayıt Defteri: model, tarih, kalite metrikleri, eğitim verileri (dataset_version), özellik sürümleri (feature_set_version).
Özellik Mağazası: sürüm özellik grupları; Açık bir versiyonu olmayan "sıcak" alanların yasaklanması.
Repro seti: eğitim kodu (taahhüt), ortam (Docker/conda kilidi), sid.
Champion-Challenger: Satışlarda paralel versiyonlar, kalite, adalet ve gizlilik hakkında raporlar.
Geri alma: önceki kararlı modele ve özellik setine hızlı geri alma.

9) Geri alma, geri doldurma ve düzeltmeler

Geri alma planı: her MAJOR/MINOR sürümü için - net dönüş adımları.
Dolgu oyun kitabı: gerçeğin kaynağı, tarih aralığı, yeniden hesaplama sırası, sağlama toplamları, etiketler "yeniden hesaplanmış = doğru".
Görünürlüğü düzenleme: V2, yalnızca karşılaştırmadan sonra v1'in yerini alır; Tüm "tarihsel" raporlar kendi versiyonlarına atıfta bulunmaya devam ediyor.

10) Denetimde güvenlik ve uyumluluk

Etkinlik/paket imzalama: üretici işaretleri, tüketici doğrular.
PII sanitasyonu: denetim, ham PII olmayan belirteçleri saklar.
Yasal Saklama: Soruşturma süresince sürüm/günlüklerin silinmemesi.
DSAR: sürümler konu kayıtlarını jetonla bulur ve yükler; Tarihsel görüntüler dikkate alınır.

11) Metrikler ve SLO

Repro Oranı, hedef eşik ≥ veri sürümünden/kodundan oynatılan raporların yüzdesidir.
Kapsam: Zaman yolculuğu/denetim günlüğü etkin tabloların %'si.
Şema Uyumluluk Geçişi: CI'da başarılı uyumluluk kontrollerinin oranı.
Dual-run Delta: Tolerans içinde varyans v1/v2.
Geri alma MTTR: ortalama sürüm geri alma süresi.
Denetim Bütünlüğü - imzalanan ve doğrulanan olayların yüzdesi.
Backfill Başarı - doğru tamamlanan yeniden hesaplamalar yüzdesi.

12) iGaming Desenleri (Kılıflar)

GGR düzeltmesi geriye dönük olarak: tedarikçi RTP'yi yeniden hesapladı - dönem için gerçekleri geri dolduruyoruz, 'recomputed _ at' düzeltiyoruz, Yayın Notlarını yayınlıyoruz, v1/v2'yi karşılaştırıyoruz; Geçen aylara ait raporları yeniden yazmıyoruz, ancak "düzeltilmiş sürüm mevcut'olarak işaretliyoruz.
Dolandırıcılık karşıtı kurallar: Özelliklerin semantiğini değiştiriyoruz - MAJOR, çift çalışan modeller ve vitrinler, gerilerken şampiyona geri dönüş.
KYC/AML: yeni sağlayıcı durumları eklendi - nullable ile MINOR; Uyumluluk testlerini sözleşmelere dahil edin.
RG sinyalleri: "Kayıplar serisinin" mantığını netleştirdi - MINOR + Sürüm Notları ve etki izleme.

13) Araçlar ve eserler (kategoriler)

Katalog/Lineage/Registry: set/schematic/storefront versiyonları, sahipler, bağlantılar, sözleşmeler.
Orkestratör ve CI/CD: uyumluluk kapıları, çift çalıştırma, yayın notları yayınlama.
Zaman yolculuğu ile depolama: Anlık görüntülerin/günlüklerin depolanması.
İmzalama ve Sağlama Toplamı: toplu imza, toplu sağlama toplamı.
Model/Özellik Kaydı: özellik/model sürümleri, şampiyon-meydan okuyucu raporları.

14) Şablonlar (kullanıma hazır)

14. 1 Sürüm Notları

Sürüm: 'payments _ gold v2. 1. 0`

Tür: MINOR (yeni alanlar 'psp _ country', 'method _ group')

Sebep: PSP/Ülke Raporlama Birleşmesi

Riskler: Ekran kasası 'risk _ signals' üzerindeki etkisi

Doğrulama: Çift çalışma 14 gün, delta ≤ 0. %2 GGR

Geri alma: 'v2'ye geç. 0. 3 'orkestratör bayrağı aracılığıyla

Tarih/sahip/bilet dağıtma

14. 2 Kit sürümü pasaport

Veri kümesi: 'game _ rounds _ silver'

Sürüm: '2025-11-01T00: 00: 00Z' (anlık görüntü kimliği)

Şema: 'şema @ 1. 7. 0 '(sözleşme referansı)

Kaynak: Sağlayıcı A/B Besliyor (taahhüt...)

Bütünlük sağlama toplamı imzalı manifesto

DQ: Tamlık 99. %9, tazelik ≤ 15 dakika

Kullanım Alanları: 'games _ perf _ gold v3. x ',' rg _ sinyalleri v1. x '

14. 3 Denetim raporunu değiştirin

Olay: 'kyc _ status' şemasını güncelle - 'kyc _ status, v2'

Kullanıcı/hizmet, 'Veri Mühendisi' rolü

Ne zaman: '2025-11-01 09:32:10 + 02'

Neden: Bilet # 3421 (yeni sağlayıcı durumları)

Diff: + 'status _ reason' (nullable), enum extended

Kontroller: CI semver geçişi, MINOR sözleşmesi

Altyazı: 'sig =...', hash diff: 'sha256 =...'

14. 4 Sürüm politikası (parça)

MAJOR: uyumluluğu bozar; Çift yazmalı ≥ 30 gün; zorunlu geri dönüş planı.
MINOR: tersinir uyumlu; A/B dizinindeki uyarılar 7-14 gün vitrinler.
PATCH: kalite düzeltmeleri/yeniden hesaplamalar; Release Notes gereklidir.
Arşivleme: N ay ≥ düzenleme için anlık görüntüleri saklıyoruz; Denetim için WORM.

15) Süreçler (uçtan uca)

1. Girişim: bilet + linedge etki puanını değiştirin.
2. Mühendislik Sözleşmesi/Şema Güncellemesi + Sürüm Notları.
3. Doğrulama: CI uyumluluk kontrolleri, DQ testleri, çift çalıştırma.
4. Dağıtım: bayrağa göre, kanarya; Kataloğa sürümü yayınlayın.
5. İzleme: delta v1/v2, KPI, şikayetler.
6. Backfill: Regresyon oyun kitabına göre.
7. Post-mortem: eğer olay, güncelleme politikası/testleri.

16) RACI (örnek)

Politikalar ve Standartlar: CDO (A), Veri Yönetişim Konseyi (R/A), DPO/Sec (C).
Sözleşmeler/şemalar: Alan Sahipleri (A), Veri Görevlileri (R), Platform/Eng (C).
Orkestrasyon/Depolama: Platform/Eng (R), SRE (C).
BI/metrikler: Analytics Lead (R), Ürün/Finans (C).
ML sürümleri: ML Kurşun (A), DS (R), Platform (C).
Denetim/Günlükler: SecOps (R), İç Denetim (C).

17) Uygulama Yol Haritası

0-30 gün (MVP)

Kritik tablolar için zaman yolculuğu/anlık görüntüleri etkinleştirin (ödemeler, game_rounds, kyc).
Değişmez denetim günlüklerini ve yutma paketlerinin imzasını çalıştırın.
SEMVER ilkesini ve Release Notes şablonunu kabul edin.
Katalog: üst vitrinlere 'owner', 'schema _ version', 'dataset _ version' ekleyin.

30-90 gün

Tüm MINOR/MAJOR için çift çalıştırma girin; Otomatik v1/v2 karşılaştırması.
Sözleşmeleri uyumluluk ve DQ CI kapıları ile ilişkilendirin.
Geri doldurma/geri alma yönetmeliği; Tren takımları.
Model/Özellik Kayıt Defteri, tam bir dannyye seti ile - fichi - model - bağlantıları çıkarır.

3-6 ay

Tam denetim günlüğü kapsamı, WORM depolama, düzenleyiciler için raporlar.
Diff + soyundan Otomatik Sürüm Notları.
Repro Rate/Schema Compatibility/Rollback MTTR panolarda raporlar.
KPI sürümlerinin üç ayda bir gözden geçirilmesi ve tanımların "dondurulması".

18) Anti-desenler

KPI semantiğini yeni bir sürüm/sürüm notu olmadan değiştirme.
Geri doldurma planı ve 'yeniden hesaplanmış' işaretler olmadan "sessizce" yeniden hesaplamalar.
Ham PII'nin denetim günlüklerinde depolanması.
Çift çalıştırma ve anında pencere değiştirme eksikliği.
Sürümü ve kaynakları belirtmeden "Ebedi" modeller/vitrinler.

19) İlgili bölümler

Veri Yönetimi, Veri Kökeni ve Yolu, Erişim Kontrolü, Tokenizasyon, Güvenlik ve Şifreleme, Model İzleme, Etik ve DSAR, Federe Öğrenme, Gizli ML.

Sonuç

Denetim ve sürüm oluşturma, verileri ve modelleri güvenilir bir ürüne dönüştürür: Her değişiklik şeffaf, tekrarlanabilir ve geri dönüşümlüdür. Bu, iGaming için KPI'lara güvenin, uyumluluğun sürdürülebilirliğinin ve güvenli sürümlerin hızının temelidir.