Controllo dei dati e versioni

1) Perché è necessario

Il controllo e la versionabilità creano riproducibilità: puoi spiegare qualsiasi numero, ripetere il calcolo e sviluppare i modelli/vetrine in modo sicuro. Nel iGaming, questo è critico per la finanza (GGR/NET), pagamenti, KYC/AML, Respontible Gaming e rapporti regolatori.

• Traccia: chi ha cambiato dati/schema/logica e perché.
• Riproduzione: quale versione dei dati/codice/modello ha generato il report.
• Sicurezza dei rilasci: reversibilità (rollback) e prevedibilità dei cambiamenti.
• Conformità: registri provabili per i regolatori e le udienze interne.

2) Concetti e livelli di versione

1. Versione schema (Schema Variante) - Evoluzione dei campi/tipi/semantici (SEMVER).
2. Versione set di dati - Istantanea/taglio al momento «verità» per il report/training.
3. Versione vetrina/modello BI (Data Product Variante) - Formule, filtri, aggregazioni.
4. Versione Fich/modello ML: data/codice/iperparametri/ficchi/dati (end-to-end).
5. La versione del pipline è codice trasformazioni, configi, dipendenze.
6. Versione del contratto dati: requisiti del produttore/consumatore (schema, SLA, qualità).

3) Controllo: cosa logica

Chi: soggetto (utente/servizio), ruolo/attributi (RBAC/ABAC).
Cosa: tabella/vetrina/modello/schema/contratto.
Quando: ora esatta, tz, id correlato.
Perché: riferimento a tusk/ticket/nota di rilascio, motivo.
La versione codice/modello, commit hash, immagine contenitore.
Come è cambiato: prima/dopo (differf), volume di righe (raws affected), controllo di integrità (hash/firma).
Contesto: ambiente (prod/stage), dominio, sensibilità dei dati (classe).

I registri di controllo sono invariati (append-only/WORM), firmati e disponibili in SIEM.

4) Criteri di versionalità (raccomandazioni)

SEMVER: `MAJOR. MINOR. PATCH`

MAJOR - Modifiche allo schema/semantico incompatibili.
MINOR - Aggiunte reversibili (nuovi campi/colonne con nullable, nuove vetrine vNext).
PATCH - Correzioni senza modifiche al contratto (quality-fix, backfill).
Procedura di deprecazione: finestra di obsolescenza, avvisi nella directory/CI, data di disattivazione.
Release Note: una pagina per rilascio: cosa, perché, rischi, piano di recupero.

5) Tecniche di storage e flussi

Time-travel/Snapshots: memorizza le versioni delle tabelle; possibilità di eseguire la query «come era su T-0».
SCD (Slowly Changing Dimensions) è il tipo 1/2/3 per le misurazioni (giochi, provider, giocatori).
CDC/CDF (Change Data/Capture & Feed) - modifiche incrementali per i fatti (scommesse, pagamenti, KYC).
Registro operazioni - Una tabella di dati separata con eventi di modifica, aggiunta/eliminazione.
Controllo integrità: hash partition/file, firma pacchetti, verifica aggregazioni.

6) Evoluzione dei circuiti e Data Contracts

Contratto come codice: schema, tipi, obbligatorietà dei campi, valori validi, SLA freschezza, regole DQ.
Compatibilità: aggiunta del campo → MINOR; hanno cambiato il tipo/semantica di MAJOR con migrazione e dual-write.
Gate CI: lo schema di cambio PR viene bloccato se la compatibilità è compromessa o meno.
Directory/Registry - Memorizza le versioni attive/obsolete e i proprietari.

7) Versionabilità in BI e metriche

Vetrine d'oro certificate: semantica fissa KPI (GGR, ARPPU, ritenzione).
Dual-run - La nuova versione della vetrina viene costruita in parallelo (v2), confrontando le metriche (tolerance bands).
Fissa report: ogni esportazione/dashboard fa riferimento à dataset _ version'e'definition _ variante '.
I tagli di calendario: «day-cat», «mese-data» vengono registrati sulla versione dei dati.

8) Versionabilità in ML/MLOps

Model Registry: modello, data, metriche di qualità, dati di apprendimento, versioni di fich (feature _ set _ variante).
Feature Store - Gruppi di fich versionati Vietare i campi hot senza una versione esplicita.
Ricro set: codice di allenamento (commit), ambiente (Docker/conda lock), side.
Champion-Challenger: versioni parallele in vendita, report qualità, fairness e privacy.
Rollback: ripristino rapido sul modello stabile precedente e il set di fich.

9) Rollback, backfill e correzioni

Piano Rollback - Per ogni versione MAGGIORE/MINORE, le fasi di ritorno sono chiare.
Backfill-playbook: origine della verità, intervallo di date, ordine di riconteggio, checkpoint, etichette «recomputed = true».
Visibilità di modifica: v2 sostituisce v1 solo dopo il confronto; Tutti i report «storici» continuano a fare riferimento alle loro versioni.

10) Sicurezza e compilazione nel controllo

Firma eventi/pacchetti: il produttore firma, il consumatore controlla.
Riassorbimento PII - Il controllo memorizza i token non PII crudi.
Legale Hold: impedisce l'eliminazione di versioni/fogli per il periodo di indagine.
DSAR - Le versioni individuano e scaricano i record dell'oggetto per token. Conta le istantanee storiche.

11) Metriche e SLO

Repro Rate - Percentuale di report riprodotti dalla versione dei dati/codice della soglia di destinazione.
Coverage:% tabelle con time-travel/registro di controllo attivato.
Schema Compatibility Pass: percentuale di test di compatibilità completati in CI.
Dual-run Delta: soluzione v1/v2 entro i limiti di tolleranza.
Rollback MTTR: tempo medio di ripristino della versione.
Audit Integrity - Percentuale di eventi firmati e convalidati.
Backfill Success - Percentuale di calcoli completati correttamente.

12) Pattern per iGaming (valigette)

Correzione GGR a posteriori: il fornitore ha ricontrollato RTP - facciamo backfill dei fatti nel periodo, registriamo «recomputed _ at», pubblichiamo Release Note, confrontiamo v1/v2; i report dei mesi passati non sono stati riscritti, ma contrassegniamo «versione modificata disponibile».
Regole antifrode: cambiamo la semantica del phichi - MAJOR, modelli dual-run e vetrine, rollback a campione in regressione.
KYC/AML: aggiungono nuovi stati provider - MINOR con nullable; includiamo i test di compatibilità nei contratti.
I segnali RG chiariscono la logica delle «serie perse» - MINOR + Release Note e il monitoraggio dell'impatto.

13) Strumenti e manufatti (categorie)

Catalog/Lineage/Registry: versioni di set/diagrammi/vetrine, proprietari, connessioni, contratti.
Orchestrator & CI/CD: gate compatibilità, ricerca dual-run, pubblicazione di note di uscita.
Storage time-travel - Memorizzazione di snapshot/log.
Signing & Checksums - Firma i pacchetti, gli importi di controllo delle partiture.
Model/Feature Registry - Versioni Fich/modelli, Report campione-challenger.

14) Modelli (pronto per l'uso)

14. 1 Release Note (sketch)

Versione: 'payments _ gold v2. 1. 0`

Tipo: MINOR (nuovi campi «psp _ country», «method _ group»)

Motivo: unificazione dei report PSP/paesi

Rischi: impatto sui gioielli con la vetrina'risk _ signals '

Validazione: dual-run 14 giorni, delta-0. 2% su GGR

Rollback a «v2». 0. 3 'attraverso la bandiera dell'orchestratore

Data del deposito/proprietario/ticket

14. 2 Passaporto versione set

Dataset: `game_rounds_silver`

Versione «2025-11-01T00: 00: 00Z» (snapshot id)

Schema: 'schema @ 1. 7. 0 '(collegamento al contratto)

Sorgente: fidi di provider A/B (commit...)

Controllo integrità checksum, manifesto firmato

DQ: completezza 99. 9%, freschezza 15 min

Usi: 'games _ perf _ golf v3. x`, `rg_signals v1. x`

14. 3 Controllo delle modifiche

Evento: update schema 'kyc _ status' →' kyc _ status, v2 '

Chi: user/service, ruolo «Data-Engineer»

Quando: '2025-11-01 09:32:10 + 02'

Perché: Ticket # 3421 (Nuovi stati provider)

Diff: + 'status _ reason' (nullable), enum esteso

Controlli: CI semver pass, contratto MINOR

Firma: 'sig =...', hash differf: 'sha256 =...'

14. 4 Criteri di versione (sezione)

MAGGIORE - Rompe la compatibilità dual-write per 30 giorni; Piano rollback obbligatorio.
MINOR è reversibile avvisi nella directory A/B vetrine 7-14 giorni.
PATCH - Fissi qualità/conteggio Release Note è obbligatorio.
Archiviazione: memorizziamo il ≥ N mesi di snapshot per regolazione; WORM per il controllo.

15) Processi (end-to-end)

1. Iniziativa: Ticket di modifica + valutazione di impaccio in linea.
2. Progettazione: aggiornamento del contratto/schema + Release Note.
3. Convalida: controlli di compatibilità CI, test DQ, dual-run.
4. Per bandiera, canarino; pubblicazione della versione nella directory.
5. Monitoraggio delta v1/v2, KPI, reclami.
6. Reimpostazione/Backfill: per playbook durante la regressione.
7. Post mortem: se si verifica un incidente, aggiorna criteri/test.

16) RACI (esempio)

Criteri e standard: CDO (A), Data Governance Council (R/A), DPO/Sec (C).
Contratti/schemi: Domain Owners (A), Data Stewards (R), Platform/Eng (C).
Orchestrazione/archiviazione: Platform/Eng (R), SRE (C).
BI/metriche: Analytics Lead (R), Product/Finance (C).
Versione ML: ML Lead (A), DS (R), Platform (C).
Controllo/registro: SecOps (R), Internal Auditel (C).

17) Road map di implementazione

0-30 giorni (MVP)

Attiva time-travel/snapshot per le tabelle critiche (payments, game _ rounds, kyc).
Esegui registri di controllo invariati e firma pacchetti ingestione.
Accetta criteri SEMVER e modello Release Note.
Cartella: aggiungi «owner», «schema _ variante», «dataset _ version» alle vetrine top.

30-90 giorni

Immettere dual-run per tutti MINOR/MAJOR; confronto automatico v1/v2.
Collega i contratti ai gate di compatibilità CI e DQ.
Regolamento backfill/rollback; istruire i comandi.
Model/Feature Registry con una serie completa di collegamenti «dannyye→fichi→model→inferens».

3-6 mesi

Copertura completa dei registri di verifica, storage WORM, report per i regolatori.
Release Note automatizzate da diff + linea.
Report Repro Rate/Schema Compatibility/Rollback MTTR nei dashboard.
Ringhiera trimestrale delle versioni KPI e congelamento delle definizioni.

18) Anti-pattern

Modifica la semantica KPI senza una nuova versione/rilascio-nota.
Conteggi silenziosi senza backfill e etichette «recomputed».
Memorizza i PII crudi nei logi di controllo.
Assenza di dual-run e sostituzione istantanea delle vetrine.
Modelli/vetrine «eterni» senza alcuna versione o origine.

19) Partizioni correlate

Gestione dei dati, Origine e percorso dati, Controllo degli accessi, Tokenizzazione, Sicurezza e crittografia, Monitoraggio dei modelli, Etica e DSAR, Federated Learning, Privacy ML.

Totale

Il controllo e la versionabilità trasformano i dati e i modelli in un prodotto affidabile: ogni modifica è trasparente, riproduttiva e reversibile. Questa è la base per la fiducia nel KPI, la sostenibilità della compilazione e la velocità di rilascio sicuro.