Test delle reti di montaggio dati

1) Perché testare le reti di montaggio dati

• Veridicità (correctness) e stabilità (resilience).
• Prevedibilità delle modifiche (schema/logic evolution).
• Rispetto dello SLO per freschezza, completezza, latitanza.
• Rilascio rapido (velocità di rilascio) grazie alla verifica automatizzata.

2) Piramide di test dei dati

Dal basso verso l'alto, ci sono molti test locali rapidi, meno di integrazione un pò end-to-end.

1. Test unit di trasformazione (funzioni, UDF, viste SQL, modelli dbt).
2. Test di qualità dei dati (regole di freschezza/completezza/esclusività/intervalli).
3. Contratti e schemi (schema/contract test, evoluzione).

4. Test di integrazione del pipline (DAG: ingest storage)

5. Test E2E (dall'origine alla vetrina/API), inclusi i diritti (RLS/CLS) e l'esportazione.
6. Carico/prestazioni (volume, velocità, cost-to-serve).
7. Test di caos dei dati (ritardi, duplicati, out-of-order, indisponibilità).

3) Tipi di test: esattamente cosa stiamo verificando

3. 1 Test unit di logica

Funzioni di trasformazione pulite property-based (invarianti - idampotenza, monotonia).
SQL/DBT: confronto tra il risultato e il riferimento (golden set), proibizione'SELECT ', controllo del filtro in base al tempo.

3. 2 Test di qualità dei dati (DQ)

Freschezza, ritenzione delle vetrine oltre la soglia di destinazione.
Completezza: quantità/percentuale di riempimento prevista.
Unicità: chiavi senza duplicati.
Regole di dominio: intervalli, integrità referenziale, invarianti aziendali.
Anomalie: outlieri, picchi di duplicati, interruzioni di tempo.

3. 3 Contratti e schemi

Compatibilità delle modifiche (SemVer MAGGIORE/MINORE/PATCH).
Contiene colonne, tipi, vincoli obbligatori.
I semantici KPI fissati sono formule e finestre di aggregazione.

3. 4 Integrazione e E2E

Integrità DAG: trigger, dipendenze, ripetizione idropotente.
Percorso completo: sorgente → raw → curated → marts → BI/API; RLS/CLS.

3. 5 Prestazioni e costi

p95/p99 latitanza jobs, throughput (rows/s), volume/valore.
Test di regressione delle prestazioni e limiti sugli scani.

3. 6 Sicurezza e privacy

Maschera PII/PCI (localizzazione determinata).
Controllo RLS/CLS: gli utenti vedono solo il loro.
Esportazione/Snepshot: nessun campo personale grezzo.

4) Specificità dello streaming (Kafka/Flink/Spark Struttured Streaming)

Watermarks e lateness - Test delle finestre con eventi in ritardo (T + ), calcoli corretti.
Exactly-once in senso «event _ id», scrittura idempotente (upsert/merge).
Out-of-order - Invarianti per aggregazioni per «event _ time»; fissiamo «ingested _ at».
Perdita/ripetizione: simuliamo il drop/reigro delle partizioni, controlliamo la correttezza delle vetrine.

5) Idampotenza e determinismo (cosa e come testare)

Il riavvio del passo produce lo stesso risultato (con gli stessi parametri della finestra).
Scrittura tramite staging e swap atomic.
La logica Merge con SCD1/SCD2 è coperta da test di conflitto (last-write-wins, source priority).
Unità di rilevamento UDF: ingressi identici, uscite identiche.

6) Gestione dei dati di prova

Golden datasets - Piccoli riferimenti con convalida manuale.
Sintetica + fabbrica dati - Copertura dei bordi del dominio (nulls, extreme values, Unicode, TZ).
I prod-sample identificati corrispondono alla privacy.
Le ficsture a strati sono eventi crudi, livelli intermedi, vetrine totali.

7) Contratti dati: esempio e regole

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Osservabilità e test SLO

Esportazione di metriche: Freshness, Completeness, Uniqueness, Latency in Grafana/Prometheus.
Gli alert SLO come test unit «rossi» (Synthetics).
«Dopo la release della X p95, il 40%».

9) CI/CD e ambienti

CI: unit + DQ + contratti per PR; schema-diff; analisi statica SQL (linter).
Cavo di sabbia/staging: test di integrazione e e2e, test di caos con dati sicuri.
Feature-flags: giubbotti canari/modelli/formule.
Catalogo: versione schemi, formule KPI, lineage; Aggiornamento automatico della documentazione.

10) Test di caos dei dati (Chaos-Data)

Iniezione di duplicati/omissioni, ritardi, out-of-order.
La caduta del broker/partitella, i file «battuti», schema draft.
Valutiamo riparazioni auto (replay/backfill), quarantine e alert, MTTR-data.

11) Carico e costo

Generatori di traffico con profilo p95/picco.
Limiti di scansione/passo (byces scanned, time caps).
A/B profilatore di valore: «vecchio» vs «nuovo» modello/query.

12) Strumenti (classi approssimative)

DQ/Contratti: dbt test, Great Expectations, Deeqase, Soda, Custom linters.
Orchestrazione: Airflow/Dagster/Argo/Preferect (operatori per i test su ogni passo).
Piattaforme: BigQuery/Snowflake/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Streaming: Kafka, Flink, Spark Streaming; TestContainers per ambienti locali.
Observability: Prometheus/Grafana/Otel; i .

13) Antipattern

«Non c'è niente da testare è solo SQL». Nessuna unità e nessun DQ si rompe.
Solo l'E2E è lento, instabile, le cause del guasto non sono chiare.
SELECT: si rompe con l'evoluzione MINOR.
Lettura live OLTP nei test: instabilità e flaconcini.
Nessun set di golden - Nessun confronto tra i risultati.
Nessun test di idempotenza. Il nuovo avvio rovina i dati.
Lo streaming dimenticato non viene testato lateness/out-of-order/reimpostazione.

14) Road map di implementazione

1. Base: test unit di trasformazione, set golden, linter SQL, regole DQ top-10 vetrine.
2. Contratti: schema-differf in CI, SemVer, controlli automatici di compatibilità.
3. Integrazioni: test DAG, idempotency, e2e per flussi critici.
4. Streaming: test watermarks/lateness, dedup/idempotent sinks.
5. SLO e caos: metriche di qualità in vendita, alert, scenari di caos, obiettivi MTTR.
6. Ottimizzazione: perf-regressione, budget-guardia, release canarie.

15) Foglio di assegno prima del lancio

• I test unit coprono le principali trasformazioni e UDF.
• Le regole DQ per freschezza/completezza/esclusività/intervalli passano.
• Contratti e schema-diff verde; Non c'è nessun cambiamento rotto senza apripista.
• Idempotenza verificata; atomic sink/merge funziona.
• Streaming: watermarks/late data/out-of-order sono coperti; deadup in loco.
• Le metriche SLO sono esposte; gli alert sono configurati runbooks ci sono.
• I dati di prova sono sicuri; PII mascherati; RLS/CLS convalidati.
• Non ci sono regressioni perf; limiti di scansione/tempo rispettati.
• I test di caos degli scenari di base sono stati completati; Il target MTTR è raggiungibile.

16) Esempi di mini-modelli

16. 1 SQL Unit Test (pseudo-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 Regola di freschezza (Great Expectations-Stile):

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Controllo lateness in strike (pseudonimo):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Contract-test (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Totale

Testare le reti di montaggio dati è una disciplina di sistema, non una serie di controlli differenziati. Collegare la piramide dei test, i contratti e l'osservabilità con le pratiche di idempotenza, l'evoluzione dei circuiti e gli invarianti dello streaming. I comunicati diventeranno rapidi, gli incidenti saranno rari e brevi, e la credibilità dei dati sarà sostenibile.