Dati di riparazione automatica

1) Definizione e obiettivi

I dati di riparazione automatica sono un approccio all'ingegneria dei dati in cui i difetti vengono rilevati automaticamente, mentre le azioni correttive (riparazione, riparazione, reimpostazione, riconsolidazione, ridefinizione) vengono eseguite senza il coinvolgimento umano o con un intervento minimo (human-in-the-loop per le valigette sensibili).
Obiettivi: riduzione dei dati MTTR, maggiore fiducia, resistenza alla deriva e ai guasti, prevedibile costo di proprietà.

2) Guasti tipici da trattare

Schemi e contratti: modifiche incompatibili, colonne mancanti, conflitti tipici.
Qualità/integrità: duplicati, omissioni, violazioni di unicità/integrità referenziale.
Tempo e freschezza: ritardi all'iniezione, buchi alle finestre, dissincronizzazione TZ/locale.
Identificatori e chiavi: cambio del generatore ID, collisioni, chiavi naturali fluttuanti.
Ordine degli eventi: eventi in ritardo, riordino, reimpostazione (at-least-once).
Magazzini: degrado delle partenze, file/blocchi battuti, distorsione dello sharding.
Diritti/protezione: maschere/crittografia non corrette, fuoriuscite PII nei download.

3) Pilastri di autosufficienza

1. Contratti dati (schemas + regole) con test automatici.
2. Pipline idropotenti (riattivazione senza doppi effetti).
3. Cronologia e riproduzione (raw/bronze invariate, lineage).
4. Meccanismi di riparazione (replay, backfill, compettion, merge-repair, rebuild).
5. Osservabilità e SLO (freschezza, completezza, unicità, latitanza).
6. Regole decisionali (quando è automatico, quando si scala).

4) Contratti e test di qualità

Il contratto descrive: schema, intervalli validi, unicità, RLS/occultamento, SLA freschezza.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

I test vengono eseguiti ad ogni passo, con l'iniezione di stagnazione e la vetrina. La violazione delle regole attiva la riparazione automatica (vedere qui sotto) e/o la quarantena.

5) Idampotenza e determinismo

Upsert/Merge per chiavi stabili (SCD2 per la cronologia, SCD1 per i tagli).
Trasformazioni determinate: una sola entrata e una sola uscita con gli stessi parametri.
Controllo versioni - Fissa la versione di codice/diagrammi/livelli e l'etichetta di dati (watermark).
Idempotent sink: scrittura attraverso staging + atomic swap/rename.
Exactly-oncè è accettabile «at-least-once» di trasporto + Idempotent Recettore.

6) Meccanismi di riparazione automatica (repair toolkit)

Replay/Backfill: nuova consegna per la finestra «t» [T0, T1] 'dal registro invariato (raw).
Ricomposizione - Confronta le unità/chiavi tra i livelli (raw ↔ curated ↔ marts) e tra i sistemi (origine ↔ DWH).
Deduplication: window-dedup chiave (txn _ id, event _ id) + euristica distanza (fuzzy per chiavi «sporche»).
Compettion - Trasbordo di file di piccole dimensioni in partiture di grandi dimensioni (Parket/ORC), ridefinizione.
Merge-repair - In caso di conflitto di record, predici di priorità (per origine/ora/versione).
Rebuild indici/materializzazioni: riconteggio aggregazioni/cube/roll-up.
Quarantine/Shadow - le partenze sospette vengono isolate; I consumatori leggono un ramo pulito.
Schema mediation - Selettore di proiezioni automatico (riempimento dei default, colonne calcolate) a modifiche minori.

7) Protezione dello storage e integrità

Assegno-somma e convalida blocchi (CRC, parità).
Storage quorum (RAFT/Paxos-compatibili, quorum reads/writes).
Codifica della cancellazione (erasure coding) per ridondanza a costi contenuti.
Versioning degli oggetti (object store versioning, undelete).
Atomic commit в Lakehouse (transaction log, ACID-таблицы: Delta/Iceberg/Hudi).

8) Ordine degli eventi e «realtà sporca»

Eventi in ritardo: tenete lateness-window, usate watermarc'e; ricalcolare le finestre.
Nuova spedizione: dedup per globale «event _ id», tabella idempotency-keys.
Ora di offset: normalizzazione TZ, memorizzazione «ingested _ at» e «event _ time».
Out-of-order - Aggregazioni basate su event _ time con regolazione watermark.

9) Logica decisionale (policy engine)

La regola è: «Che tipo di anomalia che tipo di azione ha fatto?»

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) Osservabilità e SLO per i dati

• Freschezza (Freshness) vetrina da 15 minuti
• Completezza (Completeness)> 99. Il 5% nei campi chiave.
• Univocità chiavi (Uniqueness) - Duplicati <0. 01%.
• Latitudine di calcolo: p95 <5 min
• Sostenibilità riparazione: MTTR-data <30 min

Metriche e alert: espone in Prometheus/Grafana; Creare un nastro prioritario per gli incidenti di dati.

11) Riconsiliare e comprimere (pratiche)

Comprimere gli aggregati con «count/sum/min/max» tra livelli/sistemi su una finestra di scorrimento.
Conteggio chiavi: differenza simmetrica tra i molteplici « = (A\B) (B\A)».
Controllo job periodico: confronto con l'origine, controllo selettivo sul primario.
Pagamenti/finanza: doppia voce (doppio-entry), curazione diurna cut-off, registro regolazioni.

12) Gestione degli schemi e evoluzione

SemVer per diagrammi: MAGGIORE (rompe )/MINORE (aggiunge )/PATCH (corregge).
Contratti CI/CD: schema-differf, compatibilità, generazione automatica delle migrazioni.
Backfill-gancio: a MINOR aggiungi default/campi calcolati, conteggi le vetrine.
Proiezioni flessibili: i lettori leggono sottoinsiemi di colonne; «SELECT» è vietato.

13) Sicurezza, privacy, compliance

RLS/CLS - Filtri di righe/colonne, soprattutto nei rami repair e nelle esportazioni.
Maschera PII: determinata (tokenization) per la deduplicazione sostenibile.
Controllo di accesso/esportazione: chi ha visto cosa ha esportato, dove l'ha mandato.
DSAR/Retention: rimozione/anonimizzazione automatica nei processi repair I rimborsi contano i requisiti legali.

14) Costi e prestazioni

Cost-aware backfill - Limita la larghezza delle finestre (ad esempio, 3-7 giorni).
Materiali e cache - Calcola nuovamente solo le partizioni modificate.
Priorità: prima vetrine critiche (finanza, rischi), poi analisi.
Riparazioni off-peak - finestre notturne/bassa priorità nel pianificatore.

15) Test e simulazioni di incidenti

Chaos-data-testing - Rompe deliberatamente le partizioni/schemi sullo sterzo.
Ritardi contraffatti: simulare i passaggi di batch, out-of-order, duplicati.
Golden datasets - I riferimenti per la riconciliazione dopo la riparazione.
GameDays: allenamento regolare del team di runbook.

16) Antipattern

Correzioni invisibili: modifiche silenziose senza controllo o report.
Backfill non toccati: nessuna fonte di verità/versione delle formule.
Richieste OLTP live pesanti durante la riparazione: estrazione di protesi.
SELECT per i consumatori: si rompe a qualsiasi cambiamento MINOR.
L'unica chiave di deduplicazione è la mancanza di chiavi fallback/hash.

17) Road map di implementazione

1. Discovery: set critici/metriche, rischi, proprietari la mappa delle dipendenze.
2. Contratti e test: formalizza gli schemi/regole in CHI; publish glossario.
3. Idampotenza: ricreare i pipline chiave in upsert/merge, atomic sink.
4. Registro raw e lineage - Livello invariato, metadati completi, watermarc'e.
5. Meccaniche Repair: backfill/replay, dedup, compettion, quarantine; policy engine.
6. Osservazione e SLO: dashboard di qualità, alert, nastro prioritario.
7. Chaos-data e allenamento - esercitazioni regolari + runbook '.
8. Ottimizzazione dei costi: conteggio incrementale, priorità delle finestre.

18) Foglio di assegno prima del lancio

• Contratti di dati e test di qualità coprono set critici.
• I pipline sono idepotenti; ci sono commit atomic e rimborsi.
• Sono stati configurati backfill/replay e quarantine e sono stati definiti i criteri di escalation.
• Metriche Freshness/Completeness/Uniqueness/Latency e alert in vendita.
• Controllo delle modifiche/riparazioni attivato memorizzate le versioni delle formule e delle vetrine.
• DSAR/Retention vengono mantenuti durante la riparazione e il ripristino.
• Ci sono runbook 'e, esercitazioni effettuate, MTTR-target fissato.
• Il costo del backfill è limitato al budget-guardia.

19) Esempi di attività automatiche (modelli)

«Fallisce la freschezza della vetrina X» backfill (last _ 2h) se non ok per 30 min quarantine + pagina on-call.
«Duplicazione txn _ id» consente di attivare un rapporto di causa più rigoroso denup + compressione con l'origine.
«MINOR-Modifica dello schema» è in grado di generare un campo di default calcolato per le unità rebuild.
«Perdita partenze» consente di ripristinare dall'oggetto versionato la verifica con un importo di assegno.

Il risultato è che i dati di riparazione automatica non sono un solo script di riparazione, ma un'architettura di sistema: contratti formali, pipline idropotenti, registrazioni affidabili, meccaniche di riparazione automatizzate e visibilità trasparente con SLO rigorosi. Questo sistema non solo si aggiusta, ma trasforma gli incidenti in eventi gestiti con costi e tempi di recupero comprensibili.