Cycle de vie des données

1) Désignation et principes

Objectif : Assurer un mouvement prévisible, cohérent et économique des données du moment de leur apparition jusqu'à leur suppression finale, en appuyant les scénarios analytiques, opérationnels et réglementaires.

• Données en tant que produit : chaque ensemble a un propriétaire, un contrat, un SLO, une documentation.
• Schema-first : les schémas sont obligatoires ; les changements se font par la versionation.
• Privacy-by-Design : minimisation des PII, pseudonymisation, stockage régional.
• Observability-by-Default : métriques, logging d'accès, lineage.
• Cost-aware : niveaux de stockage, TTL, échantillonnage, compression.

2) Phases du cycle de vie

2. 1 Création et collecte (Create/Collect)

Sources : produits (web/mobile), backends, paiements, fournisseurs KYC/AML, jeux/studios, marketing, logs d'exploitation.
Identifiants : 'event _ id', 'user. pseudo_id`, `session_id`, `trace_id`.
Contrats : schémas JSON/Avro, AsyncAPI/OpenAPI.
Qualité à l'entrée : validation des schémas, champs obligatoires, limites de taille, anti-doublons.
Vie privée : Tokenisation des champs sensibles, géo-routage ingest (EEE/UK/BR).

2. 2 Réception et stockage primaire (Ingest & Raw)

Transport : HTTP/gRPC → Edge → bus (Kafka/Redpanda).
Couche raw (Bronze) : append-only, payload's immuable (pour forenzy), lot par temps/marché/tenant.
Politiques : dedup par '(event_id, source)', DLQ pour les événements « battus », étiquette Legal Hold.

2. 3 Traitement et nettoyage (Refine)

Normalisation (Silver) : Typage, déduplication, manuels, FX/temporisations, enrichissement.
Qualité (DQ) : exhaustivité/unicité/portée/intégrité de référence.
Reprocessing : convoyeurs idempotent, temps-voyage, backfill contrôlé.

2. 4 Consommation et Serving (Serve/Use)

Vitrines d'or : BI/reporting (GGR, RG, AML), modèles de produits et de risques, vitrines de temps réel.
Accès : SQL/Trino, couche sémantique de métriques, API/GraphQL, Feature Store.
SLA de fraîcheur : par exemple, les vitrines dorées quotidiennes sont prêtes jusqu'à 06:00 heure locale.

2. 5 Échanges et diffusion (Partager/Publier)

Consommateurs internes : Analytique, Produit, Risque, Conformité, Marketing, Finances.
Décharges externes : régulateurs, partenaires/fournisseurs ; paquets immuables (PDF/CSV/JSON + hash).
Chaînes contrôlées : artefacts signés, audit des téléchargements/exportations.

2. 6 Archivage et stockage (Archive/Retain)

Politiques de conservation : par type de données et par juridiction (par exemple, réglementation - 5-7 ans).
Couches de stockage : hot/warm/cold, WORM/Object Lock pour l'immuabilité.
Indexation des archives : répertoires, étiquettes de version/marchés, recherche rapide de métadonnées.

2. 7 Suppression et finale (Dispose)

Suppression habituelle : TTL/rétension ; nettoyage sécurisé, mise à jour des index.
Opérations légales : DSAR/RTBF (droit à l'oubli), exceptions à l'obligation légale de stockage, Legal Hold (gel de l'enlèvement).
Vérification : rapports de suppression, journal d'audit, contrôle des répliques croisées.

3) Classification et catalogue

Catégories de sensibilité : public/internal/confidentiel/restreint.
Домены: Payments, Gameplay, Compliance/AML, RG, Marketing, Ops, Finance.
Catalogue de données : description, propriétaire, SLA de fraîcheur, schémas, lineage, niveaux d'accès.
Теги: `jurisdiction`, `tenant`, `pii_class`, `retention_class`, `legal_hold`.

4) Modèle Lakehouse et schémas

Bronze/Argent/Or : règles claires de transformation et de responsabilité.
Formats : Parquet + format tabulaire avec ACID (Delta/Iceberg/Hudi).
Évolution des schémas : versions sémantiques, compatibilité longitudes, migrations à double écriture pour les changements de taille.
Registry : Schema Registry, CI-validation des contrats, tests de consommation.

5) Qualité des données (DQ)

• Completeness (exhaustivité) : proportion des événements/lignes effectivement reçus.
• Validation : proportion d'enregistrements ayant fait l'objet d'une validation schématique.
• Uniqueness : contrôle des doublons.
• Cohérence : conformité avec les manuels et les liens.
• Freshness : retard d'arrivée/matérialisation.

• Règles DQ en tant que code (tests YAML/SQL), dashboards, alertes SLO.
• Auto-folleback en cas de dégradation (dernière coupe correcte).

6) Vie privée et conformité

Minimisation du PII : Stocker le pseudo-ID, mettre les mappings dans un circuit isolé.
Masquage et RLS/CLS : au niveau des colonnes/lignes ; des politiques dynamiques.
Régionalisation : data residency par marché ; répertoires/clés de chiffrement séparés.
DSAR/RTBF : projections guidées, édition sélective, audit d'émission.
Legal Hold : marques de gel, archives immuables, protocole d'accès.

7) Accès et sécurité

Authentification/autorisation : SSO, RBAC/ABAC, attributs des compétences et des rôles.
Cryptage : TLS en transit ; at-rest via KMS/CMK ; rotation des clés.
Journaux d'accès : qui/quoi/quand/d'où ; alertes pour les exportations massives/scans.
Partage des responsabilités : différents rôles pour la prod/les analystes/les admins/les revues.

8) Linéarité (lineage) et observabilité

Lien technique : de la source à la transformation → → vitrines → rapports.
Lien opérationnel : liens avec les versions, les fichflags, les modèles, les règles AML/RG.
Métriques de la plate-forme : throughput, lag, failure-rate, cost/query, cost/GB.
Tracing : transmission 'trace _ id'depuis les applications jusqu'aux vitrines/alerts.

9) Modèles de temps et retro processus

Event-time vs Processing-time: приоритет event-time, watermarks/allowed lateness.
Backfill et reprocessing : pipeline idempotent, temps-voyage, contrôle « double comptage ».
Enregistrement des états : TTL, snapshots, récupération après défaillance.

10) Économie et cost-control

Lot (date/marché/tenant), clustering/Z-ordering.
Sample pour l'analyse haute fréquence (pas pour les transactions/complications).
Stockage multicouche (hot/warm/cold), TTL automatique.
Budget/charge par équipe, limites pour les demandes lourdes et backfill.

11) Processus et RACI

R (Responsible) : Data Platform (ingest/stockage/orchestration), Data Engineering (transformation), Propriétaires de domaines (Contrats/DQ/SLO).
A (Accountable): Head of Data/Chief Data Officer.
C (Consulté) : Conformité/Juridique/DPO, Architecture, SRE, Sécurité.
I (Informed) : BI/Produit/Marketing/Finances/Opérations.

12) SLO/SLI (objectifs approximatifs)

13) Dashboards

Carte de fraîcheur thermique par domaine/marché.
Completeness/Validity par flux.
Coût du stockage et des requêtes (par couches et commandes).
Carte de liaison pour les rapports critiques (réglementation, GGR, RG/AML).
Files d'attente DSAR/RTBF, statuts Legal Hold.

14) Modèles de règles de rétention (exemple)

Les délais réels sont déterminés par le Legal/DPO et le droit local.

15) Documentation et normes

Page de produits de données : propriétaire, destination, SLA, schémas, règles DQ, contacts.
Change log : versions des schémas/logique, impact (impact analysis), migration.
Runbooks : reprocessing, backfill, scénarios d'urgence, bouton frise.

16) Feuille de route pour la mise en œuvre

1. Catalogue de données et classification (domaines supérieurs), schémas de base et registre.

2. Lakehouse Bronze/Argent, ingestion avec validation et déduplication.

3. 1-2 vitrines d'or (par exemple, GGR et conversion).

4. Règles DQ minimales et dashboard Freshness/Completeness.

5. Politiques de conservation et RBAC d'accès.

• Linedge, couche sémantique de métriques, procédure DSAR/RTBF.
• Régionalisation (EEE/Royaume-Uni), WORM pour les artefacts réglementaires, Legal Hold.
• Optimisation des coûts, alertes SLO, rapports budgétaires.

• Data Mesh (produits de domaine), contrats de consommation-driven et tests.
• Auto-simulation impact lors de la modification des schémas/logiques, repliements.
• Un seul panneau de conformité (régulateur, accès, DQ, ligne).

17) Chèque-liste avant la vente

• Régimes approuvés, contrats dans le registre, tests d'interopérabilité.
• Les règles DQ sont actives, les alertes sont configurées, les SLO sont spécifiées.
• RBAC/ABAC : rôles vérifiés, journaux d'accès inclus.
• Les politiques de conservation/suppression/archive ont été confirmées par Legal/DPO.
• Les procédures DSAR/RTBF/Legal Hold sont documentées et testées.
• Linage/métriques/coût sont affichés dans les dashboards.
• Runbooks pour backfill/reprocessing/DR sont prêts.

18) Erreurs fréquentes et comment les éviter

Il n'y a pas de classification et de catalogue unique : entrez les cartes de produit de données obligatoires.
Données brutes sans schémas : schema-first + CI-validation.
Pas de déportabilité : concevez des TTL et des processus RTBF dès le début.
Mélange PII et analytique : Stockez les mappings séparément, appliquez le masquage.
Gold sans propriétaire et SLO : assignez un owner et des objectifs de fraîcheur.
Coût non géré : lots, compression, stockage tiered, quotas.

19) Glossaire (bref)

DSAR/RTBF - demande de la personne concernée/droit de suppression.
Legal Hold - gel de la suppression pour des raisons légales.
Lineage - traçabilité des origines et des transformations.
Data Product est une unité de données gérée avec SLA.
DQ - Règles et mesures de la qualité des données.
Lakehouse est une combinaison de tables data lake et ACID.

20) Résultat

Le cycle de vie des données est un système d'arrangement géré, pas seulement un entrepôt de fichiers. Des contrats et des schémas clairs, une classification et un catalogue, une qualité mesurable, la confidentialité et la sécurité, une architecture de stockage économique et un lien transparent font des données un atout fiable qui soutient le produit, la conformité et l'analyse sans surprises ni risques cachés.