Origen y ruta de datos

1) Qué es Data Lineage

• ¿De dónde vienen las cifras del informe?
• ¿Qué tablas/campos afectarán al cambio de esquema?
• ¿Por qué cambió el KPI ayer a las 21:00 horas?
• ¿Qué datos se han incluido en el modelo y la versión específicos de ML?

Para iGaming, esto es crítico debido a la regulación, los estados financieros (GGR/NET), el antifraude, KYC/AML, el juego responsable y la alta velocidad de cambio del producto.

2) Niveles y granularidad de linja

1. La línea de negocio es la relación de métricas y términos de negocio (del glosario) con vitrinas/fórmulas.
2. Línea técnica (tabular): relaciones entre tablas/jobs/paquetes de transformación.
3. Columna (field/column-level) - qué columna de origen forma la columna de destino, con reglas.
4. Runtime-linj (operativo) son los pasos reales: tiempos, volúmenes, versiones de código/diagrama, artefactos hash.
5. End-to-end es una ruta de acceso desde el proveedor/PSP/CRM hasta el informe/dashboard/modelo.
6. Cross-domain/Mesh - Relaciones entre productos de datos de dominio por contrato.

3) Valor clave

Confianza y auditoría: explicación de informes y modelos, investigación rápida de incidentes.
Análisis de impacto: cambios seguros de esquemas/lógica, previsibilidad de lanzamientos.
Velocidad de onboarding: los nuevos analistas e ingenieros entienden el paisaje más rápidamente.
Cumplimiento: trazabilidad PII, Legal Hold, informes a reguladores.
Optimización de costes: identificación de pipelines «muertos» y escaparates duplicados.

4) Objetos y artefactos

Las entidades del grafo son: Source (proveedor de juegos, PSP, CRM), Topic/Stream, Raw/Staging, Bronze/Silver/Gold, DWH, ML-fichi, modelo BI, Dashboard.
Conexiones: transformaciones (SQL/ELT), jobs (Airflow/DBT/...), modelos (versión), contratos (Avro/Proto/JSON Schema).
Atributos: propietario, dominio, clasificación, versión del circuito, control de calidad, frescura, SLO/SLI.

5) Fuentes de la verdad para linja

Estático: SQL/SQL (dbt, ETL) → construimos dependencias.
Dinámico/Runtime: recopilar metadatos en tiempo de ejecución (operador en el orquestador, query logs).
Evento: eventos de enlace cuando se publican/leen mensajes en el bus (Kafka/Pulsar), validación de contratos.
Manual (mínimo): descripción de una lógica empresarial compleja que no se extrae automáticamente.

6) Linge y Contratos de Datos

El contrato fija el esquema, la semántica y el SLA.
La verificación de compatibilidad (semver) y la idempotencia son obligatorias.
Linj almacena la referencia al contrato/versión y el hecho de pasar la verificación (CI/CD + runtime).

7) Linaje en iGaming: ejemplos de dominio

Eventos de juego → agregados de RTP, volatilidad, retención, escaparate "Game Performance Gold'.
Pagos/conclusiones/charjbacks → informes GGR/NET, señales antifraude.
KYC/AML → estados, verificaciones, alertas → escaparates de cumplimiento e informes.
Responsible Gaming → límites/autoexclusión → puntuación de riesgo y desencadenantes de intervención.
Marketing/CRM → campañas, bonos, apuestas → impacto en LTV/ARPPU.

8) Visualización del gráfico

• Dos modos: «mapa del paisaje» (macro) y «vía transversal» (micro) de campo a campo.
• Filtros: por dominio, propietario, clasificación (PII), entorno (prod/stage), tiempo.
• Overlay: frescura, volúmenes, errores DQ, versiones de circuitos.
• Acciones rápidas: "Mostrar dependientes", "¿Quién consume esta columna? ", "Camino al dashboard KPI".

9) Análisis de impacto y gestión de cambios

Antes de cambiar el esquema/lógica, ejecute what-if: qué jobs/escaparates/dashboards/modelos afectarán.
Autogeneración de tickets a propietarios de artefactos dependientes.
Patrón dual-write/blue-green para escaparates: v2 se llena en paralelo, comparación métrica, cambio.
Backfill-playbooks: Cómo y qué dosificar los datos históricos, cómo verificar la consistencia.

10) Linaje y calidad de datos (DQ)

Vincule las reglas DQ a los nodos/campos del gráfico: validez, singularidad, consistencia, puntualidad.
En caso de infracciones, muestre los «segmentos rojos» en las vías y levante las alertas a los propietarios.
Mantenga el historial de incidentes DQ y su impacto en los KPI.

11) Linj para ML/AI

Trazabilidad: dataset → features → training code → model (versión) → inference.
Confirme los commits, las opciones de aprendizaje, las versiones de los frameworks, los datos de validación.
Linge ayuda a investigar la deriva, la regresión de las métricas y a reproducir los resultados.

12) Linj y privacidad/cumplimiento

Etiquetado PII/campos financieros, países, ley (GDPR/local), base de procesamiento.
Marque los nodos donde se aplica el enmascaramiento/alias/anonimización.
Para DSAR/Right to be forgotten track en qué vitrinas/backups está presente el sujeto.

13) Métricas (SLO/SLI) para linja

Cobertura:% de tablas/campos con linaje de columna.
Freshness SLI: proporción de nodos apilados en el SLA de actualización.
DQ pass-rate: porcentaje de comprobaciones exitosas en rutas críticas.
MTTD/MTTR para incidentes de datos.
Change lead time: tiempo medio de negociación y lanzamiento seguro del esquema.
Dead assets: proporción de escaparates/job no reclamados.

14) Instrumentos (categorías)

Catalog/Glossary/Lineage: gráfico de metadatos único, importación desde SQL/Orquestradores/bus.
Orchestration: recopilación de metadatos runtime, estados de tareas, SLA.
Schema Registry/Contracts: verificaciones de compatibilidad, directivas de versión.
DQ/Observabilidad: reglas, anomalías, frescura, volúmenes.
Sec/Access: etiquetas PII, RBAC/ABAC, auditoría.
Registro ML: versión de modelos, artefactos y datacets.

15) Plantillas (listas para usar)

15. 1 Pasaporte de nodo de linja

• Clasificación: Public/Internal/Confidential/Restricted (PII)
• Fuente/Entradas: tablas/topics + versiones de contratos
• Transformación: SQL/job/repo + commit
• Salidas/Usuarios: vitrinas/dashboards/modelos

• Señales de observabilidad: frescura, volumen, anomalías

• Historial de incidentes: enlaces a tickets/post mortem

15. 2 Tarjeta de comunicación (column-level)

Del campo: schema. table. col (tipo, nullable)

En el campo: schema. table. col (tipo, nullable)

Regla de transformación: expresión/función/diccionario

Contexto de calidad: comprobaciones, rangos, referencias

15. 3 El playbook de la investigación del incidente

1. Identificar el KPI/dashboard afectado → 2) Trazar la ruta hacia arriba (Upstream) hasta la fuente →

2. Comprobar frescura/volúmenes/DQ en cada nodo → 4) Encontrar el último cambio de código/esquema →

3. Comparar simple/stage/ayer → 6) Asignar fijación y backfill → 7) Post-mortem y regla para el futuro.

16) Procesos e integraciones

On-change: cada merge en un repo que cambia el diagrama/SQL ejecuta una recomposición de linaje y un análisis de impacto.
On-run: cada job exitoso/fallido escribe metadatos runtime en el gráfico.
Access-hooks: las solicitudes de acceso muestran la ruta de acceso a PII y propietarios responsables.
Rituales de gobierno: revisión semanal de rutas críticas, informe mensual de SLO.

17) Hoja de ruta para la aplicación

0-30 días (MVP)

1. Identificar los KPI/dashboards críticos y sus rutas end-to-end.
2. Conecte el parsing SQL/jobs para la línea de tabla.
3. Obtener un pasaporte nodo/enlace y métricas mínimas de frescura.
4. Describir etiquetas PII en rutas clave (KYC, pagos).

60-90 días

1. Ir a column-level para los mejores escaparates.
2. Integrar los metadatos runtime del orquestador (tiempo, volumen, estados).
3. Asociar reglas DQ al grafo, habilitar alertas.
4. Visualización: filtros por dominios/propietarios/PII, sobrecostes de frescura.

3-6 meses

1. Contratos y registro de esquemas en el bus de eventos (feeds de juego/pago).
2. Pista completa de ML-linja (dannyye→fichi→model→inferens).
3. El análisis de impacto en CI → tickets automáticos a los propietarios de dependencias.
4. Recubrimiento de column-level ≥70% de escaparates activos; Informes de SLO.

18) Patrones y anti-patrones

• Graph-first: un solo gráfico de metadatos como «brújula» de cambios.
• Contrato-aware: relación con las versiones de esquemas y los resultados de validación.
• Observabilidad overlay: frescura/volúmenes/DQ en la parte superior del gráfico.
• Product-thinking: los propietarios de dominios publican «productos de datos» certificados.

• «Una imagen por una imagen» sin recogida y soporte automático.
• Maind Maps manuales en lugar de parsing y verdad runtime.
• Falta de detalle de columna en las rutas críticas de KPI.
• Linge sin ligamento con accesos/PII y procesos DSAR/Legal Hold.

19) Hojas de cheques prácticas

Cambios de datos antes de la versión

• Contrato actualizado, comprobación de compatibilidad
• Análisis de impacto de dependencias realizado
• v2-escaparate montado en paralelo, comparación métrica aprox
• El plan de retroceso y reversión está documentado

Revisión semanal

• Los caminos críticos son verdes por la frescura
• No hay «huérfanos» job/escaparates
• Incidentes DQ cerrados y documentados
• Recubrimiento column-level> del umbral de destino

Resultado

Linage transforma los caóticos flujos de datos en un mapa controlado del terreno: se puede ver de dónde vino, quién responde, qué riesgos y cómo es seguro cambiar. Para iGaming, es una base de confianza en KPI, velocidad de experimentación y cumplimiento maduro.