Pochodzenie i ścieżka danych

1) Czym jest rodowód danych

• Skąd wzięły się numery w raporcie?
• Na które tabele/pola wpłynie zmiana schematu?
• Dlaczego KPI zmieniło się wczoraj o 9: 00?
• Jakie dane dostały się do konkretnego modelu i wersji ML?

W przypadku iGaming ma to kluczowe znaczenie ze względu na regulację, sprawozdawczość finansową (GGR/NET), zwalczanie nadużyć finansowych, KYC/AML, odpowiedzialną grę i wysoką szybkość zmian produktów.

2) Poziomy rodowodu i ziarnistość

1. Linia biznesowa - łącząca metryki i terminy biznesowe (od słownika) do prezentacji/formuł.
2. Linia techniczna (tabelaryczna) - relacje między tabelami/zadaniami/pakietami transformacyjnymi.
3. Poziom pola/kolumny - która kolumna źródłowa tworzy kolumnę docelową, z zasadami.
4. Runtime-lineage (operacyjny) - aktualne działa: czasy, woluminy, wersje kodu/schematu, artefakty skrótu.
5. End-to-end - ścieżka końcowa od dostawcy/PSP/CRM do raportu/deski rozdzielczej/modelu.
6. Cross-domain/Mesh - połączenia między produktami danych domeny w ramach umów.

3) Wartość klucza

Zaufanie i audyt: możliwość wyjaśnienia sprawozdań i modeli, szybkie badanie incydentów.
Analiza wpływu: bezpieczne zmiany w programach/logice, przewidywalność wydań.
Prędkość pokładowa: Nowi analitycy i inżynierowie rozumieją krajobraz szybciej.
Zgodność: identyfikowalność PII, blokada prawna, sprawozdawczość dla organów regulacyjnych.
Optymalizacja kosztów: identyfikacja martwych rurociągów i duplikatów sklepów.

4) Przedmioty i artefakty

Podmioty graficzne: Źródło (dostawca gier, PSP, CRM), temat/strumień, Raw/Staging, brąz/srebro/złoto, funkcje DWH, ML, model BI, deska rozdzielcza.
Relacje: transformacje (SQL/ELT), jabs (Airflow/DBT/...), modele (wersja), kontrakty (Avro/Proto/JSON Schema).
Atrybuty: właściciel, domena, klasyfikacja, wersja schematu, kontrola jakości, świeżość, SLO/SLI.

5) Źródła prawdy dla rodowodu

Statyczne: parsing SQL/configs (dbt, ETL) → budować zależności.
Dynamiczny/Czas trwania - zbieranie metadanych w czasie trwania (oświadczenie w orkiestrze, dzienniki zapytań).
Wydarzenie: wydarzenia lineage podczas publikowania/czytania wiadomości w autobusie (Kafka/Pulsar), zatwierdzanie umów.
Instrukcja obsługi (minimum) - Opisuje złożoną logikę biznesową, która nie jest pobierana automatycznie.

6) Kontrakty Lineage i Dane

Umowa ustala program, semantykę i SLA.
Wymagane jest sprawdzenie zgodności (semver) i iempotencji.
Linige utrzymuje link do umowy/wersji oraz fakt przejścia czeku (CI/CD + czas trwania).

7) Rodowód w iGaming: Przykłady domen

Wydarzenia gry → agregaty RTP, zmienność, retencja, prezentacja Game Performance Gold.
Płatności/wyjścia/obciążenia zwrotne → raporty GGR/NET, sygnały o zwalczaniu nadużyć finansowych.
KYC/AML → statusy, kontrole, wpisy → przypadki zgodności i raportowanie.
Responsible Gaming → limity/samodzielne wykluczenie → punkty ryzyka i wyzwalacze interwencji.
Marketing/CRM → kampanie, bonusy, zakłady → wpływ na LTV/ARPPU.

8) Wizualizacja wykresu

• Dwa tryby to „mapa krajobrazu” (makro) i „przez tor” (mikro) od pola do pola.
• Filtry: według domeny, właściciela, klasyfikacji (PII), środowiska (prod/stage), czasu.
• Nakładki: świeżość, woluminy, błędy DQ, wersje schematu.
• Szybkie kroki: „Pokaż zależnych”, „Kto zużywa tę kolumnę? „, „Ścieżka do deski rozdzielczej KPI”.

9) Analiza skutków i zarządzanie zmianami

Przed zmianą schematu/logiki, uruchom co-if: które jabs/gabloty/deski rozdzielcze/modele będą miały wpływ.
Autogeneracja biletów do właścicieli artefaktów zależnych.
Podwójne pisanie/niebiesko-zielony wzór dla sklepów: v2 jest wypełniony równolegle, porównanie metryczne, przełączanie.
Backfill playbooks: jak i jak załadować dane historyczne, jak sprawdzić spójność.

10) Jakość linażu i danych (DQ)

Skojarzyć zasady DQ z węzłami/polami wykresu: ważność, wyjątkowość, spójność, aktualność.
W przypadku naruszenia, wyświetlać „czerwone segmenty” na torach i podnieść wpisy do właścicieli.
Zachowaj historię incydentów DQ i ich wpływ na KPI.

11) Linage dla ML/AI

Identyfikowalność - zestaw danych → funkcje → kod treningowy → model (wersja) → wniosek.
Fix commits, parametry szkolenia, wersje ramowe, dane walidacyjne.
Rodowód pomaga badać dryfowanie, regresję metryczną i odtwarzać wyniki.

12) Linage i prywatność/zgodność

Etykieta PII/dziedziny finansowe, kraje, prawo (RODO/lokalne), podstawa przetwarzania.
Zaznaczyć węzły, w których stosuje się maskowanie/aliasing/anonimizację.
Aby DSAR/Prawo zostało zapomniane, należy śledzić, w których oknach/kopiach zapasowych jest obecny temat.

13) Metryki (SLO/SLI) dla Lineage

Zasięg:% tabel/pól z kolumną linejet.
Świeżość SLI: odsetek węzłów, które pasują do aktualizacji SLA.
DQ pass-rate: odsetek udanych kontroli ścieżkami krytycznymi.
MTTD/MTTR w przypadku incydentów związanych z danymi.
Zmień czas realizacji: średni czas na negocjacje i bezpieczne zwolnienie schematu.
Martwe aktywa: odsetek nieodebranych sklepów/miejsc pracy.

14) Narzędzia (kategorie)

Katalog/Słownik/Lineage: wykres metadanych pojedynczych, import z SQL/orkiestry/autobus.
Orkiestra: zbieranie metadanych runtime, statusy zadań, SLA.
Schemat Rejestr/Kontrakty - kontrole zgodności, zasady wersji.
DQ/Obserwowalność: reguły, anomalie, świeżość, woluminy.
Sec/Access: etykiety PII, RBAC/ABAC, audyt.
Rejestr ML: wersja modeli, artefaktów i zbiorów danych.

15) Szablony (gotowe do użycia)

15. 1 paszport jednostki Linja

• Klasyfikacja: publiczne/wewnętrzne/poufne/ograniczone (PII)
• Źródło/Dane wejściowe: Tabele/Tematy + Wersje kontraktowe
• Transformacja: SQL/job/repo + commit
• Wyjścia/Konsumenci: skrzynki wyświetlaczy/deski rozdzielcze/modele

• Sygnały obserwowalności: świeżość, objętość, anomalie

• Historia zdarzeń: linki do biletów/pośmiertnie

15. 2 Karta komunikacyjna (poziom kolumny)

Z pola: schemat. tabela. pułkownik (typ, nieważny)

W terenie: schemat. tabela. pułkownik (typ, nieważny)

Reguła transformacji: wyrażenie/funkcja/słownik

Kontekst jakości: kontrole, zakresy, odniesienia

15. 3 Incydent Dochodzenie Playbook

1. Zidentyfikować dotknięte KPI/deska rozdzielcza → 2) Upstream to Source →

2. Sprawdź świeżość/woluminy/DQ w każdym węźle → 4) Znajdź ostatni kod/zmiana schematu →

3. Porównaj produkcję/etap/wczoraj → 6) Przypisz mocowanie i zasypkę → 7) pośmiertnie i regułę na przyszłość.

16) Procesy i integracje

On-change: Każde połączenie w repo, które zmienia schemat/SQL uruchamia odbudowę rodu i analizę wpływu.
On-run: każde udane/nieudane zadanie zapisuje metadane runtime do wykresu.
Haki dostępu: Żądania dostępu pokazują ścieżkę do PII i odpowiedzialnych właścicieli.
Rytuały zarządzania: tygodniowy przegląd ścieżek krytycznych, miesięczny raport na temat SLO.

17) Plan działania w zakresie wdrażania

0-30 dni (MVP)

1. Identyfikacja krytycznych KPI/desek rozdzielczych i ich ścieżek końcowych.
2. Podłącz parsing SQL/zadania dla rodowodu tabelarycznego.
3. Wprowadź paszport węzła/komunikacji i minimalne wskaźniki świeżości.
4. Opisz znaczniki PII w ścieżkach kluczowych (KYC, płatności).

60-90 dni

1. Przejdź do poziomu kolumn dla najlepszych prezentacji.
2. Zintegruj metadane runtime orkiestry (czas, objętość, statusy).
3. Skojarzyć zasady DQ z wykresem, zawierać wpisy.
4. Wizualizacja: filtry według domeny/właściciela/PII, nakładki świeżości.

3-6 miesięcy

1. Umowy i rejestr systemów w autobusie imprezowym (gra/płatność).
2. Pełna ścieżka ML-lineage (dannyye → fichi → model → inferens).
3. Analiza wpływu w CI → automatyczne bilety do właścicieli zależności.
4. Pokrycie na poziomie kolumn ≥ 70% aktywnych sklepów; Raportowanie SLO.

18) Wzory i anty-wzory

• Wykres pierwszy: pojedynczy wykres metadanych jako „kompas” zmian.
• Rodowód świadomy umowy: skojarzenie z wersjami schematów i wynikami walidacji.
• Nakładka obserwacyjna: świeżość/woluminy/DQ nad wykresem.
• Myślenie o produkcie: Właściciele domen publikują certyfikowane „produkty danych”.

• „Zdjęcie dla dobra obrazu” bez automatycznej kolekcji i wsparcia.
• Ręczne mapy umysłu zamiast parsing i runtime-prawda.
• Brak szczegółowości kolumny w krytycznych ścieżkach KPI.
• Linage bez wiązania z procesami dostępu/PII i DSAR/Legal Hold.

19) Praktyczne listy kontrolne

Przed wprowadzeniem zmian w danych

• Zaktualizowany kontrakt, zgodność przeszedł
• Zakończona analiza oddziaływania zależności
• v2-showcase zmontowane równolegle, porównanie metryk
• Plan backfill i rollback udokumentowany

Przegląd tygodniowy

• Ścieżki krytyczne są zielone w świeżości
• Brak osieroconych miejsc pracy/sklepów
• Incydenty DQ zamknięte i udokumentowane
• Poziom kolumny> pokrycie progu docelowego

Wynik

Lineage zmienia chaotyczne strumienie danych w zarządzalną mapę obszaru: możesz zobaczyć, skąd się wzięło, kto jest odpowiedzialny, jakie ryzyko i jak bezpiecznie się zmienić. Dla iGaming jest to podstawa zaufania do KPI, szybkości eksperymentów i dojrzałej zgodności.