Obsługa danych i zarządzanie danymi

1) Co to jest, i dlaczego jest potrzebne

To zestaw praktyk, procesów i narzędzi, które przekształcają pracę z danymi w powtarzalny i możliwy do opanowania rurociąg: od tworzenia i modyfikowania schematów po publikowanie produktów i mierników danych. Celem jest szybsze i bezpieczniejsze dostarczanie konsumentom danych jakościowych (produkt, analityka, ryzyko, ML), przy jednoczesnym zachowaniu zgodności i optymalnych kosztów.

• Przewidywalne SLA według danych (znaczenie, kompletność, dokładność).
• Szybkie i bezpieczne zmiany (CI/CD/CT dla danych).
• Rodowód danych i własność.
• Zmniejszenie TCO (przechowywanie, przetwarzanie, przesyłanie danych).

2) Wzory architektoniczne

Data Lake (przechowywanie obiektów, surowce): tanie, elastyczne, ale potrzebujesz rygorystycznych Ops.
Magazyn (OLAP/SQL, modelowanie): szybkie sklepy, ścisły schemat.
Lakehouse (formaty stołowe + ACID: Delta/Iceberg/Hudi): zjednoczenie jeziora i magazynu, podróże w czasie, upsert/fuzja.

• Brąz → Srebro → Złoto.
• Obsługa warstw: DWH/OLAP (Z zapytaniem/ClickHouse/Snowflake itp.), API/wykres, sklep z funkcjami, pamięć podręczna.

Zalecenie: przechowywać dokładnie jedno „źródło prawdy” na warstwę i transformacje - jako kod z wersioning i testy.

3) Model domeny i produkty danych

Podejście do siatki danych: własność danych przez zespoły domen; właściciel produktu danych jest odpowiedzialny za jakość i SLO produktu danych.
Kontrakty na dane: schematy, semantyka, SLA/SLO (na przykład "tabela operacji jest dostępna do godziny 08:00 UTC z dokładnością do 99. 5% i opóźnienie nie dłuższe niż 10 minut przyrostów").
Interfejsy: tabele SQL/blizzards, tematy CDC, API/GraphQL. Jasne wersioning i deprecate polityki.

4) Integracja: źródła i wzory pobierania

ETL/ELT-Stretch → fold → przekształcenie (do DWH/Lake). ELT jest preferowany z potężnym OLAP.
CDC (Change Data Capture): zmiany strumieniowe (Debezium itp.) → niskie opóźnienia i dokładne przyrosty.
Partia vs Stream: hybryda - strumień do „gorących” zdarzeń, partia do powtórzeń i zasypek.
Semantyka dostawy: co najmniej raz + idempotent merzhi; klucz/czas dziadek; Dokładnie tak jak w formatach transakcyjnych.

5) Zarządzanie obwodami i ewolucja

Schemat Rejestr i testy kontraktowe: dodać pola nieniszczące, zabronić łamania zmian bez nowej wersji.
Wersioning (V1 → V2): równoległa publikacja, okno migracji, wpisy dla konsumentów.
Zasady typów i jednostek miary: waluty, strefy czasowe, klucze idempotencji.

6) Jakość danych (DQ)

Kluczowe wymiary: kompletność, dokładność, spójność, wyjątkowość, ważność, świeżość/znaczenie, brak duplikatów.

• Testy jakości jako kod: unikalne klucze, zakresy, listy referencyjne, zasady działalności (na przykład suma podłoży = suma).
• Testy kontraktowe/oczekiwania na każdej warstwie (brąz/srebro/złoto) i w CI.
• Strefy kwarantanny: dane, które nie przeszły kontroli, nie wchodzą w skład złota.
• Porozumienia w sprawie świeżości: wyraźna świeżość SLA i ostrzeżenia o opóźnieniu.

7) Obserwowalność danych

SLI według danych: udział ważnych linii, opóźnienie przyrostów, udział luk, liczba zmian w programach w danym okresie.
Rodowód (śledzenie od końca do końca): z którego źródła pochodzi pole X, które zużywa tabelę Y; wizualizacja grafu zależności.
Monitorowanie anomalii: tendencje dotyczące objętości/dystrybucji, nagłe zera/szczyty, dryfowanie cech kategorycznych.
Politycy alarmowi: krótkie okno (katastrofy) + długie (pełzająca degradacja), eskalacja do właścicieli produktów z danymi.

8) Bezpieczeństwo i prywatność

Klasyfikacja danych: PII/financial/sensitive/public. Etykiety na kolumnach i zestawach.
Kontrola dostępu: RBAC/ABAC, zabezpieczenie na poziomie wioślarskim/kolumnowym, maskowanie, dynamiczne odinstalowanie.
Kryptografia: szyfrowanie podczas odpoczynku/tranzytu; tokenizacja i pseudonimizacja PII.
Układy pamięci masowej: gorący/ciepły/zimny; polityka zatrzymywania i „prawo do bycia zapomnianym”.
Audyt i niezmienność: którzy czytają/zmieniają; dziennik podpisu artefaktowego; wywozu artefaktów dla organów regulacyjnych.

9) Orkiestra, CI/CD/CT i zarządzanie zmianami

Orkiestra: przepływ powietrza/Argo/Kedro itp.; deklaracyjne DAGs/wątki z zależnościami i zadaniami idempotentnymi.
CI/CD/CT (Continuous Testing): lintery SQL/Python, testy transformacji jednostek, badania integracji w próbkach izolowanych, badania danych przed połączeniem.
Promocja środowiska: dev → etap → prod; identyczne manifesty; sterowanie flagami/katalogami funkcji.

Zasypki: operacje „wagi ciężkiej” z ograniczonymi zasobami i jasnym oknem; Kontrola idempotencji i deduplikacji

10) Zarządzanie kosztami (FinOp danych)

Modele kosztów: pamięć masowa (objętość × klasa), skany/żądania, wyjście, długotrwałe zasypki.
Optymalizacja: partycjonowanie/klastrowanie, Z-zamawianie/sortowanie, timing, materializacja pakietów wyników, kompresja i formaty kolumn.
Ekonomika danych jednostkowych: $/1 mln linii w złocie, $/jeden raport, $/funkcja dla ML.
Świeżość przytomna SLO: przeliczyć tak często, jak wymaga tego produkt, nie „co 5 minut z nawyku”.

11) Główne zarządzanie danymi (MDM) i księgi referencyjne

Złote rekordy: eliminacja klienta/handlowca bierze, hierarchie rozliczania.
Książki referencyjne/referencje: waluty, kraje, listy BIN, listy dostawców - z wersjami i oknami akcji.
Identyfikatory: stabilne klucze, negocjacje z identyfikatorem krzyżowym, mapowanie wielu do jednego.

12) Cechy ML i prezentacje analityczne

Sklep Funkcja: funkcja wersioning, podróż w czasie, konsystencja online/offline.
Umowy o dane z DS/ML: SLA według świeżości/dryfu; schematy i dopuszczalne zakresy.
Prezentacje BI: sprawdzone „tylko wersje” kluczowych mierników (DAU/GMV/ARPPU itp.) z testami.

13) Procesy incydentów i RCA dla danych

Wykrywanie: spadek ważności, opóźnienia obciążenia, zmiana schematów bez ogłoszenia, anomalie dystrybucji.
Escalation: data product owner → orchestrator/platform → source/provider.
Działania łagodzące: fryz publikacji, odwrót ostatniej transformacji, publikacja poprzedniej „dobrej” wersji, znaki na stronie stanu danych.
RCA (data focus): roots - scheme/contract breakdowns, source delays, incorrect business rules, drift.
CAPA: sterowanie schematem, nowe testy, limity skanowania, adnotacje uwalniania, szkolenia.

14) Role i obowiązki (RACI)

Właściciel produktu danych: SLA/SLO, priorytety, mapa drogowa.
Data Engineer/Analytics Engineer: rurociągi, modelowanie, testy, optymalizacja.
Platforma/Infra: orkiestra, jezioro/magazyn, bezpieczeństwo i dostęp.
Zarządzanie/steward: katalog, cechy, klasyfikacja, zgodność.
Sec/Zgodność: prywatność, audyt, sprawozdawczość regulacyjna.
Właściciele mierników: określanie i kontrolowanie „prawdy” wskaźników.

15) Katalog i metadane

Katalog danych: opis tabel/pól, właścicieli, tagi (PII/finance), przykłady wniosków, poziomy jakości.
Active Metadata: rodowód automatycznego napełniania, popularność zapytań, zalecenia do użycia.
Glosariusz (słownik biznesowy) - definicje kluczowych liczb i zasad obliczeń, wersja i właściciel.

16) Deski rozdzielcze z Ops (minimalny zestaw)

Zdrowie rurociągu: błąd sukcesu/zadania, opóźnienie DAG, średni czas realizacji, kolejki.
Jakość i świeżość: ważność testów, opóźnienie w warstwach brązu/srebra/złota, udział kwarantanny.

Widok linii: Wpływ spadającej tabeli X na konsumentów z grupy Y

Finansowanie: $ w przechowywaniu i skanowaniu, „drogie” zapytania/modele, oszczędności z materializacji.
Zmiany: zwolnienia transformacji, zmiany schematu, alerty kontraktowe.

17) Lista kontrolna „Gotowość produktu danych”

• Opisane wejścia/wyjścia, właściciel i SLA/SLO (świeżość/kompletność/dokładność).
• Systemy i umowy w repozytorium, włączone testy jakości (próg ważności).
• Skonfigurowany lineage i katalog; Zastosowano znaczniki/klasyfikację PII.
• Polityka dostępu, maskowania i zatrzymywania RBAC/ABAC.
• Orkiestra i wpisy: krótkie i długie okna, kanały eskalacji.
• Zasypki są idempotentne; istnieje plan wycofania i kwarantanny.
• Optymalizacja wartości: partycje/klastry/materializacje.
• Dokumentacja metryczna i zapytania dotyczące próbek.

18) Anty-wzory

„Bagno danych”: jezioro bez schematów/katalogu/właścicieli → niewykorzystane i drogie dane.
Incydenty kaskadowe → „cichy” schemat źródłowy.
Testy tylko w prod → późne wykrywanie, drogie poprawki.
Jeden wspólny „młot srebrny” transformacji dla wszystkich domen.
Brak kwarantanny: małżeństwo wpada w złoto i BI.
Nieograniczone skany/radości „na szczęście” → eksplozja kosztów.
PII w logach/próbkach, brak retencji i maskowania.

19) Mini szablony

Szablon SLA dla produktu danych

Świeżość: 99% przyrostów nie później niż T + 10 min; pełna relacja - do 08:00 UTC D + 1.
Kompletność: ≥ 99. 7% rekordów w porównaniu ze źródłami; progi według klawiszy.
Precyzja - rozbieżność z metryką kontrolną ≤ 0. 3%.
Dostępność: Punkty końcowe SQL/punkty widzenia są dostępne ≥ 99. 9% (28 dni).
Kanał eskalacji, właściciel, okno wsparcia.

Polityka weryfikacyjna programu

Drobne: dodawanie opcjonalnych pól, kompatybilne z powrotem.
Major: usuń/zmień nazwę; publikacja równoległa V1/V2 ≥ N tygodni; zdeprecate markupy.

Plan zasypki

Źródło, zakres dat, oszacowanie kosztów/czasu, idempotencja, okno startowe, kryteria sukcesu, zwrot.

20) Mapa drogowa wdrażania Programu (przykład 8-12 tygodni)

1. Ned. 1-2: inwentarz źródłowy, mapa domeny, wybór Lakehouse/OLAP, katalog.
2. Ned. 3-4: schemat/normy kontraktowe, szkielet CI/CD/CT, podstawowe testy DQ.
3. Ned. 5-6: wpisy dotyczące rodowodu i świeżości, kwarantanna, pierwsze produkty z danymi SLA.
4. Ned. 7-8: optymalizacja FinOps (partycje/materializacje), zasypki według szablonu.
5. Ned. 9-12: MDM/referencje, RBAC/maskowanie, praktyka RCA dla incydentów danych, KPI dojrzałości.

21) Najważniejsze

OpenOps to system operacyjny danych: odpowiedzialność za domeny, kontrakty i testy, automatyzacja zmian, obserwowalność i bezpieczeństwo, ekonomia i procesy incydentów. Dzięki takiemu podejściu dane stają się wiarygodnym produktem: można je zmieniać, mierzyć, skalować i pewnie wykorzystywać w procesie decyzyjnym, sprawozdawczości i ML.