Badania rurociągów danych

1) Dlaczego rurociągi danych testowych

• Poprawność i odporność.
• Przewidywalne zmiany (schemat/ewolucja logiczna).
• Zgodność z SLO pod względem świeżości, kompletności, opóźnienia.
• Szybkie zwolnienie (prędkość uwalniania) ze względu na zautomatyzowaną weryfikację.

2) Piramida do badania danych

Bottom up: dużo szybkich lokalnych testów → mniej integracji → trochę end-to-end.

1. Testy jednostkowe transformacji (funkcje, UDF, SQL-views, dbt-models).
2. Testy jakości danych (świeżość/kompletność/wyjątkowość/zakres).
3. Umowy i programy (schemat/testy kontraktowe, ewolucja).

4. Badania integracyjne rurociągu (DAG: połknięcie, magazynowanie, przeobrażenie,

5. testy E2E (źródło do sklepu/API), w tym prawa (RLS/CLS) i eksport.
6. Obciążenie/pojemność (objętość, prędkość, koszt obsługi).
7. Testy chaosu danych (opóźnienia, duplikaty, niedostępność).

3) Rodzaje testów: co dokładnie sprawdzamy

3. 1 Testy logiczne jednostki

funkcje transformacji netto; nieruchomości (niezmienne: idempotencja, monotonia).
SQL/DBT: porównanie wyniku ze standardem (złoty zestaw), zakaz 'SELECT', sprawdzanie filtra po czasie.

3. 2 Testy jakości danych (DQ)

Świeżość: opóźnienie okna ≤ próg docelowy.
Kompletność: oczekiwana ilość/odsetek miejsca zamieszkania.
Wyjątkowość: klucze bez duplikatów.
Zasady domeny: zakresy, integralność referencyjna, niezmienne przedsiębiorstwa.
Anomalie: odstające, wybuchy duplikatów, luki czasowe.

3. 3 Umowy i systemy

Zmiana zgodności (SemVer: MAJOR/MINOR/PATCH).
Dostępność obowiązkowych kolumn, typów, ograniczeń.
Stałe semantyki KPI: wzory i okna agregacyjne.

3. 4 Integracja i E2E

Integralność DAG: wyzwalacze, zależności, powtarzanie idempotentne.
Pełna ścieżka: source → raw → curated → marts → BI/API; RLS/CLS.

3. 5 Wydajność i koszty

p95/p99 opóźnienie pracy, przepustowość (wiersze/s), objętość/wartość.
Testy regresji wydajności i limity skanowania.

3. 6 Bezpieczeństwo i prywatność

Maskowanie PII/PCI (tokenizacja deterministyczna).
RLS/CLS Check - Użytkownicy widzą tylko swoje.
Eksport/migawki: brak „surowych” pól osobistych.

4) Specyfika przesyłania strumieniowego (Kafka/Flink/Iskra Structured Streaming)

Znaki wodne i opóźnienia: testy okien z późnymi zdarzeniami (T + Α), prawidłowe ponowne obliczenia.
Dokładnie raz w znaczeniu: dedup przez 'event _ id', idempotent entry (upsert/merge).
Pozagiełdowe: niezmienne dla kruszyw według „event _ time”; fix 'ingested _ at'.
Utrata/powtarzanie: symulować kroplę/grę stron, sprawdzić poprawność prezentacji.

5) Idempotencja i determinizm (co i jak testować)

Ponowne uruchomienie kroku daje ten sam wynik (z tymi samymi parametrami okna).
Nagrywanie - poprzez ustawianie i wymianę atomową.
Logika scalania z SCD1/SCD2 jest objęta ostatnimi wygranymi, priorytetem źródłowym.
Determinacja UDF/agregatu: te same wejścia → te same wyjścia.

6) Zarządzanie danymi testowymi

Złote zbiory danych: małe standardy z ręczną walidacją.
Syntetyka + fabryki danych: obejmujące krawędzie domeny (nulls, ekstremalne wartości, Unicode, TZ).
Zdeterminowane próbki prod: dopasowanie prywatności.
Fikcje warstwowe: wydarzenia surowe, warstwy pośrednie, prezentacje końcowe.

7) Kontrakty na dane - przykład i zasady

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Obserwowalność i testy SLO

Wskaźniki eksportu: świeżość, kompletność, wyjątkowość, latencja do Grafany/Prometeusza.
Wpisy SLO jako „czerwone” testy jednostkowe w prod (Synthetics).
Raporty regresyjne: „po zwolnieniu X p95” o 40%.

9) CI/CD i media

CI: jednostka + umowy DQ + PR; schema-diff; Analiza statyczna SQL (linter).
Sandbox/staging: uruchom integrację i e2e, testy chaosu z bezpiecznymi danymi.
Flagi funkcyjne: kanarkowe jabs/modele/formuły.
Katalogowanie: wersja schematów, formuły KPI, rodowód; automatyczna aktualizacja dokumentacji.

10) Testowanie danych chaosu (chaos-dane)

Wstrzyknięcie duplikatów/pominięć, opóźnienia, nieporządek.
Broker/party drop, „złamane” pliki, schemat dryfu.
Sprawdzamy: automatyczna naprawa (powtórka/zasypka), kwarantanna i wpisy, dane MTTR.

11) Obciążenie i koszt

Generatory ruchu z profilem/szczytami p95.
Ograniczenia skanowania/kroku (skanowane bajty, czapki czasu).
Profiler wartości A/B: „old” vs „new” model/query.

12) Narzędzia (klasy próbek)

DQ/Kontrakty: testy dbt, wielkie oczekiwania, Dequ, Soda, niestandardowe lintery.
Orkiestra: przepływ powietrza/Dagster/Argo/Prefekt (operatorzy testów na każdym kroku).
Platformy: Z zapytaniem/Płatek śniegu/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Streaming: Kafka, Flink, Iskra Streaming; Pojemniki testowe dla lokalnych środowisk.
Obserwowalność: Prometeusz/Grafana/Otel; Katalogi na żywo/Amundsen/Collibra.

13) Antypattery

„Nie ma nic do testowania - to tylko SQL”: nie ma jednostek i DQ → metryki przerwy.
Tylko E2E: powolny, niestabilny, przyczyny awarii nie są jasne.
WYBIERZ: przerwy w MAŁEJ ewolucji.
Czytanie OLTP na żywo w testach: niestabilność i płatki.
Brak złotych zestawów: nic do porównania wyników z.
Brak testów idempotencji: dane o ponownym zepsuciu.
Zapomniane przesyłanie strumieniowe: brak przetestowanych opóźnień/brak zamówienia/redelivery.

14) Plan działania w zakresie wdrażania

1. Podstawa: testy jednostkowe transformacji, złote zestawy, linter SQL, top-10 zasad prezentacji DQ.
2. Kontrakty: schemat-diff w CI, SemVer, automatyczne kontrole zgodności.
3. Integracje: testy DAG, idempotencja, e2e dla strumieni krytycznych.
4. Przesyłanie strumieniowe: znaki wodne/latency, testy dedup/idempotent.
5. SLO i chaos: wskaźniki jakości w sprzedaży, alerty, scenariusze chaosu, cele MTTR.
6. Optymalizacja: regresje perf, straże budżetowe, wydania kanaryjskie.

15) Lista kontrolna przed zwolnieniem

• Badania jednostkowe obejmują kluczowe przekształcenia i UDF.
• Zasady DQ dla świeżości/kompletności/wyjątkowości/zakresów pass.
• Umowy i schemat różnic są zielone; nie ma złamania zmian bez appruv.
• Testowana idempotencja; zlewozmywak/połączenie atomowe działa.
• Streaming: znaki wodne/późne dane/nieobjęte zamówieniem; dedup na miejscu.
• wskaźniki SLO są narażone; alerty są konfigurowane; Runbooks są.
• Dane testowe są bezpieczne; PII zamaskowane; Sprawdzono RLS/CLS.
• Brak regresji perf; skanowanie/dotrzymanie terminów.
• Przeszedł testy chaosu podstawowych scenariuszy; Cel MTTR możliwy do osiągnięcia.

16) Przykłady mini szablonów

16. 1 test jednostkowy SQL (pseudo-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 Wielkie oczekiwania w stylu:

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Sprawdzanie opóźnień w strumieniu (pseudo-kod):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Test kontraktowy (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Sedno sprawy

Testowanie rurociągów danych jest dyscypliną systemów, a nie zbiorem kontroli fragmentów. Połączenie piramidy testów, kontraktów i obserwowalności z praktykami idempotencji, ewolucji obwodów i strumieniowania stałych. Wtedy zwolnienia staną się szybkie, incydenty staną się rzadkie i krótkie, a zaufanie do danych stanie się trwałe.