Αγωγοί δεδομένων δοκιμών

1) Γιατί δοκιμάζονται οι αγωγοί δεδομένων

• Ορθότητα και ανθεκτικότητα.
• Προβλέψιμες αλλαγές (σχηματική/λογική εξέλιξη).
• Συμμόρφωση με την SLO όσον αφορά τη φρεσκάδα, την πληρότητα, την καθυστέρηση.
• Ταχεία απελευθέρωση (ταχύτητα απελευθέρωσης) λόγω αυτοματοποιημένης επαλήθευσης.

2) Πυραμίδα δοκιμής δεδομένων

Από κάτω προς τα πάνω: πολλές γρήγορες τοπικές δοκιμές → λιγότερη ολοκλήρωση → λίγο από το τέλος έως το τέλος.

1. Δοκιμές μονάδας μετασχηματισμών (λειτουργίες, UDF, SQL-views, dbt-models).
2. Δοκιμές ποιότητας δεδομένων (νωπότητα/πληρότητα/μοναδικότητα/κανόνες εύρους τιμών).
3. Συμβάσεις και συστήματα (δοκιμές σχήματος/σύμβασης, εξέλιξη).
4. Δοκιμές ενσωμάτωσης αγωγών (DAG: κατάποση ↔ αποθήκευση ↔ μετατροπή ↔ marts).
5. δοκιμές (πηγή προς αποθήκη/API) συμπεριλαμβανομένων των δικαιωμάτων (RLS/CLS) και των εξαγωγών.
6. Φορτίο/χωρητικότητα (όγκος, ταχύτητα, κόστος εξυπηρέτησης).
7. Δοκιμασίες χάους δεδομένων (καθυστερήσεις, επαναλήψεις, εκτός τάξης, μη διαθεσιμότητα).

3) Τύποι δοκιμών: τι ακριβώς ελέγχουμε

3. 1 Λογικές δοκιμές μονάδας

Λειτουργίες καθαρού μετασχηματισμού. με βάση την ιδιοκτησία (αναλλοίωτες: ιδιοτέλεια, μονοτονία).
SQL/DBT: σύγκριση του αποτελέσματος με το πρότυπο (χρυσό σύνολο), απαγόρευση 'SELECT', ελέγχοντας το φίλτρο με το χρόνο.

3. 2 Δοκιμές ποιότητας δεδομένων (DQ)

Φρεσκάδα: καθυστέρηση παραθύρου ≤ όριο στόχου.
Πληρότητα: αναμενόμενη ποσότητα/ποσοστό πληρότητας.
Μοναδικότητα: κλειδιά χωρίς αντίγραφα.
Κανόνες τομέα: εύρος τιμών, ακεραιότητα αναφοράς, επιχειρηματικές αναλλοίωτες.
Ανωμαλίες: ακραίες τιμές, εκρήξεις αντιγράφων, χρονικά κενά.

3. 3 Συμβάσεις και συστήματα

Η ασφάλεια και η αποτελεσματικότητα του SemVer σε παιδιά και εφήβους ηλικίας κάτω των 18 ετών δεν έχουν ακόμα τεκμηριωθεί.
Διαθεσιμότητα υποχρεωτικών στηλών, τύπων, περιορισμών.
Σταθερή σημασιολογία KPI: τύποι και παράθυρα συγκέντρωσης.

3. 4 Ολοκλήρωση και E2E

Ακεραιότητα DAG: σκανδάλες, εξαρτήσεις, idempotent επανάληψη.
Πλήρης διαδρομή: πηγή → ακατέργαστη → επιμελημένη → marts → BI/API. RLS/CLS.

3. 5 Επιδόσεις και κόστος

p95/p99 καθυστέρηση εργασίας, διακίνηση (σειρές/s), όγκος/τιμή.
Δοκιμές παλινδρόμησης επιδόσεων και όρια σάρωσης.

3. 6 Ασφάλεια και προστασία της ιδιωτικής ζωής

Συγκάλυψη PII/PCI (προσδιορισμός σημάτων).
RLS/CLS Check - Οι χρήστες βλέπουν μόνο τους δικούς τους.
Εξαγωγή/στιγμιότυπα: δεν υπάρχουν «ακατέργαστα» προσωπικά πεδία.

4) Οι ιδιαιτερότητες της ροής (Kafka/Flink/Spark Structured Streaming)

Υδατογραφήματα και καθυστέρηση: δοκιμές παραθύρων με καθυστερημένα συμβάντα (T + Δ), σωστοί επανυπολογισμοί.
Ακριβώς μία φορά κατά την έννοια: dedup by 'event _ id', idempotent entry (upsert/merge).
Εκτός τάξης: αναλλοίωτες για συγκεντρωτικά στοιχεία ανά «event _ time», fix 'engested _ a .
Απώλεια/επανάληψη: προσομοίωση πτώσης/παιχνιδιού των μερών, έλεγχος της ορθότητας των εκθέσεων.

5) Ευεξία και προσδιορισμός (τι και πώς να δοκιμάσετε)

Η επανεκκίνηση ενός βήματος δίνει το ίδιο αποτέλεσμα (με τις ίδιες παραμέτρους παραθύρων).
Καταγραφή - μέσω στάσης και ατομικής ανταλλαγής.
Συγχώνευση της λογικής με SCD1/SCD2 καλύπτεται από τις τελευταίες-γραφές-νίκες, πηγή προτεραιότητας.
UDF/συνολικός προσδιορισμός: ίδιες εισροές → ίδιες εκροές.

6) Διαχείριση δεδομένων δοκιμών

Χρυσά σύνολα δεδομένων: μικρά πρότυπα με χειροκίνητη επικύρωση.
Συνθετικά + εργοστάσια δεδομένων: καλύπτουν τις ακμές πεδίου (μηδέν, ακραίες τιμές, Unicode, TZ).
Αποσυνδεδεμένα δείγματα: ταίριασμα απορρήτου.
Πλακάκια με στρώματα: ακατέργαστα, ενδιάμεσα στρώματα, τελικές βιτρίνες.

7) Συμβάσεις δεδομένων - Παράδειγμα και κανόνες

yaml dataset: orders schema:
- name: order_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: event_time; type: timestamp; tz: UTC freshness_sla: 10m dq_rules:
- "pct_null(user_id) < 0. 1%"
- "duplicates(order_id) = 0"
- "sum(amount) >= 0"
evolution:
allowed_minor_additions: true breaking_changes_require: approval: 'data-governance'
actions_on_violation:
- quarantine_partition
- replay_last_60m

8) Δοκιμές παρατηρησιμότητας και SLO

Μετρήσεις εξαγωγής: φρεσκάδα, πληρότητα, μοναδικότητα, αργοπορία προς Grafana/Prometheus.
SLO προειδοποιεί ως «κόκκινες» δοκιμές μονάδας σε prod (Synthetics).
Η παλινδρόμηση αναφέρει: «μετά την κυκλοφορία του X p95 ↑ κατά 40%».

9) CI/CD και μέσα

CI: μονάδες + συμβάσεις DQ + δημοσίων σχέσεων· schema-diff· Στατική ανάλυση SQL (χιτώνιο).
Sandbox/stage: εκτέλεση ολοκλήρωσης και e2e, δοκιμές χάους με ασφαλή δεδομένα.
Σημαίες χαρακτηριστικών: καναρινόσκυλα/μοντέλα/τύποι.
Κατάλογος: έκδοση συστημάτων, τύποι KPI, γενεαλογία. αυτόματη ενημέρωση της τεκμηρίωσης.

10) Δοκιμή δεδομένων χάους (Chaos-Data)

Έγχυση αντιγράφων/παραλείψεων, καθυστερήσεων, εκτός τάξης.
Σταγόνα μεσίτη/κόμματος, «σπασμένα» αρχεία, παρασυρόμενα σχήματα.
Επικυρώνουμε: αυτόματη επισκευή (replay/backfill), καραντίνα και ειδοποιήσεις, δεδομένα MTTR.

11) Φορτίο και κόστος

Γεννήτριες κυκλοφορίας με προφίλ p95/κορυφές.
Όρια σάρωσης/βήματος (σάρωση ψηφιολέξεων, ανώτατα όρια χρόνου).
A/B προφίλ τιμών: «παλαιό» έναντι «νέο» μοντέλο/ερώτηση.

12) Εργαλεία (κλάσεις δειγμάτων)

DQ/Συμβάσεις: dbt tests, μεγάλες προσδοκίες, Deq, Soda, Custom linters.
Ενορχήστρωση: ροή αέρα/Dagster/Argo/Νομάρχης (χειριστές για δοκιμές σε κάθε στάδιο).
Πλατφόρμες: BigQuery/Snowflake/Redshift/ClickHouse/Delta/Iceberg/Hudi.
Ροή: Kafka, Flink, Spark Streaming. TestContainers για τοπικά περιβάλλοντα.
Παρατηρησιμότητα: Προμηθέας/Grafana/Otel. Κατάλογοι DataHub/Amundsen/Collibra.

13) Αντιπατερίδια

«Δεν υπάρχει τίποτα να δοκιμάσετε - είναι απλά SQL»: δεν υπάρχουν μονάδες και DQ → μετρήσεις διακοπή.
Μόνο E2E: αργή, ασταθής, τα αίτια της κατάρρευσης δεν είναι σαφή.
ΕΠΙΛΟΓΗ: διαλείμματα υπό ΕΛΆΣΣΟΝΑ ΕΞΕΛΙΞΗ.
Ζωντανή ανάγνωση του OLTP σε δοκιμές: αστάθεια και νιφάδες.
Έλλειψη χρυσών συνόλων: τίποτα για να συγκρίνουμε τα αποτελέσματα με αυτά.
Δεν υπάρχουν δοκιμές idempotency: επαναληπτικά λάφυρα δεδομένων.
Ξεχασμένη ροή: μη δοκιμασμένη καθυστέρηση/εκτός τάξης/ανακατανομή.

14) Χάρτης πορείας για την εφαρμογή

1. Βάση: δοκιμές μονάδας μετασχηματισμών, χρυσά σύνολα, SQL linter, top-10 showcase DQ κανόνες.
2. Συμβάσεις: schema-diff σε CI, SemVer, αυτόματοι έλεγχοι συμβατότητας.
3. Ολοκλήρωση: δοκιμές DAG, ταυτότητα, e2e για κρίσιμες ροές.
4. Ροή: υδατογραφήματα/καθυστέρηση, dedup/idempotent νεροχύτες δοκιμές.
5. SLO και χάος: ποιοτικές μετρήσεις στις πωλήσεις, ειδοποιήσεις, σενάρια χάους, στόχοι MTTR.
6. Βελτιστοποίηση: perf regressions, budget guards, canary releases.

15) Κατάλογος ελέγχου πριν από την ελευθέρωση

• Οι δοκιμές μονάδας καλύπτουν τους βασικούς μετασχηματισμούς και τα UDF.
• Οι κανόνες DQ για τη φρεσκάδα/πληρότητα/μοναδικότητα/εύρος περνούν.
• Οι συμβάσεις και το schema-diff είναι πράσινες. δεν υπάρχουν αλλαγές θραύσης χωρίς appruv.
• Δοκιμή ευελιξίας· εργασίες ατομικού νεροχύτη/συγχώνευσης.
• Ροή: υδατογραφήματα/καθυστερημένα δεδομένα/καλυπτόμενα εκτός λειτουργίας. dedup στη θέση τους.
• εκτίθενται μετρήσεις SLO· οι καταχωρίσεις είναι διαμορφωμένες· τα runbooks είναι.
• Τα δεδομένα δοκιμών είναι ασφαλή. Μάσκα PII; Έλεγχος RLS/CLS.
• Δεν υπάρχουν αναγωγές perf. τήρηση των προθεσμιών σάρωσης.
• Επιτυχείς δοκιμές χάους βασικών σεναρίων. Ο στόχος MTTR είναι εφικτός.

16) Ελάχιστα παραδείγματα υποδειγμάτων

16. Δοκιμή μονάδας SQL (pseudo-dbt):

sql
-- tests/assert_positive_amount. sql select count() as c from {{ ref('fct_payments') }}
where amount < 0 having c = 0

16. 2 Στυλ μεγάλων προσδοκιών:

yaml expect_table_row_count_to_be_between:
min_value: 1000 mostly: 0. 99 expect_column_values_to_not_be_null:
column: user_id expect_column_values_to_be_unique:
column: txn_id

16. 3 Έλεγχος της καθυστέρησης στο ρεύμα (ψευδο-κωδικός):

python emit(events_out_of_window <= threshold)
emit(reprocessed_events == late_events_detected)

16. 4 Δοκιμή σύμβασης (schema-diff CI):

bash schema-diff --current models/orders. yml --target prod_schema. yml --semver

17) Η τελική γραμμή

Η δοκιμή των αγωγών δεδομένων είναι πειθαρχία συστημάτων και όχι συλλογή αποσπασματικών ελέγχων. Συνδυάστε μια πυραμίδα δοκιμών, συμβάσεων και παρατηρησιμότητας με πρακτικές ιδεατότητας, εξέλιξης κυκλωμάτων και ροής αναλλοίωτων. Στη συνέχεια, οι κυκλοφορίες θα γίνουν γρήγορες, τα περιστατικά θα γίνουν σπάνια και σύντομα και η εμπιστοσύνη στα δεδομένα θα καταστεί βιώσιμη.