Δεδομένα αυτοθεραπείας

1) Ορισμός και στόχοι

Τα δεδομένα αυτοθεραπείας είναι μια προσέγγιση της μηχανικής δεδομένων στην οποία ανιχνεύονται αυτόματα ελαττώματα και εκτελούνται διορθωτικά μέτρα (επισκευή, επανακυκλοφορία, ανατροπή, επανασύνδεση, επανασύνδεση) χωρίς ανθρώπινη παρέμβαση ή με ελάχιστη παρέμβαση (ανθρώπινο-σε-βρόχο για ευαίσθητες περιπτώσεις).
Στόχοι: Χαμηλότερη MTTR δεδομένων, αυξημένη εμπιστοσύνη, ανθεκτικότητα στη μετατόπιση και αποτυχία, προβλέψιμο κόστος ιδιοκτησίας.

2) Τυπικές δυσλειτουργίες που πρέπει να αντιμετωπίζονται για

Συστήματα και συμβάσεις: ασυμβίβαστες αλλαγές, ελλείπουσες στήλες, συγκρούσεις τύπου.
Ποιότητα/ακεραιότητα: αντίγραφα, παραλείψεις, μοναδικότητα/παραβιάσεις ακεραιότητας αναφοράς.
Χρόνος και φρεσκάδα: καθυστερήσεις έγχυσης, «τρύπες» στα παράθυρα, αποσυγχρονισμός των TZ/τοπικών.
Αναγνωριστικά και κλειδιά: αλλαγή της γεννήτριας ταυτότητας, συγκρούσεις, πλωτά φυσικά κλειδιά.
Σειρά γεγονότων: καθυστερημένα γεγονότα, ανακατάταξη, εκ νέου παράδοση (τουλάχιστον μία φορά).
Αποθήκευση: υποβάθμιση παρτίδων, σπασμένα αρχεία/μπλοκ, παραμόρφωση της διάτμησης.
Δικαιώματα/ασφάλεια: εσφαλμένες μάσκες/κρυπτογράφηση, διαρροές PII στα φορτία.

3) Πυλώνες αυτοθεραπείας

1. Συμβάσεις δεδομένων (σχήματα + κανόνες) με αυτόματες δοκιμές.
2. Εικονικοί αγωγοί (επανεκκίνηση χωρίς διπλά αποτελέσματα).
3. Δημοσιογραφία και αναπαραγωγιμότητα (ακατέργαστο/χάλκινο αμετάβλητο, γενεαλογία).
4. Μηχανισμοί επισκευής (replay, backfill, συμπίεση, επισκευή συγχώνευσης, ανακατασκευή).
5. Παρατηρησιμότητα και SLO (φρεσκάδα, πληρότητα, μοναδικότητα, καθυστέρηση).
6. Πολιτικές λήψης αποφάσεων (όταν φτιάχνουμε αυτόματα, όταν κλιμακώνουμε).

4) Συμβάσεις και δοκιμές ποιότητας

Η σύμβαση περιγράφει: σχέδιο, αποδεκτές κλίμακες, μοναδικότητα, RLS/κάλυψη, φρεσκάδα SLA.

yaml dataset: payments schema:
- name: txn_id; type: string; unique: true
- name: user_id; type: string; not_null: true
- name: amount; type: decimal(18,2); min: 0
- name: created_at; type: timestamp; tz: UTC freshness_sla: 15m constraints:
- "count(distinct txn_id) = count()"
- "pct_null(user_id) < 0. 1%"
privacy:
- mask: card_pan -> BIN6LAST4 actions_on_violation:
- auto_quarantine_partition
- backfill_missing_window
- notify_owner_and_open_ticket

Οι δοκιμές εκτελούνται σε κάθε στάδιο: έγχυση → στάθμευση → επίδειξη. Η παραβίαση των κανόνων ενεργοποιεί την αυτόματη επισκευή (βλέπε κατωτέρω) και/ή την καραντίνα.

5) Ταυτότητα και προσδιορισμός

Upsert/Συγχώνευση με σταθερά κλειδιά (SCD2 για την ιστορία, SCD1 για τις φέτες).
Προσδιοριστικοί μετασχηματισμοί: μία είσοδος → μία έξοδο με τις ίδιες παραμέτρους.
Έκδοση - Καθορίστε την έκδοση κωδικού/σχήματος/στρώματος και την ετικέτα των δεδομένων (υδατογράφημα).
Idempotent sink: εγγραφή μέσω στάσης + ατομική ανταλλαγή/μετονομασία.
Ακριβώς μία φορά κατά την έννοια: αποδεκτή «τουλάχιστον μία φορά» μεταφορά + idempotent δέκτης.

6) Εργαλειοθήκη επισκευής

Replay/Backfill: redelivery for window 't ∈ [T0, T1] 'from unalterable log (raw).
Σύγκριση: σύγκριση των συγκεντρωτικών μεγεθών/κλειδιών μεταξύ στρωμάτων (ακατέργαστα ↔ επιμελημένα ↔ marts) και μεταξύ συστημάτων (πηγή ↔ DWH).
Αφαίρεση: απενεργοποίηση παραθύρων ανά κλειδί (txn_id, event_id) + ερειριστική απόσταση (ασαφής για βρώμικα κλειδιά).
Συμπίεση: μεταφορά μικρών αρχείων σε μεγάλα μέρη (Parquet/ORC), αναπροσαρμογή.
Συγχώνευση-επισκευή: όταν καταγράφεται σύγκρουση, προκαθορίζεται προτεραιότητα (κατά πηγή/χρόνο/έκδοση).
Ανακατασκευή δεικτών/υλοποιήσεων: επανυπολογισμός συγκεντρωτικών μεγεθών/κύβος/ανατροπή.
Καραντίνα/Σκιά: Ύποπτα μέρη απομονώνονται. οι καταναλωτές διαβάζουν ένα «καθαρό» νήμα.
Διαμεσολάβηση σχήματος: αυτόματος επιλογέας προβολής (συμπλήρωση προεπιλογών, υπολογίσιμες στήλες) για ήσσονος σημασίας αλλαγές.

7) Προστασία και ακεραιότητα της αποθήκευσης

Ελέγξτε τα ποσά και την επικύρωση κατά κατηγορία (CRC, ισοτιμία).
Αποθήκευση απαρτίας (RAFT/Paxos συμβατά συστήματα, απαρτία διαβάζει/γράφει).
Κωδικός διαγραφής για οικονομικά αποδοτικές απολύσεις.
Αποθήκευση αντικειμένου (undelete).
Ατομική δέσμευση в Lakehouse (ημερολόγιο συναλλαγών, ACID- таблицы: Delta/Iceberg/Hudi).

8) Τάξη των γεγονότων και «βρώμικη πραγματικότητα»

Καθυστερημένα γεγονότα: διατήρηση παραθύρου με καθυστέρηση, χρήση υδατογραφήματος "και τον επανυπολογισμό των παραθύρων.
Redelivery: dedup by global 'event _ id', idempotency-keys tables.
Χρόνος αντιστάθμισης: ομαλοποίηση TZ, αποθήκευση 'ested _ at' and 'event _ time'.
Εκτός λειτουργίας: event_time-based συγκεντρωτικά στοιχεία με ρύθμιση υδατογραφήματος.

9) Λογική απόφασης (κινητήρας πολιτικής)

Κανόνας: «ποια ανωμαλία → ποια δράση → ποια όρια → ποιος είναι ο ιδιοκτήτης».

yaml policy: payments_freshness detect: freshness_delay > 15m auto_actions:
- trigger: backfill(last_60m)
- if: gap_persisted > 30m then: quarantine_partition(date=today, hour=current_hour)
escalate:
- if: gap_persisted > 60m -> page_oncall:data guardrails:
- do_not_expose_unverified_to_marts

10) Παρατηρησιμότητα και SLO για δεδομένα

• Φρεσκάδα περιπτώσεων απεικόνισης ≤ 15 λεπτά.
• Πληρότητα> 99. 5% σε βασικούς τομείς.
• Μοναδικότητα: αντίγραφα <0. 01%.
• Καθυστέρηση υπολογισμού: p95 <5 λεπτά.
• Σταθερότητα επισκευής: δεδομένα MTTR <30 λεπτά.

Μετρήσεις και προειδοποιήσεις: έκθεση στον Προμηθέα/Grafana. Κατάρτιση ταινίας προτεραιότητας με τα περιστατικά δεδομένων.

11) Συμφιλίωση (πρακτικές)

Έλεγχος συγκεντρωτικών μεγεθών: 'count/sum/min/max' μεταξύ στρωμάτων/συστημάτων σε συρόμενο παράθυρο.
Συμφιλίωση κλειδιών: συμμετρική διαφορά συνόλων 'Δ = (A\B) ∪ (B\A)'.
Περιοδική «ελεγκτική εργασία»: σύγκριση με την πηγή, επιλεκτικός έλεγχος στην πηγή.
Πληρωμές/χρηματοδότηση: διπλή εγγραφή, ημερήσιες συμφωνίες αποκοπής, ημερολόγιο προσαρμογής.

12) Διαχείριση και εξέλιξη των κυκλωμάτων

SemVer για συστήματα: MAJOR (διαλείμματα )/MINOR (προσθήκες )/PATCH (διορθώσεις).
Συμβάσεις σε CI/CD: schema-diff, συμβατότητα, αυτοπαραγωγή των μεταναστεύσεων.
Άγκιστρο backfill: με MINOR προσθέστε προεπιλογές/υπολογισμένα πεδία, επανυπολογίστε τις προβολές.
Εύκαμπτες προβολές: Οι αναγνώστες διαβάζουν υποσύνολα στηλών. απαγόρευση «SELECT».

13) Ασφάλεια, ιδιωτικότητα, συμμόρφωση

RLS/CLS: φίλτρα σειράς/στήλης, ιδίως σε κλάδους επισκευής και εξαγωγές.
Μαρκαρισμός με βάση το PII για βιώσιμη απεμπλοκή.
Έλεγχος πρόσβασης/εξαγωγής: ποιος είδε σε τι εξήγαγαν, πού τον απέστειλαν.
DSAR/Διατήρηση: αυτόματη διαγραφή/ανωνυμοποίηση σε διαδικασίες επισκευής. οι εκκινήσεις λαμβάνουν υπόψη τις νομικές απαιτήσεις.

14) Κόστος και απόδοση

Κάλυψη του κόστους: περιορισμός του πλάτους των παραθύρων (για παράδειγμα, συρόμενες 3-7 ημέρες).
Υλικά και κρυψώνες: επανυπολογισμός μόνο τροποποιημένων παρτίδων (επαυξητικών).
Προτεραιότητα: πρώτες κρίσιμες επιδείξεις (χρηματοδότηση, κίνδυνοι) και μετά αναλυτικές.
Επισκευές εκτός αιχμής: νυχτερινά παράθυρα/χαμηλή προτεραιότητα στον προγραμματιστή.

15) Προσομοιώσεις δοκιμών και συμβάντων

Δοκιμή χάους-δεδομένων: Σκόπιμη θραύση χωρισμάτων/κυκλωμάτων στη σκηνή.
Ψεύτικες καθυστερήσεις: Πλαστές παρτίδες, εκτός παραγγελίας, αντίγραφα.
Χρυσά σύνολα δεδομένων: σημεία αναφοράς για τη συμφιλίωση μετά την επισκευή.
GameDays: τακτική ομαδική εκπαίδευση σε runbooks.

16) Αντιπατερίδια

«Αόρατες» διορθώσεις: σιωπηλές επεξεργασίες χωρίς έλεγχο ή υποβολή εκθέσεων.
Μη δοκιμασμένες backfills: καμία πηγή αλήθειας/έκδοση τύπου.
Βαριά ζωντανά αιτήματα στο OLTP κατά τη διάρκεια των επισκευών: τελειώνετε το prod.
ΕΠΙΛΟΓΗ στους καταναλωτές: διαλείμματα με οποιαδήποτε μικρή αλλαγή.
Το μόνο κλειδί για την απενεργοποίηση είναι η απουσία εφεδρικών κλειδιών/υπογραφών hash.

17) Χάρτης πορείας για την εφαρμογή

1. Ανακάλυψη: κρίσιμα σύνολα/μετρήσεις, κίνδυνοι, ιδιοκτήτες. χάρτης εξάρτησης.
2. Συμβάσεις και δοκιμές: τυποποίηση συστημάτων/κανόνων στον ΚΚΠ· δημοσιεύει γλωσσάριο.
3. Idempotency: ξαναγράψτε τους βασικούς αγωγούς σε upsert/συγχώνευση, ατομικό νεροχύτη.
4. Ακατέργαστο ημερολόγιο και γενεαλογία: αμετάβλητο στρώμα, πλήρη μεταδεδομένα, υδατογράφημα 'και.
5. Μηχανική επισκευής: backfill/replay, dedup, compaction, καραντίνα. κινητήρας πολιτικής.
6. Παρατηρησιμότητα και SLO: ταμπλό ποιότητας, ειδοποιήσεις, ταινία προτεραιότητας.
7. Χάος-δεδομένα και εκπαίδευση: τακτικές ασκήσεις + runbook 'και.
8. Βελτιστοποίηση κόστους: επαυξητικοί επανυπολογισμοί, ιεράρχηση παραθύρων.

18) Κατάλογος ελέγχου πριν από την αποδέσμευση

• Οι συμβάσεις δεδομένων και οι δοκιμές ποιότητας καλύπτουν κρίσιμα σύνολα.
• Οι αγωγοί είναι ταυτόσημοι. υπάρχουν ατομικές δεσμεύσεις και αναποδιές.
• Το backfill/replay και η καραντίνα είναι διαμορφωμένες, οι πολιτικές κλιμάκωσης περιγράφονται.
• Freshness/Completeness/Uniqueness/Latency metrics and alerts in prod.
• Συμπεριλαμβάνεται ο έλεγχος των επεξεργαστών/επισκευών. αποθηκεύει εκδόσεις τύπων και καταστημάτων.
• DSAR/Διατήρηση ακολουθείται για επισκευές και ανατροπές.
• Υπάρχει ένα runbook 'και, διεξάγονται ασκήσεις, MTTR-στόχος.
• Το κόστος των backfills περιορίζεται από τους φρουρούς του προϋπολογισμού.

19) Παραδείγματα αυτόματων ενεργειών (υποδείγματα)

«Βλάβη φρεσκάδας παραθύρου X» → οπισθοπλήρωση (last_2h) → εάν δεν είναι εντάξει σε 30 λεπτά → σελίδα καραντίνας + εφημερίας.
Το «αντίγραφο αιχμής» περιλαμβάνει αυστηρή αποσύνδεση + συμφιλίωση πηγής αναφορά αιτίας.
«MINOR schema change» → δημιουργούν ένα υπολογιζόμενο προκαθορισμένο πεδίο → ανακατασκευή συγκεντρωτικών μεγεθών.
«Απώλεια παρτίδων» → την αποκατάσταση → επαλήθευσης της ποσότητας ελέγχου από το επαληθευμένο αντικείμενο.

Κάτω γραμμή: τα δεδομένα αυτοθεραπείας δεν είναι ένα «σενάριο επισκευής», αλλά μια αρχιτεκτονική συστήματος: επίσημες συμβάσεις, ευδιάκριτοι αγωγοί, αξιόπιστη υλοτομία, αυτόματη μηχανική επισκευής και διαφανής παρατηρησιμότητα με αυστηρούς SLO. Ένα τέτοιο σύστημα όχι μόνο επισκευάζεται, αλλά μετατρέπει τα περιστατικά σε διαχειρίσιμα γεγονότα με κατανοητό κόστος και χρόνο ανάκτησης.