Συγχώνευση δεδομένων από διαφορετικές πηγές

Συγχώνευση δεδομένων από διαφορετικές πηγές

Συγχώνευση δεδομένων είναι η διαδικασία συνδυασμού ετερογενών ροών (βάσεις δεδομένων προϊόντων, CRM, πάροχοι πληρωμών, αρχεία καταγραφής γεγονότων, μητρώα τρίτων) σε ολιστικές οντότητες και συνεπείς αποθήκες. Ο στόχος είναι να αποκτηθεί Χρυσό ρεκόρ και συνεπείς περικοπές για την αναλυτική, ML και λειτουργικές περιπτώσεις.

1) Τυπικά σενάρια και στόχοι

360 ° στην ουσία: πελάτης/παίκτης, συσκευή, μέσο πληρωμής, έμπορος.
Ενοποίηση συναλλαγών: πολλαπλοί πάροχοι ΥΠ/ταμειακά μητρώα → ένα ενιαίο ημερολόγιο με υποχρεωτική ταυτότητα.
Ομαλοποίηση γεγονότων: web/mobile/backend logs → ένα μόνο λεξικό γεγονότων.
Εμπλουτισμός: εξωτερικοί κατάλογοι (geo, FX, AML/κυρώσεις, πηγές εμπορίας).
Ενοποιημένες μετρήσεις: συντονισμός νομισμάτων/χρονικών ζωνών, συστημάτων και κωδικοποιήσεων.

2) Συμβάσεις και συστήματα πηγής

• Σχήμα: πεδία, τύποι, ακυρότητα, κλειδιά, πεδία αξίας.
• Σημασιολογία: τι σημαίνει κάθε πεδίο (λεξικό).
• SLA: φρεσκάδα/συχνότητα, μέγιστη καθυστέρηση και εκτός λειτουργίας.
• Εξέλιξη: πολιτική αλλαγής συστήματος (οπισθοδρόμηση/πρόοδος), ύφεση.
• Ποιότητα: μοναδικότητα των κλειδιών, αποδεκτές κλίμακες, ακεραιότητα αναφοράς.

3) Ταυτοποίηση: κλειδιά και χαρτογράφηση (σύνδεση εγγραφής)

3. 1. Hard ID

Φυσικά κλειδιά: 'χρήστης _ id', 'συναλλαγή _ i ,' συσκευή _ id ',' iban '.
Πλήκτρα διαμεσολάβησης: e-mail/τηλέφωνο (κανονικοποιημένο: περίπτωση, χώροι, κωδικοί χώρας).
Υποκατάστατα: «υποκατάστατο _ id» σε πίνακες κόμβων ελλείψει καθολικού κλειδιού.

3. 2. Κανόνες ομαλής αντιστοίχισης

Προσδιορισμός: ακριβής αντιστοιχία του κανονικοποιημένου ηλεκτρονικού ταχυδρομείου + DR; «σπίτι «/» κινητό «τηλέφωνο → E.164.
Πιθανολογική (ασαφής): Jaro-Winkler/Levenshtein για όνομα/διεύθυνση, TF-IDF/ενσωμάτωση για συμβολοσειρές, «μπλοκάρισμα» (μπλοκάρισμα) από χονδροειδή hashes/προθέματα για επιτάχυνση.
προσεγγίσεις γραφήματος: οντότητες ως κόμβοι, συμπτώσεις ως άκρα· συστοιχία συστατικών στοιχείων συνδεσιμότητας.
Στρατηγική επιτάχυνσης: από αυστηρούς έως ήπιους κανόνες με χειροκίνητη επανεξέταση «στα σύνορα».

3. 3. Κανόνες ενοποίησης (επιβίωση)

Η προτεραιότητα της πηγής είναι «KYC registry> CRM> logs» όταν υπάρχει σύγκρουση τιμών.
Φρεσκάδα: Η νεότερη χρονοσφραγίδα κερδίζει (προσαρμοσμένη σε ισχύ).
Πληρότητα: προτιμήστε το μη-NULL. συγχώνευση διευθύνσεων/ετικετών συνδυάζοντας σύνολα.
Έλεγχος: Διατήρηση της «διαδρομής της λύσης» - τι αντικαταστάθηκε και γιατί.

4) Αποπροσανατολισμός και MDM

MDM στρώμα (Master Data Management): πίνακες κύριων οντοτήτων + σχέσεις istochnik→master.
Χρυσή εγγραφή: συγκεντρωτική εγγραφή με πεδίο «εμπιστοσύνης »/πηγή αλήθειας.
Ιστορικό: SCD τύπου 2 για χαρακτηριστικά εξαρτώμενα από το χρόνο (διεύθυνση, κατάσταση KYC).
Ταυτότητες: Συγχώνευση πινάκων χαρτών με ημερομηνίες «συγχώνευσης «/» διαρροής «.

5) Ροές μεταβολών: CDC, latecomers και αντίγραφα

CDC (Change Data Capture): 'insert/update/reference' + 'source _ ls /offset.
Καθυστερημένες εκδηλώσεις: υδατογραφήματα και περίοδος χάριτος, αποθήκευση καθυστερημένων επικαιροποιήσεων για προσαρμογές.
Εκτός παραγγελίας: διαλογή ανά κλείδα και ώρα, αντιστάθμιση επικαιροποιήσεων.
Αντίγραφα: idempotent πλήκτρα ('event _ i ,' idempotency _ key '), dedup στο παράθυρο.
Ακριβώς μία φορά: συναλλαγή singles/αποθήκευση, 'MERGE' με καθορισμένη λογική.

6) Χρονοδιαγράμματα, νομίσματα και ημερολογιακό πρόγραμμα

Χρόνος: αποθήκευση σε φέτες UTC + εντοπισμένες. αποθηκεύουν ρητά το 'estested _ a and' event _ time '.
Νομίσματα: Αποθήκευση «ακατέργαστου νομίσματος» και κανονικοποιημένη «βάση _ ccy» με επιτόκιο κατά την ημερομηνία συναλλαγής.
Ημερολόγια: πίνακες διακοπών/εργάσιμων ημερών ανά περιφέρεια για δίκαιες συγκρίσεις.

7) Ψευδο-SQL για συγχώνευση (upsert/συγχώνευση)

7. 1. Συναλλαγές (idempotent journal)

sql
MERGE INTO fact_transactions t
USING staging_transactions s
ON t. txn_id = s. txn_id
WHEN MATCHED AND s. updated_at > t. updated_at THEN
UPDATE SET amount = s. amount,
currency = s. currency,
status = s. status,
updated_at = s. updated_at
WHEN NOT MATCHED THEN
INSERT (txn_id, user_ext_id, amount, currency, status, event_time, updated_at)
VALUES (s. txn_id, s. user_ext_id, s. amount, s. currency, s. status, s. event_time, s. updated_at);

7. 2. Χρήστης «χρυσή εγγραφή» (προτεραιότητα πηγής + φρεσκάδα)

sql
WITH ranked AS (
SELECT s. ext_user_id,
s. norm_email,
s. phone_e164,
s. addr_struct,
s. source,
s. updated_at,
ROW_NUMBER() OVER (
PARTITION BY s. ext_user_id
ORDER BY
CASE s. source
WHEN 'KYC' THEN 1 WHEN 'CRM' THEN 2 ELSE 3 END,
s. updated_at DESC
) AS rn
FROM staging_users s
)
MERGE INTO dim_user_golden g
USING ranked r
ON g. ext_user_id = r. ext_user_id
WHEN MATCHED AND r. rn = 1 THEN
UPDATE SET email = COALESCE(r. norm_email, g. email),
phone = COALESCE(r. phone_e164, g. phone),
address = COALESCE(r. addr_struct, g. address),
source_of_truth = r. source,
updated_at = r. updated_at
WHEN NOT MATCHED AND r. rn = 1 THEN
INSERT (ext_user_id, email, phone, address, source_of_truth, updated_at)
VALUES (r. ext_user_id, r. norm_email, r. phone_e164, r. addr_struct, r. source, r. updated_at);

8) Ποιότητα και δοκιμές

Σχήμα δοκιμής: απαιτούμενα πεδία, τύποι, πεδία.
Λογικές δοκιμές: μοναδικότητα του κλειδιού, απουσία αντιγράφων, όχι «πίσω στο χρόνο».
Συμφωνίες: ποσά ανά πηγή και ανά τελική έκθεση. διαφορές → εισιτήρια.
Προφίλ: διανομές, κλάσμα NULL, «μακριές ουρές».
Συγχώνευση μετρήσεων: ακρίβεια/απεικόνιση ανάκλησης,% των αρχείων με κατώφλι εμπιστοσύνης.

9) Παρατηρησιμότητα και SLO

SLO φρεσκάδα: υστέρηση παραθύρου ≤ N λεπτά/ώρες· καθυστέρηση της παρακολούθησης και καθυστέρηση.
Ειδοποιήσεις: αύξηση των αντιγράφων, αύξηση των συγκρούσεων, πτώση των κλειδιών κάλυψης.
Καταχωρήσεις γραμμής: από ποια πηγή λήφθηκε το πεδίο, πότε και από ποιον αντικαταστάθηκε.
Runybooks: Σενάρια περιστατικών (καθυστερημένες παρτίδες, καταιγίδες CDC, εσφαλμένο FX).

10) Ασφάλεια, ιδιωτικότητα, συμμόρφωση

PII: ψευδώνυμο, ID hashing, culking in BI.
RLS/CLS: πρόσβαση με ρόλους και σειρές· εξαγωγή - με μάρκες και ημερομηνία λήξης.
Διάρκεια ζωής των δεδομένων: χρονοδιαγράμματα αποθήκευσης. Δικαίωμα απομάκρυνσης (DSAR) και «νόμιμη κατοχή».
Επαναπροσδιορισμός: κανόνες για την ελαχιστοποίηση των συνδέσεων των ευαίσθητων πινάκων.

11) Πρότυπο και οργάνωση δεδομένων

Στρώματα: «ακατέργαστα» (όπως είναι) → «στάθμευση» (καθαρισμός/ομαλοποίηση) → «πυρήνας» (κύριες οντότητες, γεγονότα/μετρήσεις) → «μάρτυρες» (βιτρίνες για ανάλυση/ML).
SCD: τύπος 2 για χαρακτηριστικά, τύπος 1 για διόρθωση σφαλμάτων· ρητή 'valid _ from/bell _ to'.
Feature Store: οι λειτουργίες μετασχηματισμού είναι πανομοιότυπες online/offline. ορθότητα από σημείο σε χρόνο.

12) Πρότυπα εφαρμογής

ELT με σημασιολογικό επίπεδο: η λογική συγχώνευσης περιγράφεται δηλωτικά (κανόνες, προτεραιότητες, κλειδιά).
Ροή + μικροεπεξεργαστή: για οθόνες σχεδόν πραγματικού χρόνου - μικροδίκτυα 1-15 λεπτών με υδατογραφήματα.
Γραφική σύνδεση: ξεχωριστός κόμβος γραφημάτων για πολύπλοκη ταυτοποίηση (συσκευές, χάρτες, διευθύνσεις).
Σταδιακή επικύρωση: περιλαμβάνονται νέοι κανόνες σύνδεσης σε κατάσταση σκιάς, συλλέγονται μετρήσεις ακρίβειας.

13) Προ-Συγχώνευση Loop Release List

• Υπογεγραμμένες συμβάσεις πηγής. τα σχήματα και τα λεξικά πεδίου είναι συνεπή
• καθορισμένα κλειδιά/κανόνες σύνδεσης· έχει στρατηγική αφυδάτωσης
• Καθορίζονται κανόνες επιβίωσης και βασικές προτεραιότητες. Ενεργοποιημένος λογιστικός έλεγχος
• Εφαρμογή CDC/ιδεατότητας/καθυστερημένης επεξεργασίας δεδομένων
• Νομίσματα/Χρονικές ζώνες/Κανονικοποιημένο Ημερολόγιο
• Θεσπίζονται δοκιμές ποιότητας και συνδυασμοί, διατίθενται πίνακες παρατήρησης
• Η φρεσκάδα και η διαθεσιμότητα SLO είναι σταθερές. Οι ειδοποιήσεις και τα βιβλία πορείας είναι έτοιμα
• PII/προσβάσεις/συμμορφούμενες με την αποθήκευση
• Τεκμηρίωση: Διαβατήριο οντότητας, σχήμα γενεαλογίας, αιτήσεις δειγματοληψίας

14) Διαβατήριο του «χρυσού δίσκου» (υπόδειγμα)

Οντότητα: 'USER _ GOLDEN'

Κλειδί: 'user _ master _ id' (υποκατάστατο), mapping source _ user _ id [] '

• 'email': ομαλοποίηση + προτεραιότητα 'KYC> CRM> LOGS'
• «τηλέφωνο»: E.164 ομαλοποίηση, διαχωρισμός επαλήθευσης
• 'όνομα': Jaro-Winkler ≥ 0. 92, οπισθοδρόμηση - πηγή KYC
• 'addres : σύνθετο αντικείμενο· Προτεραιότητα ένωσης + φρεσκάδας
• Ιστορικό: SCD2 ('έγκυρο _ από/έγκυρο _ έως')
• Γενεαλογία: κατάλογος αναφοράς πεδίου δότη
• Ποιότητα: coverage≥98%, dublikaty≤0. 3%
• SLO: φρεσκάδα ≤ 1 ώρα, διαθεσιμότητα ≥ 99. 9%
• Ιδιοκτήτες: Πλατφόρμα Δεδομένων, KYC/AML
• Κίνδυνοι: συγκρούσεις ονόματος, «οικογενειακά» τηλέφωνα, κοινόχρηστες συσκευές

15) Σύνοψη και συστάσεις

Η συγχώνευση δεν είναι μόνο ένα «JOIN by key», αλλά ένα περίγραμμα: συμβάσεις πηγής προσδιορισμός και αφαίρεση προτεραιοτήτων και ένα «χρυσό ρεκόρ» των ΚΕΕΛΠΝΟ και ποιότητα και παρατηρησιμότητα ασφάλεια και αλλαγή του ιστορικού.
Δημιουργία κανόνων με διαφάνεια, διενέργεια ελέγχου για κάθε λύση, υποστήριξη της ΕΕΑΚ και ακριβώς μία φορά. Έτσι τα δεδομένα από δεκάδες πηγές μετατρέπονται σε αξιόπιστα καταστήματα και βιώσιμες μετρήσεις για το προϊόν, την αναλυτική και τη ML.