Εμπλουτισμός δεδομένων

1) Σκοπός και επιχειρηματική αξία

• Χρηματοδότηση/υποβολή εκθέσεων: κανονικοποίηση fx των ποσών, δεσμευτική για τις αγορές/φορολογικούς συντελεστές, υπολογισμός της GGR/NGR.
• Συμμόρφωση/AML/RG: βαθμολογία κινδύνου, κυρώσεις/ετικέτες PEP, όρια RG, χαρακτηριστικά συμπεριφοράς.
• Μάρκετινγκ/προϊόν: πηγές κυκλοφορίας, τμήματα, αποστολές/αναζητήσεις, εξατομίκευση.
• SRE/πτητικές λειτουργίες: geo/ASN για την κυκλοφορία, τον τύπο πελάτη/συσκευής, τις σημαίες και τις ελευθερώσεις.

Το βασικό αποτέλεσμα είναι η βελτίωση της ακρίβειας των μοντέλων, της ποιότητας των εκθέσεων και της ταχύτητας λήψης αποφάσεων.

2) Πηγές εμπλουτισμού (παράδειγμα καταλόγου)

Στοιχεία αναφοράς/κατάλογοι: παιχνίδια, πάροχοι, αγορές/δικαιοδοσίες, νομίσματα, πίνακες φόρων, ημερολόγιο διακοπών.
KYC/KYB/RG: επίπεδα επαλήθευσης, καταστάσεις, αυτοαποκλεισμοί, όρια, ηλικιακές ομάδες.
AML/κυρώσεις/PEP: επιτυχίες ελέγχου, κατάλογοι, επίπεδα κινδύνου.
Δίκτυα και συσκευές: IP→geo/ASN, συσκευή/φυλλομετρητής, δακτυλικό αποτύπωμα συσκευής.
Πάροχοι υπηρεσιών πληρωμών (ΠΥΠ): πίνακες BIN, μέθοδοι, MCC, ετικέτες κινδύνου.
FX/ώρα: συναλλαγματικές ισοτιμίες κατά την ημερομηνία εκδήλωσης, ζώνες τοπικής ώρας/θερινή ώρα.
Περιεχόμενο και μάρκετινγκ: πηγές/εκστρατείες/UTM, θυγατρικές, τμήματα.
Μοντέλα και ευριστική: προ-εκπαιδευμένη βαθμολόγηση, ενσωμάτωση, κατηγορηματική χαρτογράφηση.

3) Τύποι εμπλουτισμού

Lookup-joint: χαρτογράφηση σημείων ανά κλειδί (game_id, BIN, ip_range, user_pseudo_id).
Επισυνάπτονται διαστάσεις (αμυδρές) στα γεγονότα.
Παράγωγα πεδία: υπολογιζόμενες στήλες (amount_base, local_time, tax_rate).
Αθροίσεις/ταχύτητα: μετρητές παραθύρων (Ν/min, ποσό καταθέσεων/ώρα).
Χαρακτηριστικά κινδύνου/συμπεριφοράς: «χρόνος από το τελευταίο γεγονός», μερίδιο του πορτοφολιού, νυχτερινή δραστηριότητα.
Geo/ASN/Συσκευή: κωδικός χώρας, περιοχή, χειριστής, τύπος συσκευής/περιηγητή.
Σημασιολογικές χαρτογραφήσεις: ταξινόμηση παρόχου/παιχνιδιού, ομάδες παικτών.

Χαρακτηριστικά ML για Online/Offline Modeling (Feature Store)

) Πού να εμπλουτίσετε: Batch vs Stream

Ροή (σε πραγματικό χρόνο): αντι-απάτη, ενεργοποιήσεις RG, προειδοποιήσεις SRE - p95 καθυστερήσεις ≤ 2-5 s· αναζήτηση κρυψώνων (Redis/Scylla), ασύγχρονα αιτήματα προς παρόχους με χρονοδιαγράμματα.
Παρτίδα (μικρο-παρτίδα/ημερησίως): Οι χρυσές επιδείξεις (GGR/RG/AML), οι συμφωνίες, οι αναφορές - η σταθερότητα και η πληρότητα είναι πιο σημαντικές από την καθυστέρηση.
Υβριδικό: fast online feature + νυχτερινός εμπλουτισμός (συμφιλίωση/ακρίβεια).

5) Αρχιτεκτονική αναφορά

1. Χάλκινα - ακατέργαστα συμβάντα (μόνο στο παράρτημα).
2. Ασήμι (καθαρό/σύμφωνο) - ομαλοποίηση, κλειδιά, πρωτογενής αναζήτηση 'και (fx, geo, dim.).
3. Στρώμα εμπλουτισμού - εκτεταμένα χαρακτηριστικά, συγκεντρωτικά στοιχεία παραθύρων, ετικέτες κινδύνου.
4. Feature Store - χαρακτηριστικό μητρώο (επιγραμμική/μη επιγραμμική συνοχή).
5. Χρυσός - βιτρίνες για ΔΙ/ρυθμιστή/μοντέλα αμετάβλητα τεχνουργήματα.
6. Υπηρεσίες - API/GraphQL, αναφερόμενες εξαγωγές, συναγερμοί σε πραγματικό χρόνο.

Συστατικά: Kafka/Redpanda, Flink/Spark/Beam, Redis/Scylla (lookup), ClickHouse/Pinot (ζωντανή ανάγνωση), Lakehouse (Delta/Iceberg/Hudi).

6) Συμβάσεις και συστήματα

Σχήμα-πρώτα: 'event _ time', 'schema _ version', σταθερά κλειδιά (user_pseudo_id, game_id, transaction_id).
Σημάδια εμπλουτισμού: "εμπλουτισμός. έκδοση «,» εμπλουτισμός. πηγές ',' fx _ source ',' geo _ source ',' model _ version '.
Έκδοση: προστίθενται νέα χαρακτηριστικά ως ακυρώσιμα. σπάσιμο αλλαγών - μέσω '/v2 'και διπλή είσοδος.

7) Παραδείγματα εμπλουτισμού (SQL/ψευδοκώδικας)

7. 1 FX κανονικοποίηση και τοπική ώρα

sql
SELECT p.transaction_id,
p.amount_orig,
p.currency,
r.rate   AS fx_rate_used,
p.amount_orig r.rate AS amount_base,
p.event_time,
convert_timezone(m.tz, 'UTC', p.event_time) AS local_time,
r.fx_source
FROM bronze.payment_events p
JOIN dim.fx_rates r
ON r.date = DATE(p.event_time) AND r.ccy_from = p.currency AND r.ccy_to = 'EUR'
JOIN dim.markets m ON m.code = p.market;

7. 2 Geo/ASN ανά IP (ψευδοκώδικας)

python geo = geo_db.lookup(ip)
asn = asn_db.lookup(ip)
record["geo_country"] = geo.country record["asn"] = asn.number record["enrichment"]["geo_source"] = "mmdb:2025-10-01"

7. 3 Ενδείξεις ταχύτητας εναπόθεσης παραθύρων (ρεύμα)

sql
SELECT user_pseudo_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS deposits_sum_10m
FROM silver.payments
GROUP BY user_pseudo_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

7. 4 Διασύνδεση με τα όρια RG

sql
SELECT b., r.daily_deposit_limit, r.self_exclusion
FROM silver.bets b
LEFT JOIN dim.rg_limits r USING (user_pseudo_id);

8) Ποιότητα εμπλουτισμού (DQ)

• FX: 'fx _ rate _ used' not NULL, 'fx _ source' from whitelist, missed 'found _ base ≥ 0'.
• Geo/ASN: το μερίδιο των επιτυχημένων εμφανίσεων ≥ 98% (ανά αγορά), «χώρα» στον κατάλογο.
• Ετικέτες RG/AML: 'έγκυρα _ από/έγκυρα _ σε' (SCD II) δεν τέμνονται. την απουσία «οπών» στην ιστορία.
• Συγκεντρωτικά στοιχεία/παράθυρα: ορθότητα των παραθύρων (χωρίς διπλή μέτρηση), πληρότητα ≥ 99. 5%.
• Υπόδειγμα εκδόσεων: 'model _ version' παρούσα, διάταξη ελέγχου μετατόπισης.

yaml table: enriched.payments rules:
- name: fx_present type: not_null column: fx_rate_used severity: critical
- name: country_known type: in_set column: geo_country set_ref: ref.countries severity: major
- name: rg_scd_valid type: scd_validity columns: [valid_from, valid_to]
severity: major

9) Προστασία της ιδιωτικής ζωής και συμμόρφωση

Ελαχιστοποίηση PII: εμπλουτισμός με ψευδο-ID, πραγματικά αναγνωριστικά - σε ξεχωριστό βρόχο.
Γεωεντοπισμός και κατοικία: δρομολόγηση ανά περιφέρεια (ΕΟΧ/ΗΒ/BR), ξεχωριστά κλειδιά κρυπτογράφησης.
DSAR/RTBF: οι εμπλουτισμένες προβολές πρέπει να υποστηρίζουν «απόκρυψη «/εκ νέου δράση· να διατηρεί τη νομική βάση για τις εξαιρέσεις.
Νομικό καθεστώς: πάγωμα διαγραφών για δηλωτέα αντικείμενα/υποθέσεις.

10) Παρατηρησιμότητα και γενεαλογία

Γραμμή: από ακατέργαστο γεγονός → αναζήτηση/συγκεντρωτικά μεγέθη → οθόνες/μοντέλα. καθορίζουν τις εκδόσεις πηγής ('fx _ source', 'geo _ source', 'bin _ source').
SLI/SLO: φρεσκάδα p95 (άργυρος) ≤ 15 мин· επιτυχημένα γεω-ψώνια ≥ 98%· Το ποσοστό των εγγραφών με ολοκληρωμένα βασικά χαρακτηριστικά ≥ 99% λανθάνουσα ροή εμπλουτισμού p95 ≤ 2-5 s.
Ταμπλό: πληρότητα χάρτη θερμότητας από πηγές, χάρτης εκδόσεων βιβλίων/μοντέλων αναφοράς, οθόνη «ακριβών» συνδέσμων, μετατόπιση σημάτων.

11) Κόστος και απόδοση

Caches/υλοποίηση: συχνή αναζήτηση 'και σε Redis/Scylla? περιοδικά στιγμιότυπα.
Συμπαγή σήματα: αποθηκεύονται συγκεντρωτικά στοιχεία (όχι «ακατέργαστοι» κατάλογοι). Χρήση μορφοτύπων παρκέτας/στήλης.
Κατάτμηση: ανά ημερομηνία/αγορά/ενοικιαστή· ομαδοποίηση από συχνά φιλτραρισμένα πεδία.
Προσαρμοστική συχνότητα: βαριές θέσεις εργασίας εμπλουτισμού - τη νύχτα· πραγματικός χρόνος - μόνο κρίσιμης σημασίας.
Χρέωση: κόστος/ερώτηση και κόστος/λογιστική GB ανά ομάδα/χαρακτηριστικό.

12) Πρότυπα και αντι-πρότυπα

• Αναζήτηση διάστασης + SCD II για παρόχους RG/KYC.
• Σε ποιες περιπτώσεις επρόκειτο να χρησιμοποιηθεί το Async;
• Αποθήκευση χαρακτηριστικών με online/offline διαπραγμάτευση και δοκιμές επαναληψιμότητας.
• Κανόνας-ως-Κώδικας για τον εμπλουτισμό (κατώφλι/κατηγορηματικοί χάρτες).

• Άκαμπτη σύνδεση με εξωτερικούς API σε θερμή διαδρομή χωρίς κρύπτη.
• Μη επισημασμένες εκδόσεις πηγής ('fx _ source', 'geo _ source').
• Απομαλοποίηση «όλα με τα πάντα» στο Silver (εκρήξεις κόστους/πολυπλοκότητας).
• Εισαγωγή του PII σε αναλυτικά στρώματα.

13) Διαδικασίες και RACI

R (Υπεύθυνη): Μηχανική δεδομένων (αγωγοί εμπλουτισμού/ροής), Ιδιοκτήτες τομέα (σημασιολογία χαρακτηριστικών), MLOps (Κατάστημα Χαρακτηριστικών).
A (Υπόλογος): Προϊστάμενος Υπεύθυνου Δεδομένων/Υπεύθυνος Δεδομένων.
C (Ζητήθηκε η γνώμη): Συμμόρφωση/Νομικός/ΥΠΔ, Χρηματοδότηση (FX/налоги), Κίνδυνος (RG/AML), SRE.
I (Ενημερωμένο): BI/Προϊόν/Μάρκετινγκ/Δραστηριότητες.

14) Χάρτης πορείας για την εφαρμογή

1. Κατάλογος πηγών εμπλουτισμού (fx, geo, markets, RG/KYC).

2. Κανονικοποίηση αργύρου + βασική αναζήτηση 'και (fx/geo/dim.) .

3. Τα πρώτα συγκεντρωτικά μεγέθη είναι η ταχύτητα (καταθέσεις/επιτόκια) και εμπλουτισμένα. v1 πίνακες.

4. Πληρότητα/φρεσκάδα ταμπλό, εκδόσεις πηγής.

• Σύνδεση των κυρώσεων/PEP/BCL, πίνακες PSP BIN, δακτυλικά αποτυπώματα συσκευής.
• Feature Store (βασικά χαρακτηριστικά) + online cache, realtime enrichment Flink.
• Κανόνες DQ για προσομοιώσεις εμπλουτισμού, γενεαλογίας και ξηρής εκτέλεσης.

• Εξατομίκευση (αποστολές/αναζητήσεις) και ανιχνευτές RG/AML online.
• Διαχείριση αξίας (ποσοστώσεις, υλοποίηση, σειρά Z), πολυπεριφέρεια.
• Αυτόματη δημιουργία χαρακτηριστικών και τεκμηρίωση καταλόγου.

15) Κατάλογος ελέγχου ποιότητας πριν από την πώληση

• Συνεπή κλειδιά και σχήματα, υπογεγραμμένες εκδόσεις πηγής.
• κανόνες DQ για fx/geo/RG/κυρώσεις/παράθυρα· καταχωρίσεις και SLO.
• Caches/timeouts and fallbacks for external lookups.
• Πίνακες γενεαλογίας και κόστους/απόδοσης.
• DSAR/RTBF/Νομικές διαδικασίες συγκράτησης για εμπλουτισμένους πίνακες.
• Τεκμηρίωση χαρακτηριστικών (ιδιοκτήτης, τύπος, SLO, πρόσκρουση).

16) Συχνά λάθη και τρόπος αποφυγής τους

Χωρίς ετικέτα εκδόσεις αναφοράς/μοντέλου: Πάντα ορίστε '_ source' και 'model _ version'.
Υπολογισμός fx «αναδρομικά»: χρήση του ρυθμού κατά τη στιγμή του γεγονότος. αποθηκεύει την πηγή FX.
Μίξη PII: Απομόνωση και απομόνωση χαρτογραφήσεων.
Διπλή μέτρηση σε μονάδες: έλεγχος παραθύρων και dedup.
Συγχρονισμένες εξωτερικές κλήσεις χωρίς κρύπτη: εισάγετε async + cache/retrai.
Δεν υπάρχει επαναληψιμότητα χαρακτηριστικών: ενιαίος διαδικτυακός/offline κώδικας μετασχηματισμού, δοκιμές συμμόρφωσης.

17) Γλωσσάριο (συνοπτικά)

Προσάρτημα αναζήτησης/διάστασης - επισυνάψτε το βιβλίο αναφοράς στο γεγονός ανά κλειδί.
Feature Store - μητρώο χαρακτηριστικών και χρήση για ML.
SCD II - ιστορική μέτρηση με διαστήματα ισχύος.
FX - συναλλαγματικές ισοτιμίες και κανονικοποίηση των ποσών.
ASN - αυτόνομο σύστημα δικτύου· χρήσιμη για την καταπολέμηση της απάτης και της γεωανάλυσης.

18) Η τελική γραμμή

Ο εμπλουτισμός είναι η πειθαρχία της μετατροπής των γεγονότων σε γνώση: συνεπή κλειδιά και συστήματα, ελεγχόμενη αναζήτηση και συγκεντρωτικά μεγέθη, επαληθευμένες πηγές, προεπιλεγμένη ιδιωτικότητα, DQ και παρατηρησιμότητα. Ακολουθώντας τα περιγραφόμενα μοτίβα, θα λάβετε αναπαραγώγιμες, οικονομικές και συμβατές βιτρίνες και πινακίδες έτοιμες για αναφορά, εξατομίκευση και ανιχνευτές κινδύνου σε πραγματικό χρόνο.