Αγωγοί ανάλυσης και ETL

(Τμήμα: Τεχνολογία και Υποδομές)

Σύντομη Περίληψη

Ο αναλυτικός αγωγός μετατρέπει τα «ακατέργαστα» λειτουργικά γεγονότα iGaming (στοιχήματα, καταθέσεις, webhooks PSP, αρχεία καταγραφής παιχνιδιών) σε σταθερές μετρικές βιτρίνες (GGR/NGR, LTV, κατακράτηση, σήματα καταπολέμησης της απάτης). Υποστηρικτικές αρχές: ένα μοντέλο ενός στρώματος (Bronze/Silver/Gold), ορχηστρική πειθαρχία DQ/γενεαλογία, επαυξητικότητα και ταυτότητα, παρατηρησιμότητα και SLO, έλεγχος κόστους. Οι αποφάσεις λαμβάνονται λαμβάνοντας υπόψη το προφίλ φορτίου (κορυφές τουρνουά), τις κανονιστικές (PII/τοπικοποίηση) και τις επιχειρηματικές απαιτήσεις για τη φρεσκάδα των δεδομένων.

1) Αρχιτεκτονικές: ETL έναντι ELT, παρτίδα έναντι ροής

Εκχύλισμα → Μετασχηματισμός φορτίου → πριν από τη φόρτωση σε DWH. Κατάλληλο όταν οι μετασχηματισμοί απαιτούν ελεγχόμενο περιβάλλον/μυστικά πριν από το «νέφος».
ELT (Extract → Load → Transform): πρώτες ύλες στη λίμνη/Lakehouse/DWH, στη συνέχεια SQL/κινητήρα (dbt/SQL scripts). Βολικό για κινητήρες στήλης και ευέλικτες επαναλήψεις.
Παρτίδα: προγραμματισμένα παράθυρα (κάθε 5/15/60 λεπτά, νύχτα). Φτηνό και προβλέψιμο.
Ρεύμα: почти σε πραγματικό χρόνο (Kafka → Flink/ksqlDB → OLAP). Για παράθυρα σχεδόν πραγματικού χρόνου (5-60 δευτερόλεπτα) και σήματα καταπολέμησης της απάτης/CRM.
Υβρίδιο: Το χάλκινο γεμίζει με ρεύμα, αργυρό/χρυσό - στοιχειώδη μοντέλα παρτίδας.

Σύσταση: στο iGaming διατηρείται το ELT + streaming: εκδηλώσεις μέσω CDC/outbox → Bronze (λεπτή φρεσκάδα), αυξητικοί μετασχηματισμοί σε Silver/Gold.

2) Μενταγιόν

Χάλκινο (ακατέργαστο): Ακατέργαστα γεγονότα/ΚΕΕΛΠΝΟ χωρίς επιχειρηματική λογική. Μορφότυποι parquet/ORC, συστήματα όπως είναι, ελάχιστη επικύρωση.
Άργυρος (συμμορφωμένος): καθαρισμός, αποπάγωση, ομαλοποίηση ταυτότητας, διάσταση SCD, ενοποίηση ζώνης νομίσματος/ώρας.
Χρυσός (Marts): επιχειρηματικές υποθέσεις (γεγονότα/διαστάσεις, κύβοι), πραγματικές απόψεις, προκαταλήψεις (ημέρες/χώρες/προϊόντα).

Pros: αναπαραγωγιμότητα, διαφανής εξέλιξη, διαφορετικές SLO και TTL ανά στρώμα.

3) Πηγές και φόρτωση: CDC, outbox, αρχεία

CDC (Change Data Capture): ροές μεταβολών από OLTP (Postgres/MySQL) με εγγυημένη τάξη και ταυτότητα.
Outbox μοτίβο: τα γεγονότα γράφονται στο outbox πίνακα/συλλογή στη συναλλαγή υπηρεσιών → ο συνδετήρας δημοσιεύει στο λεωφορείο/λίμνη.
Αποστολή αρχείου: uploads PSP, αναφορές εταίρων. να χρησιμοποιούν δηλωτικά, να ελέγχουν και να λαμβάνουν καταλόγους.

Πρακτικές: οι πηγές έχουν εκδοθεί (έκδοση σχήματος), για κάθε πηγή - σύμβαση με πεδία και προσδοκίες ποιότητας.

4) Ενορχήστρωση: DAG, εξαρτήσεις, ανάπτυξη

DAG: ρητές εξαρτήσεις (ακατέργαστο στάδιο dims γεγονότα marts).
Ιδιαιτερότητα: επανάληψη χωρίς παρενέργειες (αντικατάσταση κατάτμησης, 'MERGE '/upsert).
Διαχωρισμός περιβάλλοντος: Dev/Stage/Prod, προώθηση αντικειμένων, «χειροκίνητη έγκριση» για ακριβή οπισθοπλήρωση.
Προγραμματισμός: cron/time windows + ενεργοποιήσεις γεγονότων (σύμφωνα με την άφιξη αρχείων/μερών).
Μυστικά: από μυστικό διαχειριστή. απαγόρευση μυστικών στον κωδικό DAG.

python with DAG("dwh_daily", schedule="0  ") as dag:
bronze = ingest_cdc(source="payments", partition=hour())
silver = dedup_normalize(input=bronze)
dims  = build_dimensions(input=silver)
facts = build_facts(input=silver, dims=dims)
marts = build_marts(input=facts)
bronze >> silver >> [dims, facts] >> marts

5) Ποιότητα δεδομένων (DQ) και γενεαλογία

Έλεγχοι DQ: πληρότητα (μέτρηση, καθυστερημένες αφίξεις), μοναδικότητα των κλειδιών, εύρος/κανόνες τομέα (ποσό ≥ 0, νόμισμα στον κατάλογο).
Όριο ενεργοποίησης: σκληρή στάση/απαλή αποτυχία με συναγερμό ανάλογα με την κρισιμότητα του πίνακα.
Γραμμή/κατάλογος: από την αναφορά στην πηγή (πίνακες, στήλες, μετρήσεις), ιδιοκτήτες, τεκμηρίωση, ταξινόμηση PII.
Έλεγχος σχήματος: αυτόματες δοκιμές συμβατότητας (οπισθοπορεία/προς τα εμπρός συμβατές), προειδοποίηση για αλλαγές «θραύσης».

6) Προσομοίωση: SCD, υποκατάστατα κλειδιά, ομαλοποίηση

για διαστάσεις είναι 'έγκυρα _ από/έγκυρα _ έως/είναι _ τρέχον', υποκατάστατο κλειδί ('_ sk'), και φυσικό κλειδί ('_ i SCD2).
για μικρά χαρακτηριστικά (για παράδειγμα, περιοχή διεπαφής).
Υποκατάστατα κλειδιά: σταθερά '_ sk' για σύνδεση, φυσικά κλειδιά για μοναδικότητα.
Ομαλοποίηση της διάστασης: νιφάδα χιονιού όπου οι ιεραρχίες είναι βαθιές. διαφορετικά αστέρι για ταχύτητα.

7) Επαυξητικά μοντέλα και κατάτμηση

Υδατογράφημα ('update _ at', 'ingest _ ts'): διαβάστε μόνο νέες/τροποποιημένες γραμμές.
Επιπρόσθετες στρατηγικές: 'MERGE' ανά κλειδιά επιχειρήσεων, 'INSERT OVERWRITE' ανά παρτίδες, 'DELETE + INSERT' για μικρές παρτίδες.
Κατάτμηση: κατά ημερομηνία/ώρα/περιοχή. ομαδοποίηση (ταξινόμηση κλειδιών/σειρά Z) με φιλτράρισμα και σύνδεση κλειδιών.
Υλοποιημένες απόψεις: GGR/NGR preaggregation, cache of popular sections.
Περίπου μονάδες: HLL/approx_distinct για φτηνές κορυφαίες επιδείξεις N.

sql
MERGE INTO fact_deposits f
USING staging_deposits s
ON (f. deposit_id = s. deposit_id)
WHEN MATCHED THEN UPDATE SET amount = s. amount, status = s. status, updated_at = s. updated_at
WHEN NOT MATCHED THEN INSERT (...)
VALUES (...);

8) Backfill, επανεπεξεργασία και διαχείριση ιστοριών

Backfill: μεμονωμένες ΣΔ με όρια πόρων και παράθυρα. ένα σαφές «παράθυρο αλήθειας» (π.χ. 2024-01-01.. 2025-11-05).
Επανεπεξεργασία: οι προσδιοριστικοί μετασχηματισμοί → επαναλαμβανόμενες διαδρομές δίνουν το ίδιο αποτέλεσμα. Εκδόσεις καταγραφής του κωδικού μοντέλου.
Time-travel/table versions: βολικό για έρευνες και DR «λογικά σφάλματα».
Αφαίρεση: ανάκληση (διαγραφή/διαγραφή) πολιτικής με καταγραφή.

9) Μεταφορέας CLO/SLA/SLO

φρεσκάδα: χάλκινο ≤ 1-5 λεπτά, ασήμι ≤ 15 λεπτά, χρυσό ≤ 60 λεπτά (παράδειγμα).
Αξιοπιστία: DAG ≥ 99 pass rate x%.
Απόδοση: p95/p99 διάρκεια κόμβου. προϋπολογισμός για την ώρα των κομμάτων.
Lag παρακολούθηση: υστέρηση της ροής εισροής, βάθος αναμονής, μερίδιο των «καθυστερημένων δεδομένων».
Ειδοποιήσεις: παραβίαση φρεσκάδας/όγκου, αρχεία DQ, αύξηση του κόστους των σαρώσεων, υποβάθμιση του MV.

10) Κόστος: πρόβλεψη και βελτιστοποίηση

Τα χωρίσματα και οι συστάδες ελαχιστοποιούν τον όγκο σάρωσης.
Υλοποίηση θερμών δεικτών (ημέρες/χώρες/προϊόντα).
Αποτελέσματα cache/MV για τα συχνά χρησιμοποιούμενα ταμπλό.
Παρακολούθηση της συχνότητας επανεκκίνησης (όχι «κάθε 5 λεπτά» χωρίς λόγο).
TTL: επιθετική κατακράτηση χαλκού, μέτριο ασήμι, μακρύ χρυσό (μόνο συγκεντρωτικά στοιχεία).
Σχεδιασμός χωρητικότητας: μετρήσεις καταλόγου, πρόβλεψη των κορυφών τουρνουά/καμπάνιας.

11) Ασφάλεια, PII και εντοπισμός

Ταξινόμηση δεδομένων: PII/financial/operative.
Κρυπτογράφηση: σε ηρεμία και σε διαμετακόμιση. KMS/πρόσβαση βάσει ρόλων.
Μη ταυτοποίηση: hashing/casking, χωριστές στήλες με κλειδιά.
RLS/blizzards για πολυκατοικία (από τον «ενοικιαστή _ id»).
Εντοπισμός: χώροι αποθήκευσης και επεξεργασίας ανά περιφέρεια (EU/TR/LATAM)· εξαγωγή μόνο σε επιτρεπόμενες τοποθεσίες.
Έλεγχος: διαβάζει/γράφει σε κρίσιμους πίνακες, πρόσβαση καταλόγου.

12) Παρατηρησιμότητα: μετρήσεις, κούτσουρα, μονοπάτια

Μετρήσεις αγωγών: διάρκεια εργασίας, ουρά αναμονής, σφάλματα, retrays, bytes/σειρές που υποβλήθηκαν σε επεξεργασία, κόστος.
Αρχεία καταγραφής: δομημένα· συσχέτιση με το «trace _ id »/« run _ id».
Ανίχνευση: από την πηγή στην προβολή (κατάποση → μετατροπή → φορτίου → BI).
Dashboards: φρεσκάδα των στρωμάτων, επιτυχία των DAG, κορυφαία ακριβά αιτήματα, p95/p99.

13) Μέσα (κριτήρια αναφοράς ρόλων)

Ενορχήστρωση: ενορχηστρωτές DAG (με προγραμματιστή, retrays, ειδοποιήσεις, μυστικά).
Μετασχηματισμοί: μοντελοποίηση SQL («μοντέλα ως κωδικός»), δοκιμές μονάδας μοντέλων, τεκμηρίωση.
DQ/συμβάσεις: πλαίσια επικύρωσης και SLA για σύνολα δεδομένων.
Γραμμή/Κατάλογος: αυτόματο γράφημα εξάρτησης, βρείτε τον ιδιοκτήτη.
Ροή: επεξεργαστές παραθύρων/συσσώρευσης, συνδετήρες νεροχύτη/πηγής.

(Οι ειδικοί πωλητές επιλέγονται για τη στοίβα και τις απαιτήσεις ασφαλείας της εταιρείας.)

14) Υποδείγματα δειγμάτων

Πρότυπο προβολής GGR (Generic SQL)

sql
CREATE OR REPLACE TABLE mart_ggr_daily AS
SELECT
DATE(b. ts) AS d,
c. country_code,
SUM(b. stake) AS stake_sum,
SUM(b. win)  AS win_sum,
SUM(b. stake - b. win) AS ggr
FROM fact_bets b
JOIN dim_country c ON c. country_sk = b. country_sk AND c. is_current
WHERE b. ts >= DATE_SUB(CURRENT_DATE, INTERVAL 60 DAY)
GROUP BY d, c. country_code;

Στοιχειώδες υδατογραφημένο μοντέλο

sql
INSERT INTO fact_bets PARTITION (dt)
SELECT
FROM staging_bets
WHERE updated_at > (SELECT COALESCE(MAX(watermark), '1970-01-01') FROM _meta_watermarks WHERE table='fact_bets');
-- then update watermark

έλεγχοι DQ (ιδέα)

sql
-- 1) key uniqueness
SELECT deposit_id FROM fact_deposits GROUP BY deposit_id HAVING COUNT()>1;

-- 2) negative amounts (error)
SELECT FROM fact_deposits WHERE amount < 0;

15) Κατάλογος ελέγχου εφαρμογής

1. Ορισμός του λεξικού μετρήσεων (GGR/NGR/LTV/Reservation) και των ιδιοκτητών.
2. Καταγραφή της φρεσκάδας SLO σε χάλκινα/ασημένια/χρυσά στρώματα.
3. Τυποποίηση συμβάσεων πηγής (σχήματα, DQ, SLA).
4. Κατασκευή ενός γραφήματος DAG με ευφυή βήματα και μεμονωμένα μυστικά.
5. Εφαρμογή της σταδιακής αύξησης (MERGE/αντικατάσταση ανά μέρος) και των υδατογραφημάτων.
6. Συμπεριλαμβάνονται DQ (κρίσιμοι/μαλακοί έλεγχοι), γενεαλογία και κατάλογος δεδομένων.
7. Δημιουργία παρατηρητικότητας (μετρήσεις, κούτσουρα, μονοπάτια) και συναγερμών.
8. Εισάγετε την πολιτική κατακράτησης/TTL και backfill/επανεπεξεργασίας.
9. Παροχή ελέγχου PII, κρυπτογράφησης, RLS και τοπικοποίησης.
10. Περάστε την ημέρα του παιχνιδιού: απομίμηση μιας πηγαίας πτώσης, συστήματα «θραύσης», μαζική πλήρωση.

16) Αντιπατερίδια

Το «One Night ETL for Everything» χωρίς κόμματα και χωρίς προοδευτικότητα.
Έλλειψη DQ και γενεαλογίας → αντικρουόμενες αναφορές και κυνήγι φαντασμάτων.
Πλήρης αναθεώρηση των πινάκων σε κάθε εκτόξευση (έκρηξη κόστους).
Σκληρή δέσμη σε πραγματικό χρόνο χωρίς ρυθμιστικά διαλύματα/επανατυπώσεις.
Ανάμειξη PII και δημόσιων καταστημάτων χωρίς διαχωρισμό και συγκάλυψη.
Καμία πολιτική ανάκλησης/διαγραφής (τα σφάλματα δεν μπορούν να διορθωθούν).

Περίληψη

Ο εύρωστος αγωγός ανάλυσης στο iGaming είναι ELT + streaming φόρτωση σε ένα στρώμα μοντέλο με σκληρή DQ/γενεαλογία, στοιχειώδη μοντέλα, διαφανή ενορχηστρωτή, και μετρήσιμες SLOs. Προσθέστε έλεγχο κόστους, πολιτική PII/τοπικοποίησης, τακτικές ασκήσεις backfill/DR - και η αναλυτική πλατφόρμα σας θα κλιμακωθεί αξιόπιστα σε κορυφές τουρνουά, ανταποκρινόμενη στις επιχειρήσεις με δεδομένα της επιθυμητής φρεσκάδας και ποιότητας.