Επικύρωση δεδομένων

1) Γιατί την χρειάζεται η πλατφόρμα iGaming

Εμπιστοσύνη σε εκθέσεις και KPI: GGR/NET, μετατροπές, κατακράτηση, σήματα RG.
ML/αξιοπιστία βαθμολόγησης: ορθά χαρακτηριστικά για την καταπολέμηση της απάτης/συστάσεις/RG.
Λειτουργίες σε πραγματικό χρόνο: Επηρεάζονται οι προειδοποιήσεις σε περίπτωση μετατόπισης/απώλειας γεγονότων πριν από τις πληρωμές/UX.
Συμμόρφωση: δεν υπάρχουν PII/μυστικά όπου δεν θα έπρεπε. αποδεδειγμένη ιχνηλασιμότητα.

2) Πού πρέπει να επικυρωθεί: επίπεδα ελέγχου

1. Έγχυση (παρτίδα/ροή): σχήμα, τύποι, απαιτούμενα πεδία, ιδιαιτερότητα/αποσύνθεση.
2. Επεξεργασία ρεύματος: παράθυρα/υδατογραφήματα, παραγγελία, παραλείψεις/καθυστερήσεις, ακριβώς μία φορά.
3. ETL/ELT και μετασχηματισμοί: σύνδεσμοι/χαρές, συγκεντρωτικά μεγέθη, επιχειρηματικά υπόλοιπα.
4. DWH/αποθήκη (χρυσός): συνοχή μεταξύ των πινάκων, φρεσκάδα, μοναδικότητα των κλειδιών.
5. Feature Store/online: σειρές χαρακτηριστικών, offlayn↔onlayn συνέπεια.
6. BI/API: μετρήσεις και φίλτρα, SLA σχετικά με την καθυστέρηση/φρεσκάδα, k-ανωνυμία.

3) Τύποι ελέγχων (κατάλογος)

Σχήμα: τύπος/εκμηδενίσιμο/enum/regex/σχήμα JSON. ασυμβίβαστες αλλαγές για τη διακοπή της →.
Τομέας: ≥0 ποσά, ∈ νόμισμα {EUR, USD, TRY, BRL}, ≤ οριακή τιμή, strana∈litsenzii.
Ταυτότητα/κλειδιά: το κύριο κλειδί είναι μοναδικό, το ξένο κλειδί δεν είναι «κρεμαστό».
Ποιότητα πεδίου: πληρότητα, μήκος, μορφότυπος (IBAN, BIN, σήμα ηλεκτρονικού ταχυδρομείου).
Στατιστικές/γραμμές βάσης: συχνότητες, κατανομές, ποσοτικοί διάδρομοι.
Ανωμαλίες: ακίδες όγκου/κλάσματος, μηδενικά/αντίγραφα, παρασυρόμενα σχήματα.
Φρεσκάδα: το πολύ (ts) δεν είναι παλαιότερο από X. υστέρηση ingest→gold ≤ T.
Συνέπεια: άθροισμα των μερών = περίληψη· συμφιλίωση πολλαπλών πινάκων.
Προστασία της ιδιωτικής ζωής: Zero-PII εκτός των επιτρεπόμενων ζωνών. Μάσκες μαρκαρίσματος.
Κανονιστική ρύθμιση: τα πεδία RG/AML είναι παρόντα και εύλογα.

4) Συμβάσεις δεδομένων

Η σύμβαση καθορίζει το σύστημα + κανόνες ποιότητας + SLO μεταξύ της πηγής και των καταναλωτών.

yaml dataset: payments_ingest_v2 owner: team-payments schema:
id: {type: string, pattern: "^[a-f0-9]{32}$", unique: true}
ts: {type: timestamp, timezone: "UTC", nullable: false}
amount: {type: decimal(18,2), min: 0. 00}
currency: {type: string, enum: ["EUR","USD","TRY","BRL"]}
psp: {type: string, required: true}
quality:
freshness_max: "PT5M"
completeness_min: 0. 995 duplicate_rate_max: 0. 001 pii_allowed: false slo:
p95_ingest_latency_ms: 30000 success_rate: 0. 995

Αλλαγές σύμβασης - μέσω ημιαγωγών και μεταναστεύσεων: διαλείμματα 'MAJOR', 'MINOR' προσθέτει ένα πεδίο, 'PATCH' διορθώνει την περιγραφή.

5) Προσδοκίες και πολιτικές

Προσδοκίες - δηλωτικοί έλεγχοι που διενεργούνται σε αγωγούς (παρτίδα/ροή).

yaml expectations:
- name: unique_primary_key check: "unique(id)"
severity: "error"
- name: amount_non_negative check: "amount >= 0"
severity: "error"
- name: currency_enum check: "currency in ['EUR','USD','TRY','BRL']"
severity: "error"
- name: ts_fresh_enough check: "now() - max(ts) <= interval '5 minutes'"
severity: "warn"
- name: pii_absent check: "no_plain_pii(columns: ['email','card','iban'])"
severity: "error"

• 'error' → κόμμα/παρτίδα καραντίνας, συναγερμός + εισιτήριο· μεταγενέστερο τμήμα.
• 'varn' → περνά, αλλά δημιουργεί μια εργασία ανάλυσης? σήμανση ποιότητας.
• «info» → παρακολούθηση μόνο.

6) Ροή: Χαρακτηριστικά των ελέγχων

Υδατογραφήματα/καθυστερημένα δεδομένα: ας είμαστε αργά '120s', αλλιώς - καραντίνα? αντιστάθμιση με πεπερασμένα παράθυρα.
Ταυτότητα: κλειδί γεγονότος + ωφέλιμο φορτίο χασίς → αδιέξοδο στο μεσίτη/νήμα.
Ακριβώς μία φορά: συναλλαγή sing (+ idempotent νεροχύτες) για κρίσιμες ροές (πληρωμές/γύροι).
Μετρητές όγκου: «αναμενόμενο» έναντι «παραληφθέντος» ανά παράθυρο. ασυμφωνία → συναγερμός.

scala val deduped = stream
.keyBy(_.id)
.process(new DeduplicateWithin(Time. minutes(10)))

val validated = deduped
.filter(_.amount >= 0)
.filter(_.currency in Set("EUR","USD","TRY","BRL"))

emitToQuarantineIfLate(validated, allowedLateness = 120. seconds)

7) DWH/SQL: αναλλοίωτες και συμφωνίες

sql
-- uniqueness
SELECT id, COUNT() c FROM gold. payments GROUP BY 1 HAVING c>1;

-- freshness
SELECT NOW() - MAX(ts) AS lag FROM gold. payments;

-- reconciliation of totals
SELECT
SUM(amount) AS by_rows,
(SELECT total_amount FROM gold. payments_summary WHERE date=CURRENT_DATE) AS by_summary
FROM gold. payments
WHERE date = CURRENT_DATE;

Αντιστοίχιση παραθύρων: καθημερινές συμφωνίες «λεπτομέρειας → σύνοψης», αναφορές διαφορών, αυτόματο εισιτήριο.

8) Προστασία της ιδιωτικής ζωής και ασφάλεια

Προκαθορισμένη έκδοση PII: μάσκες εισόδου/μάρκες. Απαγορεύουμε το «ακατέργαστο» e-mail/κάρτες/τηλέφωνα στα αρχεία καταγραφής.
Πολιτική αδειοδότησης: πίνακες με PII - ξεχωριστό στρώμα/κατάλογος, πρόσβαση με ρόλους (RBAC/ABAC).
K-ανωνυμία των αναφορών: ελάχιστες N σειρές σε φέτες.
Ανιχνευτές διαρροών: τακτικοί έλεγχοι για πρότυπα PII, «μυστικά» (κλειδιά/μάρκες).
Δικαιοδοσίες: γεωγραφική απομόνωση/απομόνωση ενοικιαστή (χώρα/εμπορικό σήμα/άδεια), ξεχωριστά κλειδιά.

9) Μετρήσεις ποιότητας και SLO

• Φρεσκάδα - lag max (ts).
• Πληρότητα - αναλογία μη κενών/αναμενόμενων αρχείων.
• Μοναδικότητα - διπλά κλειδιά.
• Συνέπεια - αναλλοίωτες και ισοσκελισμένες συναλλαγές (inter-table).
• Ακρίβεια - επικύρωση με εξωτερική πηγή/κανόνες πεδίου.
• Ισχύς - τύποι αντιστοιχίας/enum/regex.

• «Φρεσκάδα payments_gold ≤ 5 мин» (p95).
• "Πληρότητα game_rounds ≥ 99. 7 %/ημέρα ".
• 'Διπλή _ τιμή ≤ 0. 1‰`.
• 'PII _ διαρροή = 0'.

10) Ειδοποιήσεις, εισιτήρια και φυλλάδια

Δρομολόγηση: ιδιοκτήτης τομέα Slack/PagerDuty. να εφαρμόζουν αυτόματα δείγματα και diff.
Ομαδοποίηση: ένα περιστατικό ανά σύνολο σημάτων: σύνολο δεδομένων = πληρωμές, εμπορικό σήμα = TR ".

1. Ελέγξτε το αρχείο καταγραφής και τη σειρά αναμονής μεσίτη.

2. Συγκρίνετε το «αναμενόμενο έναντι παραληφθέντος» από τον PSP.

3. Ενεργοποίηση διαδρομής PSP Retrai/Switch.

4. Σχολιάστε την αιτία. επανεκκίνηση οπισθοδρόμησης· μεταθανάτια.

11) Διαδικασία έκδοσης, δοκιμών και απαλλαγής

Semver of quality rules: 'quality @ MAJOR. MINOR. PATCH '.
Δοκιμές μονάδας μετασχηματισμών (SQL/DBT/python) και δοκιμές επί συμβάσει για πηγές.
GOLDEN σύνολα: γνωστές περιπτώσεις διαφορών/διαρροών είναι υποχρεωτικές στην παλινδρόμηση.
Απαλλαγή: βραχυπρόθεσμη άδεια παραβίασης του κανόνα (περιγραφή, ιδιοκτήτης, διάρκεια, αντισταθμιστικά μέτρα).

12) Κατάλογοι/τεχνουργήματα (έτοιμα υποδείγματα)

12. 1 Διαβατήριο Datacet

yaml dataset: gold. game_rounds owner: team-games steward: data-governance contracts: ["games_rounds_v3"]
quality_slo:
freshness_p95: "PT10M"
completeness_min: 0. 997 uniqueness_max_dup: 0. 0005 alerts:
channels: ["#dq-incidents","#games-ops"]
severity_map: {error: "P1", warn: "P2"}

12. 2 Πολιτική απομόνωσης

yaml quarantine:
storage: "s3://quarantine/payments/"
retention: "P30D"
access: ["team-payments","data-governance"]
auto_reprocess:
cron: "/15  "
max_attempts: 3

12. 3 Προσδοκία для Feature Store

yaml featureset: fs_payments_online_v1 checks:
- name: feature_freshness check: "now() - max(feature_ts) <= interval '60 seconds'"
severity: "error"
- name: range_amount_avg check: "amount_avg in [0, 2000]"
severity: "warn"
- name: enum_device check: "device in ['ios','android','web']"
severity: "error"

13) Οι ιδιαιτερότητες του iGaming: έτοιμες υποθέσεις

Πληρωμές/ΠΥΠ: συμφωνία καταθέσεων/αναλήψεων με τις εκθέσεις ΠΥΠ. ελλείπουσες καταστάσεις → καραντίνα butch· συναγερμός για την ανάπτυξη «decide _ rate».
Πάροχοι παιχνιδιών: drop 'rounds _ per _ min' vs baseline + schema drift from the provider → transformation block of provider A, status banner.
RG/AML: υποχρεωτικά πεδία (όρια, αυτοαποκλεισμός, ιδιότητες KYC)· Καθυστερημένη σημαία → KYC στο μπλοκ πληρωμής, εισιτήριο σε συμμόρφωση.
Μάρκετινγκ/CRM: ισχύς παραμέτρων εκστρατείας, UTM, dedup event. k-ανωνυμία σε καταστήματα.

14) Χάρτης πορείας για την εφαρμογή

0- 30 ηµέρες (MVP)

1. Συμπεριλαμβάνονται οι συμβάσεις για βασικά σύνολα: πληρωμές, game_rounds, χρήστες, χαρακτηριστικά.
2. Κατάλογος προσδοκιών (10-15 βασικές) + απομόνωση + καταχωρίσεις.
3. Φρεσκάδα/πληρότητα/μοναδικότητα του ταμπλό αναφορά περιστατικού.
4. «Freshness», «Duplicates», «Schema drift».

30- 90 ηµέρες

1. Ενδιάμεσες συμφωνίες και ισοζύγια. τη διαδικασία παρέκκλισης και τους κανόνες που διέπουν την παρέκκλιση.
2. επικύρωση ροής (καθυστερημένα δεδομένα, αδιέξοδο, υδατογραφήματα)· Ανιχνευτές PII.
3. Ενσωμάτωση με CI/CD: συμβατικές δοκιμές πηγών και μετασχηματισμών.
4. Ποιότητα SLO σε OKR εντολών τομέα.

3-6 μήνες

1. υποδείξεις κατωφλίου AIOp· αυτοπροσδιορισμός των αιτιών.
2. Cross-brand/geo-quality policy και εκθέσεις συμμόρφωσης.
3. Περιστατικά μετά θάνατον P1 → αναπλήρωση χρυσών συνόλων και κανόνων.
4. Σύνδεση με την ανάλυση συναγερμού ροής και ανωμαλίας (μονός βρόχος).

15) RACI

Διακυβέρνηση δεδομένων (A/R): πρότυπα, συμβάσεις, έλεγχος κανόνων.
Ιδιοκτήτες τομέα (R): προσδοκίες τομέα και αναλλοίωτες.
Πλατφόρμα δεδομένων (R): πλαίσιο προσδοκιών, καραντίνα, προειδοποιήσεις, παρακολούθηση.
Ασφάλεια/ΥΠΔ (A/R): ιδιωτική ζωή/PII/k-ανωνυμία, γεωγραφική απομόνωση/απομόνωση ενοικιαστή.
SRE/Παρατηρησιμότητα (C): δρομολόγηση συμβάντων, SLO/SLI.
Προϊόν/Χρηματοδότηση (Γ): επιχειρηματικά ισοζύγια, προτεραιότητες συμβάντων.

16) Αντι-μοτίβα

Επικύρωση «μόνο σε DWH» - καθυστερημένη, ακριβή, επώδυνη.
Καμία καραντίνα - «βρωμιά» δεν πηγαίνει στο Gold/ML και σπάει την εμπιστοσύνη.
Σκληρά όρια χωρίς εποχικότητα/ώρες/αγορές → καταιγίδα συναγερμού.
Η έλλειψη κανόνων ιδιοκτήτη και ημιφορτηγού → το χάος των εξαιρέσεων.
Συνδέσεις με PII και «στιγμιότυπα οθόνης στο κοινό κανάλι».
Εφάπαξ «ημέρες υγιεινής» αντί για μόνιμο κύκλωμα.

17) Συναφή τμήματα

Πρακτικές DataOps, έλεγχος δεδομένων και έκδοση, προέλευση δεδομένων και διαδρομή, συναγερμοί ροής δεδομένων, ανάλυση ανωμαλίας και συσχέτισης, έλεγχος πρόσβασης, ασφάλεια δεδομένων και κρυπτογράφηση, πολιτικές διατήρησης δεδομένων, MLOp: εκμετάλλευση μοντέλων.

Σύνολο

Η επικύρωση δεν είναι φίλτρο στο τέλος, αλλά σύμβαση ποιότητας από το τέλος έως το τέλος: από την έγχυση και τη ροή έως τις αποθήκες και την επιγραμμική λειτουργία. Οι σαφείς προσδοκίες, οι καραντίνες, οι προειδοποιήσεις και οι SLO μετατρέπουν τα δεδομένα σε αξιόπιστο περιουσιακό στοιχείο: οι αναφορές είναι σωστές, τα μοντέλα είναι σταθερά, οι πληρωμές είναι ασφαλείς, η συμμόρφωση είναι ήρεμη.