Συλλογή τηλεμετρίας και εκδηλώσεων
1) Σκοπός και αρχές
Στόχοι:- Εφάπαξ και προβλέψιμη ροή γεγονότων για την ανάλυση, την καταπολέμηση της απάτης, την RG, τη συμμόρφωση και τη ML.
- Ανίχνευση από άκρο σε άκρο (χρήστης/συνεδρία/αίτημα/ίχνος) και δυνατότητα αναπαραγωγής.
- ελαχιστοποίηση του PII και συμμόρφωση με την ιδιωτική ζωή.
: schema-first, privacy-by-design, idempotency-by-default, observability-by-default, cost-aware.
2) Ταξινόμηση γεγονότων
Πληρωμή: 'πληρωμή. κατάθεση «,» πληρωμή. απόσυρση «,» πληρωμή. φόρτιση '.
Τυχερά παιχνίδια: 'παιχνίδι. , 'παιχνίδι. στοίχημα ',' παιχνίδι. πληρωμή ',' bonus. εφαρμόζεται ".
Προσαρμοσμένο: 'auth. login', 'profile. ενημέρωση ',' kyc. , 'rg. .
Χειρουργικές αίθουσες: 'api. αίτημα «,» σφάλμα. εξαίρεση «,» απελευθέρωση. να αναπτύξει το χαρακτηριστικό «,». .
Συμμόρφωση: 'aml. , 'κυρώσεις. screened ',' dsar. ζητήθηκε ".
Κάθε τύπος έχει έναν ιδιοκτήτη τομέα, ένα σχήμα, και μια φρεσκάδα SLO.
3) Συστήματα και συμβάσεις
Απαιτούμενα πεδία (ελάχιστα):- 'event _ time' (UTC), 'event _ type', 'schema _ version', 'event _ i (UUID/ULID),
- 'trace _ i /' span _ i ,' request _ i , 'χρήστης. , 'session _ i pseudo_id',
json
{
"event_id": "01HFY1S93R8X",
"event_time": "2025-11-01T18:45:12. 387Z",
"event_type": "game. bet",
"schema_version": "1. 4. 0",
"user": {"pseudo_id": "p-7a2e", "age_band": "25-34", "country": "EE"},
"session": {"id": "s-2233", "device_id": "d-9af0"},
"game": {"id": "G-BookOfX", "provider": "StudioA", "stake": {"value": 2. 00, "currency": "EUR"}},
"ctx": {"ip": "198. 51. 100. 10", "trace_id": "f4c2...", "request_id": "req-7f91"},
"labels": {"market": "EE", "affiliate": "A-77"}
}
Εξέλιξη των συστημάτων: σημασιολογικές εκδόσεις· συμβατά προς τα πίσω - προσθήκη εκμηδενιζόμενων πεδίων· σπάσιμο - μόνο στη νέα έκδοση ('/v2 ') με περίοδο διπλής εγγραφής.
4) Όργανα: πού και πώς
4. 1 πελάτης (Web/Mobile/Desktop)
Τοπικό ρυθμιστικό διάλυμα τηλεμετρίας SDK, υποβολή παρτίδας, εκθετική επανασυσκευασία.
Αυτόματες εκδηλώσεις: επισκέψεις, κλικ, ορατότητα μπλοκ, ζωτικοί ιστοί (TTFB, LCP, CLS), σφάλματα JS.
Αναγνωριστικά: 'συσκευή _ id' (σταθερή, αλλά ιδιωτική), 'συνεδρία _ id' (ενημερωμένη), 'χρήστης. .
Προστασία από τον «θόρυβο»: αφαίρεση με 'event _ id', στραγγαλισμός, δειγματοληψία από την πλευρά του πελάτη.
4. 2 Εξυπηρετητής/backend
Τα περιτυλίγματα logger/ιχνηθέτη (OpenTelemetry) → domain event εκπέμπουν.
Υποχρεωτική ρίψη 'trace _ id' από την άκρη/πύλη σε όλες τις κατάντη υπηρεσίες.
Outbox μοτίβο για τη συναλλακτική δημοσίευση εκδηλώσεων τομέα.
4. 3 Πάροχοι/Τρίτοι
Συνδέσεις (PSP/KYC/studios) με ομαλοποίηση στα κυκλώματα υποδοχής. προσαρμογείς έκδοσης.
Έλεγχος ακεραιότητας υπογραφής/ωφέλιμου φορτίου, καταγραφή περιμέτρου (έλεγχος κατάποσης).
5) OpenTelemetry (Otel)
Ίχνη: κάθε αίτηση λαμβάνει ένα 'trace _ id'. συσχετίζουμε αρχεία καταγραφής/εκδηλώσεις μέσω 'trace _ i /' span _ id'.
Αρχεία καταγραφής: χρησιμοποιήστε OTEL Logs/μετατροπείς. υπηρεσίες περιβαλλοντικών σημάτων. ονομασία "," ανάπτυξη ". env '.
Μετρήσεις: RPS/καθυστέρηση/ρυθμός σφάλματος ανά υπηρεσία, επιχειρηματικές μετρήσεις (GGR, μετατροπή).
Συλλέκτης: ενιαίο σημείο παραλαβής/αποθέματος ασφαλείας/εξαγωγής στην Kafka/HTTP/γραφικό. στοίβα.
6) Αναγνωριστικοί κωδικοί και συσχέτιση
'event _ i - μοναδικότητα και ταυτότητα.
'user. - σταθερό ψευδώνυμο (χαρτογράφηση χωριστά και περιορισμένη).
'session _ i ,' request _ i , 'trace _ id', 'device _ id' απαιτούνται για ανάλυση τέλους-τέλους.
Συνέπεια ταυτότητας σε επίπεδο πύλης API και SDK.
7) Δειγματοληψία και έλεγχος όγκου
Κανόνες: ανά συμβάν, ανά αγορά, δυναμική (προσαρμοστική) ανά φορτίο.
Ακριβής καταγραφή συμβάντων: πληρωμή/συμμόρφωση/συμβάντα - δεν περιλαμβάνεται στο δείγμα.
Αναλυτικά συμβάντα: επιτρέπεται το 10-50% με διορθωτικά βάρη σε περιπτώσεις απεικόνισης.
Μείωση δειγματοληψίας από την πλευρά του εξυπηρετητή: Ισχύει για μετρήσεις υψηλής συχνότητας.
8) Προστασία της ιδιωτικής ζωής και συμμόρφωση
Ελαχιστοποίηση PII: Tokenize PAN/IBAN/email; IP → γεωγραφικοί κωδικοί/ASN κατά την κατάποση.
Περιφερειοποίηση: Αποστολή σε περιφερειακά καταληκτικά σημεία κατάποσης (ΕΟΧ/ΗΒ/BR).
DSAR/RTBF: υποστήριξη για την απόκρυψη επιλεκτικής προβολής· ημερολόγιο νομικών συναλλαγών.
Πολιτικές διατήρησης: χρονοδιάγραμμα ανά τύπο (μικρότερη ανάλυση, μεγαλύτερη κανονιστική ρύθμιση)· Νόμιμη λαβή.
9) Μεταφορά και ρυθμιστικό διάλυμα
Πελάτης Edge: HTTPS (HTTP/2/3), 'POST/τηλεμετρία/παρτίδα' (έως 100 εκδηλώσεις).
Edge → Tire: Kafka/Redpanda χωρισμένο από τον χρήστη. .
Μορφές: JSON (κατάποση), Avro/Protobuf (σε λεωφορείο), Parquet (σε λίμνη).
Αξιοπιστία: ρετράι με νευρικότητα, DLQ, απομόνωση δηλητηριωδών χαπιών.
json
{
"sdk": {"name":"igsdk-js","version":"2. 7. 1"},
"sent_at": "2025-11-01T18:45:12. 500Z",
"events": [ {... }, {... } ]
}
10) Αξιοπιστία και ευελιξία
Δημιουργία πελάτη 'event _ i + server grandfather by' ( , source) '.
Outbox για τις υπηρεσίες, Ακριβώς μία φορά-σημασιολογία σε νήματα (κατάσταση πλήκτρων + dedupe).
Σειρά εντός κλειδιού: χωρισμένη με 'χρήστη/συνεδρία'.
Έλεγχος χρόνου: NTP/PTP, επιτρεπόμενη μετατόπιση (για παράδειγμα, ≤ 200 ms), 'recorded _ at' στον εξυπηρετητή.
11) Ποιότητα τηλεμετρίας (TQ) και SLO
Πληρότητα: ≥ 99. 5% κρίσιμων γεγονότων ανά Τ.
Φρεσκάδα: p95 καθυστέρηση παράδοσης στο Silver ≤ 15 λεπτά.
Ορθότητα: έγκυρα συστήματα ≥ 99. 9%, ποσοστό πτώσης <0. 1%.
Κάλυψη ιχνών: Το ποσοστό αιτήσεων με «trace _ id» ≥ 98%.
Κόστος/ΔΣ: στοχευόμενος προϋπολογισμός για την κατάποση/αποθήκευση ανά τομέα.
12) Παρατηρησιμότητα και πίνακες ταμπλό
Ελάχιστα γραφικά συστατικά:- Lag inest (p50/p95) ανά πηγή και περιοχή.
- Πληρότητα ανά τύπο γεγονότος και αγορά.
- Σφάλματα επικύρωσης/συστήματα υπερεκτιμημένων ωφέλιμων φορτίων.
- Χάρτης έκδοσης SDK και ποσοστό κληροδοτημένων πελατών.
- Συσχέτιση των ζωτικών ιστών ↔ μετατροπή/αστοχίες.
) Απαιτήσεις πελάτη SDK
Ελαφρύ αποτύπωμα, ρυθμιστικό διάλυμα εκτός σύνδεσης, αναβολή αρχικοποίησης.
Ρυθμίσεις: δειγματοληψία, μέγιστο μέγεθος παρτίδας, μέγιστη ηλικία αναμονής, μόδα απορρήτου (όχι-PII).
Προστασία: υπογραφή συσκευασίας/παραβίαση, ασάφεια κλειδιού.
Ενημέρωση: σημαίες χαρακτηριστικών για την απενεργοποίηση θορυβωδών γεγονότων.
14) Στρώμα ακμών και προστασία
Όριο ταχύτητας, WAF, επικύρωση σχήματος, συμπίεση (gzip/br).
Token κουβά ανά πελάτη· αντι-αναπαραγωγή ('request _ id', TTL).
IP και UA αφαίρεση → ομαλοποίηση/εμπλουτισμός εκτός του «ακατέργαστου» ωφέλιμου φορτίου.
15) Ενσωμάτωση στον αγωγό δεδομένων
Χάλκινο: ανεπανόρθωτα προστιθέμενο ωφέλιμο φορτίο (για την εγκληματολογία).
Άργυρος: κανονικοποιημένοι πίνακες με αποπάγωση/εμπλουτισμό.
Χρυσός: θήκες απεικόνισης για BI/AML/RG/προϊόν.
σύνδεση μεταξύ συμβάντων και εκθέσεων· εκδόσεις μετασχηματισμών.
16) Ανάλυση ποιότητας πελατών
Ήσυχη αναλογία πελατών (δεν υπάρχουν γεγονότα σε N ώρες).
Ανωμαλίες της «καταιγίδας» (διπλή μάζα/διάρρηξη).
Μερίδιο «κληροδοτημένων SDK» ανά έκδοση και πλατφόρμα.
17) Διαδικασίες και ΠΓΣ
R: Πλατφόρμα δεδομένων (κατάποση/λεωφορείο/επικυρωτές), App Teams (όργανα SDK).
A: Προϊστάμενος δεδομένων/Αρχιτεκτονικής.
Γ: Συμμόρφωση/ΥΠΔ (PII/κατακράτηση), SRE (SLO/περιστατικά).
I: BI/Marketing/Risk/Product.
18) Χάρτης πορείας για την εφαρμογή
MVP (2- 4 εβδομάδες):1. Ταξινόμηση γεγονότων v1 + συστήματα JSON για τύπους 6-8.
2. SDK (Web/Android/iOS) δειγματοληψία παρτίδας· Άκρη '/τηλεμετρία/παρτίδα '.
3. Κάφκα + χάλκινο στρώμα· βασικοί επικυρωτές και dedup.
4. Το ταμπλό απορροφά καθυστέρηση/πληρότητα, προειδοποιήσεις για πτώση/επικύρωση.
Φάση 2 (4- 8 εβδομάδες):- OTEL Collector, συσχέτιση ιχνοστοιχείων· Κανονικοποίηση αργύρου και κανόνες DQ.
- Περιφερειακά τελικά σημεία (ΕΟΧ/ΗΒ), μόδα ιδιωτικότητας, διαδικασίες DSAR/RTBF.
- Χάρτης έκδοσης SDK, auto-rollout ενημερώσεις από δακτυλίους.
- Ακριβώς μία φορά στα ρεύματα, συνδέσεις Feature Store, διαδικτυακές ζωοτροφές κατά της απάτης.
- Κανόνας ως κώδικας για συστήματα και επικυρωτές, ανάλυση επιπτώσεων.
- Βελτιστοποίηση της αξίας: προσαρμοστική δειγματοληψία, Z-order/clustering in lake.
19) Κατάλογος ελέγχου ποιότητας πριν από την αποδέσμευση
- Τα απαιτούμενα πεδία σχημάτων και οι σωστοί τύποι συμπληρώνονται.
- "trace _ id "/" request _ i /" session _ id" είναι παρόντες.
- Η SDK υποστηρίζει παρτίδα, επαναπροσδιορισμό, δειγματοληψία.
- Η ακμή επικυρώνει το σύστημα και περιορίζει το μέγεθος του ωφέλιμου φορτίου.
- Ενεργοποιούνται φίλτρα απορρήτου και μαρκαρισμός ευαίσθητων πεδίων.
- Ρυθμισμένες SLO/ειδοποιήσεις και ταμπλό.
- Τεκμηρίωση για πεδία (π.χ. γεγονός, ιδιοκτήτης, SLA).
20) Συχνά λάθη και τρόπος αποφυγής τους
Ακατέργαστα συμβάντα χωρίς συστήματα: καταχώρηση μητρώου και επικύρωση CI.
Καμία ταυτότητα: απαίτηση 'event _ id' και αποθήκευση παραθύρων αφαίρεσης.
Συνδυασμός PII και analytics: ξεχωριστές χαρτογραφήσεις, πεδία μάσκας.
Χωρίς ιχνηλάτηση: διαδρομή «trace _ id» μέσω πύλης → υπηρεσίες → εκδηλώσεις.
Μη διαχειριζόμενοι όγκοι - Χρήση δειγματοληψίας/ποδηλασίας και ποσοστώσεων του προϋπολογισμού.
Παγκόσμιο τελικό σημείο χωρίς περιφέρειες - χρησιμοποιήστε την περιφερειοποίηση και την κατοικία των δεδομένων.
21) Γλωσσάριο (συνοπτικά)
Το OpenTelemetry (Otel) είναι ένα ανοικτό πρότυπο για μονοπάτια/μετρήσεις/αρχεία καταγραφής.
Outbox - εμπορικές εκδόσεις εκδηλώσεων τομέα.
DLQ - σειρά αναμονής «σπασμένων» μηνυμάτων.
Δειγματοληψία - επιλογή μέρους των γεγονότων για μείωση του όγκου.
Κατοικία δεδομένων - αποθήκευση δεδομένων στην επιθυμητή δικαιοδοσία.
22) Κάτω γραμμή
Η καλά σχεδιασμένη τηλεμετρία έχει να κάνει με ρυθμίσεις, όχι μόνο με την αποστολή αρχείων καταγραφής: αυστηρά συστήματα, συμφωνημένα αναγνωριστικά, προεπιλεγμένη ιδιωτική ζωή, αξιόπιστες μεταφορές, παρατηρησιμότητα και εξοικονόμηση κόστους. Ακολουθώντας αυτό το άρθρο, μπορείτε να πάρετε μια σταθερή ροή των γεγονότων έτοιμη για αναλυτική, συμμόρφωση και μηχανική μάθηση με προβλέψιμες SLOs.