Αναλυτική ροή και ροή

1) Σκοπός και αξία

• Antifraud/AML: προσδιορισμός της διάρθρωσης των καταθέσεων, των επιθέσεων ταχύτητας, των ανωμαλιών των παρόχων.
• Υπεύθυνο παιχνίδι (RG): υπέρβαση των ορίων, πρότυπα κινδύνου, αυτοαποκλεισμός.
• Λειτουργίες/SRE: υποβάθμιση SLA, εκρήξεις σφαλμάτων, σήματα πρόωρων συμβάντων.
• Προϊόν/μάρκετινγκ: εκδηλώσεις εξατομίκευσης, αποστολές/αναζητήσεις, κατάτμηση σε πραγματικό χρόνο.
• Υποβολή εκθέσεων σε σχεδόν πραγματικό χρόνο: εκθέσεις GGR/NGR, επιχειρησιακές επιτροπές.

Χαρακτηριστικά-στόχοι: p95 end-to-end 0. 5-5 s, πληρότητα ≥ 99. 5%, διαχειριζόμενη αξία.

2) Αρχιτεκτονική αναφοράς

1. Εισαγωγή/ακμή

«/events/batch »(HTTP/2/3), gRPC, Otel Collector.
Επικύρωση συστημάτων, αντιγράφων, γεω-δρομολογήσεων.

2. Λεωφορείο εκδήλωσης

Kafka/Redpanda (χωρισμένο από τον «χρήστη _ id/ενοικιαστή/αγορά»).
Κατακράτηση 3-7 ημερών, συμπίεση, DLQ/» καραντίνα« για »σπασμένα« μηνύματα.

3. Ροή ροής

Φλόγα/Σπινθήρας Δομημένη ροή/δέσμη.
Stateful δηλώσεις, CEP, υδατογράφημα, επιτρεπόμενη καθυστέρηση, αφυδάτωση.
Εμπλουτισμός (Redis/Scylla/ClickHouse-Lookup), ασύγχρονος I/O με χρονοδιαγράμματα.

4. Σερβίροντας/Λειτουργικές οθόνες

ClickHouse/Pinot/Druid για λεπτό/δεύτερο σύνολο και ταμπλό.
Feature Store (online) για μοντέλα βαθμολόγησης.
Θέματα συναγερμού → SOAR/έκδοση εισιτηρίων/webhooks.

5. Μακροχρόνια αποθήκευση (Lakehouse)

Χάλκινο (ακατέργαστο), αργυρό (καθαρό), χρυσό (σερβιρίσματος) - Parquet + Delta/Iceberg/Hudi.
Επανάληψη/backtests, ταξίδι στο χρόνο.

6. Παρατηρησιμότητα

Μετρήσεις αγωγών, ιχνηλάτηση (OTel), καταγραφές, γενεαλογία.

3) Συστήματα και συμβάσεις

Schema-first: JSON/Avro/Protobuf + Registry, 'schema _ version' σε κάθε περίπτωση.
Εξέλιξη: συμβατά προς τα πίσω - νέα εκμηδενιζόμενα πεδία. σπάσιμο - '/v2 '+ διπλή δημοσίευση.
Τα απαιτούμενα πεδία είναι 'event _ time' (UTC), 'event _ i ,' trace _ id ',' user. , «αγορά», «πηγή».

4) Παράθυρα, υδατογραφήματα και καθυστερημένα δεδομένα

• Tumbling, Hopping, συνεδρία.
• Υδατογράφημα: κατώφλι «γνώσης» χρόνου εκδήλωσης. π.χ. 2-5 λεπτά.
• Καθυστερημένα στοιχεία: προσαρμογές πριν την έκδοση, «late = true», DLQ με μεγάλη καθυστέρηση.

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream.payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

5) Στατιστικές συγκεντρώσεις και CEP

Κλειδί: 'χρήστης _ i ,' συσκευή _ id ',' πληρωμή. .
Κατάσταση: συρόμενα ποσά/μετρητές, συνεδρίες, φίλτρα άνθησης για την αφαίρεση.
Πρότυπα CEP: δομή (<κατώτατο όριο, ≥N φορές, ανά παράθυρο Τ), διακόπτης συσκευής, RG-κόπωση.

python if deposits.count(last=10MIN) >= 3 and deposits.sum(last=10MIN) > THRESH and all(d.amount < REPORTING_THRESHOLD):
emit_alert("AML_STRUCTURING", user_id, window_snapshot())

6) Ακριβώς μία φορά, τάξη και ταυτότητα

Λεωφορείο: τουλάχιστον μία φορά + πλήκτρα κατάτμησης παρέχουν τοπική τάξη.
Ταυτότητα: 'event _ id' + dedup state (TTL 24-72 h).
Νεροχύτης: συναλλακτικές δεσμεύσεις (2-φάσης) ή upsert/συγχώνευση-idempotency.
Outbox/Inbox: εγγυημένη δημοσίευση εκδηλώσεων τομέα από το OLTP.

7) Εμπλουτισμός σε πραγματικό χρόνο

Αναζήτηση: Redis/Scylla (όρια RG, καθεστώς KYC, BIN→MCC, IP→Geo/ASN).
Ασύγχρονες κλήσεις: κυρώσεις/APP API με χρονοδιαγράμματα και εφεδρείες («άγνωστο»).
FX/timezone: ομαλοποίηση των ποσών και ώρα τοπικής αγοράς ('fx _ source', 'tz').

8) Σερβίροντας και σε πραγματικό χρόνο

ClickHouse/Pinot/Druid: συγκεντρώσεις κατά λεπτά/δευτερόλεπτα, υλοποιημένες απόψεις.
Ροή χρυσού: πίνακες λειτουργίας GGR/RG/AML, SLA για ≤ καθυστέρηση 1-5 λεπτά.
API/GraphQL: χαμηλή καθυστέρηση για ταμπλό και εξωτερικές ενοποιήσεις.

sql
CREATE MATERIALIZED VIEW mv_ggr_1m
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(event_time)
ORDER BY (toStartOfMinute(event_time), market, provider_id) AS
SELECT toStartOfMinute(event_time) AS ts_min,
market,
provider_id,
sumState(stake_base) AS s_stake,
sumState(payout_base) AS s_payout
FROM stream.game_events
GROUP BY ts_min, market, provider_id;

9) Παρατηρησιμότητα και SLO

• p95 ingest→alert ≤ 2 s (κρίσιμη), ≤ 5 s (ισορροπία).
• Πληρότητα του παραθύρου T-99. 5%.
• Σφάλματα σχήματος ≤ 0. 1%; Το ποσοστό συμβάντων με «trace _ id» ≥ 98%.
• Διαθεσιμότητα υπηρεσιών ροής ≥ 99. 9%.

• Υστερήσεις κόμματος/θέματος, χειριστές απασχολημένου χρόνου, κρατικό μέγεθος.
• Χωνί «sobytiye→pravilo→keys», χάρτης «καυτών» κλειδιών, όψιμη αναλογία.
• Κόστος: κόστος/GB, κόστος/ερώτημα, κόστος σημείων ελέγχου/επαναλήψεων.

10) Προστασία της ιδιωτικής ζωής και συμμόρφωση

ελαχιστοποίηση PII: ψευδωνυμοποίηση ID, κάλυψη πεδίου, μαρκαρισμός PAN/IBAN.
Κατοικία δεδομένων: περιφερειακοί αγωγοί (EEA/UK/BR), μεμονωμένες κλείδες κρυπτογράφησης.
Νομικές πράξεις: DSAR/RTBF σε κατάντη καταστήματα, Νόμιμη κράτηση για υποθέσεις/εκθέσεις.
Έλεγχος: αρχεία καταγραφής πρόσβασης, αρχεία αμετάβλητων λύσεων.

11) Οικονομικά και παραγωγικότητα

Πλήκτρα και περβάζι: Αποφύγετε τα «ζεστά» πλήκτρα (αλάτι/σύνθετο πλήκτρο).
Προϋπόθεση: λογική κατάσταση TTL, στιγμιότυπα, ρύθμιση RocksDB/backend.
Προκατασκευή: ανοδική μείωση για θορυβώδη ρεύματα.
Δειγματοληψία: ισχύει για μη κρίσιμες μετρήσεις (όχι για συναλλαγές/συμμόρφωση).
Χρέωση: προϋπολογισμοί για θέματα/θέσεις εργασίας, ποσοστώσεις και ομαδική κατανομή.

12) Streaming DQ (Ποιότητα)

Εισερχόμενη-επικύρωση (σχήμα, enums, μέγεθος), dedup '(event_id, πηγή)'.
Στο ρεύμα: πληρότητα/ρυθμός εκροής/μεταγενέστερος λόγος, έλεγχος παραθύρων (χωρίς διπλή μέτρηση).
Πολιτικές αντίδρασης: κρίσιμη → συναγερμού DLQ + ετικέτα μείζονος/ελάσσονος σημασίας → και στη συνέχεια σαφής.

yaml stream: payments rules:
- name: schema_valid type: schema severity: critical
- name: currency_whitelist type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: dedup_window type: unique keys: [event_id]
window_minutes: 1440

13) Ασφάλεια πρόσβασης και έλεγχος απελευθέρωσης

RBAC/ABAC: ξεχωριστοί ρόλοι για τα νήματα ανάγνωσης, μεταβαλλόμενοι κανόνες/μοντέλα.
Διπλός έλεγχος: ανάπτυξη κανόνων και μοντέλων μέσω «2 κλειδιών».
Κανάριος/A/B: σκοτεινός κανόνας και εκτελέσεις μοντέλου, έλεγχος ακριβείας/ανάκλησης.
Μυστικά: KMS/CMK, τακτική εναλλαγή, απαγόρευση των μυστικών στα αρχεία καταγραφής.

14) Διαδικασίες και RACI

R (Υπεύθυνη): Πλατφόρμα Streaming (infra/releases), Domain Analytics (κανόνες/χαρακτηριστικά), MLOps (scoring).
A (υπόλογος): προϊστάμενος δεδομένων/κινδύνου/συμμόρφωσης ανά τομέα.
C (Ζητήθηκε η γνώμη): DPO/Legal (PII/κατακράτηση), SRE (SLO/περιστατικά), Architecture.
I (Ενημερωμένο): Προϊόν, Υποστήριξη, Μάρκετινγκ, Χρηματοδότηση.

15) Χάρτης πορείας για την εφαρμογή

1. Kafka/Redpanda + δύο κρίσιμα θέματα ('πληρωμές', 'auth').

2. Αναβοσβήνει εργασία με υδατογράφημα, απεμπλοκή και έναν κανόνα CEP (AML ή RG).

3. ClickHouse/Pinot showcase 1-5 min, dashboards lag/πληρότητα.

4. Κανάλι περιστατικών (webhooks/Jira), βασικές SLO και ειδοποιήσεις.

• Διαδικτυακός εμπλουτισμός (Redis/Scylla), Feature Store, ασύγχρονες αναζητήσεις.
• Διαχείριση κανόνων ως κώδικας, ελευθερώσεις καναρινιών, A/B.
• Streaming DQ, περιφερειοποίηση αγωγών, διαδικασίες DSAR/RTBF.

• Ενεργός προσομοιωτής πολλαπλών περιοχών, what-if replay, αυτόματη βαθμονόμηση κατωφλίων.
• Πλήρεις εκθέσεις ροής χρυσού (GGR/RG/AML), υποβολή εκθέσεων σε σχεδόν πραγματικό χρόνο.
• Αξίες ταμπλό, φόρτιση, ασκήσεις DR.

16) Παραδείγματα (θραύσματα)

sql
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY event_time
MEASURES
FIRST(A.device_id) AS d1,
LAST(B.device_id) AS d2,
COUNT() AS cnt
PATTERN (A B+)
DEFINE
B AS B.device_id <> PREV(device_id) AND B.ip_asn <> PREV(ip_asn)
) MR

java if (seenStore.putIfAbsent(eventId, now()) == null) {
context.forward(event);
}

17) Κατάλογος επιλογών πριν από την πώληση

• Συστήματα και συμβάσεις στο μητρώο, οι δοκιμές back-compat είναι πράσινες.
• Περιλαμβάνονται υδατογράφημα/επιτρεπόμενη καθυστέρηση, dedup, και DLQ.
• Ρυθμισμένο SLO και ειδοποιήσεις (lag/late/dup/state size).
• Εμπλουτισμός με κρύπτες και χρονοδιαγράμματα, οπισθοδρόμηση «άγνωστη».
• RBAC/διπλός έλεγχος σε κανόνες/μοντέλα, όλες οι αλλαγές καταγράφονται.
• Κανόνες, καταστήματα και έγγραφα του runbook και αναπαραγωγή/rollback.

18) Συχνά λάθη και τρόπος αποφυγής τους

Αγνοήστε το χρόνο εκδήλωσης: χωρίς υδατογραφήματα, οι μετρήσεις «επιπλέουν».
Καμία αφαίρεση: ψευδείς ειδοποιήσεις και διπλή καταμέτρηση.
Θερμά κλειδιά: στρέβλωση των μερών → αλάτιση/ανασχηματισμός.
Συγχρονισμένες API front-end στην καυτή διαδρομή: μόνο async + cache.
Μη διαχειριζόμενο κόστος: προκαταλήψεις, κράτη TTL, ποσοστώσεις, πίνακες κόστους.
Έλλειψη προσομοιωτή: η ανάπτυξη χωρίς «αναπαραγωγή» οδηγεί σε οπισθοδρόμηση.

19) Γλωσσάριο (συνοπτικά)

CEP - Επεξεργασία σύνθετων γεγονότων.
Υδατογράφημα - όριο ετοιμότητας παραθύρου ανά εκδήλωση.
Επιτρεπόμενη καθυστέρηση - ανοχή των καθυστερημένων γεγονότων.
Stateful Operator - φορέας εκμετάλλευσης με αποθηκευμένη κατάσταση.
Feature Store - συντονισμένο surfing χαρακτηριστικών (online/offline).

20) Η τελική γραμμή

Η streaming και η streaming analytics είναι ένα σύστημα διαχείρισης: συμβάσεις, παράθυρα και υδατογραφήματα, stateful λογική και CEP, εμπλουτισμός και καταστήματα σε πραγματικό χρόνο, SLO και παρατηρησιμότητα, ιδιωτικότητα και αξία υπό έλεγχο. Ακολουθώντας τις πρακτικές που περιγράφονται, η πλατφόρμα λαμβάνει αξιόπιστους ανιχνευτές κινδύνου, λειτουργικούς πίνακες και εξατομίκευση με προβλέψιμη καθυστέρηση και κόστος.