Signalverarbeitung in Echtzeit

1) Zweck und Geschäftswert

• Anti-Fraud/AML: Strukturierung von Einlagen, „Mullierung“, Velocity-Attacken.
• Responsible Gaming (RG): Überschreitung von Limits, Risikomuster des Verhaltens.
• Risiko/Compliance: Sanktionsscreening bei Online-Registrierung/Transaktion.
• Personalisierung: Bonus-/Missionsauslöser, reaktive Kampagnen.
• Operationen/SRE: SLA-Degradationen, Fehlerschwellen, metrische Anomalien.

Hauptziele: geringe Latenz (p95 0. 5-5 s), hohe Vollständigkeit (≥99. 5%), Stoßfestigkeit.

2) Taxonomie der Signale

Transaktional: 'Zahlung. deposit/withdraw/chargeback`.
Spiel: 'Spiel. bet/payout`, `game. session_start/stop`.
Authentifizierung: 'auth. login/failure', Gerätewechsel/Geo.
Verhalten: Rate der Einsätze, exponentielles Wachstum der Menge, nächtliche Aktivität.
Operational: 'api. latency`, `error. rate', dem „Sturm“ der Neustarts der Herde.

Jeder Typ hat ein Schema, einen Besitzer (Domain Owner), Kritikalität, SLO und „Late Data“ -Regeln.

3) Echtzeit-Referenzschleifenarchitektur

1. Ingest und Bus: HTTP/gRPC → Edge → Kafka/Redpanda (Partitionierung nach 'user _ id/tenant').
2. Streaming-движок: Flink/Spark Structured Streaming/Beam; stateful-Operatoren, CEP.
3. Online-Anreicherung: Lookup-Tabellen (Redis/Scylla/ClickHouse Read-Only), Cache der Anbieter (Sanktionen/CUS).

• Alert-Topics/Kew (Case Management, SOAR).
• Fichester Online (Scoring-Modelle).
• Gold-Stream-Vitrinen (operative Dashboards).
• Warmer Speicher für schnelle Analysen (ClickHouse/Pinot/Druid).
• 5. Archiv/forensica: unveränderliche Faltung im See (Parkett, Zeitreise).
• 6. Beobachtbarkeit: Tracing/Metriken/Logs + Lineage.

4) Fenster, Wasserzeichen und „späte Daten“

• Tumbling: feste Fenster (z.B. 1 min) sind einfache Aggregate.
• Hopping: überlappend (z.B. Schritt 30 s, Fenster 2 min) - „glatte“ Metriken.
• Session: Diskontinuitäten durch Inaktivität - Verhaltensanalyse.
• Watermarks: die Grenze des „Zeitwissens“ für die Ereigniszeit; Wir erlauben Verspätung (erlaubte Latenz, z.B. 2 min).
• Verspätete Strategien: Voremission von Anpassungen, Nachschrift „late = true“, DLQ.

5) Stateful-Operatoren und Deduplizierung

Schlüsselwort: von 'user _ id', 'payment. account_id`, `device_id`.
Zustand: Addierer, Gleitzähler, Bloom-Filter für Idempotency.

Dedup: Speicherung von'(event_id, seen_at) 'in state/kv; TTL = 24-72 Stunden

Exactly-Once: Transaktionssink 'und (2-Phase), idempotente Upsert-Operationen.

6) Anreicherung des Flusses

Lookup-Joins: RG-Limits, User-Risiko-Score, KYC-Level, Geo/ASN.
Die asynchronen Aufrufe: sankzionnyj die Listen/antifrod-Provider (async I/O, die Timeouts und fallback).
Währungsnormalisierung/Zeitzone: Vereinheitlichung zu UTC und Basiswährung; „fx _ source“.

7) CEP: Erkennung komplexer Muster

• Structuring: ≥3 der Einzahlung für 10 Minuten, jeweils X.
• Geräteschalter: 3 verschiedene Geräte in 15 min + IP/ASN-Wechsel.
• RG-fatigue: Gesamteinsätze für 1 Stunde> Limit + Verlust von ≥ Y.
• Ops-storm: p95 latency> 2 × Basis, 5xx> 3% im 5-Minuten-Fenster.

CEP lässt sich bequem in Flink CEP/SQL oder Event Template Libraries ausdrücken.

8) Online-Spiele und Modelle

Feature Pipelines: Zähler, Velocity-Metriken, „Zeit seit dem letzten Ereignis“, Share-of-Wallet.
Online/Offline-Konsistenz: eine Codebasis von Transformationen; Rückführungstests.
Scoring: Lichtmodelle (Logit/GBDT) synchron; heavy - asynchron durch die Warteschlange.
Driftkontrolle: PSI/KS und Alerts; „dark launches“ für neue Modelle.

9) Liefergarantien und Bestellung

At-least-once im Bus + Idempotenz am Empfang.
Die Partitionierung nach Schlüssel sorgt für lokale Ordnung.
Retries & Backpress: Exponentielle Retrays mit Jitter, automatischer Druckregelung.

10) SLO/SLI (empfohlen)

11) Echtzeit-Konturbeobachtbarkeit

Pipelinemetriken: throughput, lag per partition, busy time, checkpoint duration.
Signalqualität: completeness, duplication rate, late ratio.
Dashboards: Heatmap von Lags auf Topiks, Alert-Trichter (sobytiye→pravilo→keys), Hot-Key-Karte.
Alert mit den ursprünglichen Ereignissen (trace_id).

12) Sicherheit und Privatsphäre

PII-Minimierung: Tokenisierung von Identifikatoren, Maskierung empfindlicher Felder.
Geo-residency: Regional Pipelines (EEA/UK/BR).
Audit: Unveränderliche Entscheidungsprotokolle (wer, was, warum), Legal Hold für Fälle.
Zugang: RBAC zu Regeln/Modellen, doppelte Kontrolle zu Ausrollen.

13) Kosten und Leistung

Hot Keys: Umverteilung (Key Salting), Composite Keys.
Zustand: angemessene TTL, inkrementelle Materialisierung, RocksDB-Tuning.
Fenster: optimale Größe und zulässige Latenz; Pre-Aggregationsschichten für „laute“ Ströme.
Sampling: auf unkritischen Streams und auf Metrikebene (nicht auf Transaktionen/Compliance).

14) Beispiele (vereinfacht)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Prozesse und RACI

R (Responsible): Streaming Platform (infra, state, releases), Domain Analytics (rules/fici).
A (Accountable): Head of Data/Risk/Compliance für seine Domains.
C (konsultiert): DPO/Legal (PII/retention), SRE (SLO/incidents), Architektur.
I (Informed): Produkt/Support/Marketing.

16) Fahrplan für die Umsetzung

1. 2-3 kritische Signale (z.B. 'payment. deposit`, `auth. login`, `game. bet`).

2. Kafka + Flink, Basis-Dedup und Wasserzeichen; eine KEP-Regel für Anti-Fraud und eine für RG.

3. ClickHouse/Pinot für betriebliche Schaufenster; dashboards lag/completeness.

4. Incident Channel (Webhook/Jira) und manuelle Triage.

• Online-Fichester, Scoring des Lichtmodells; asynchrone Lookups (Sanktionen/KUS).
• Regeln als Code verwalten, Kanarienausbrüche, A/B-Regeln.
• Regionalisierung und PII-Kontrollen, Legal Hold für Fälle.

• Signalkatalog, Auto-Generierung der Dokumentation, „replay & what-if“ Simulator.
• Autokalibrierung von Schwellenwerten (Bayesian/quantile), precision/recall Metriken online.
• DR-Übungen, Multi-Region aktiv-aktiv, Chargeback-Modelle per Befehl.

17) Qualitätscheckliste vor Verkauf

• Schemata und Verträge, Validierung in ingest.
• Konfigurierte Fenster, Wasserzeichen, erlaubte Latenz + DLQ.
• Dedup und idempotent sink 'und.
• Lag/throughput/state size metrics, SLO alerts.
• Sicherheit: RBAC auf Regeln/Modelle, PII Masking.
• Dokumentation: Eigentümer, SLO, Beispiele, Abhängigkeitskarten.
• Rollback-Verfahren und Fries-Taste.

18) Häufige Fehler und wie man sie vermeidet

Event-Zeit ignorieren: Verwenden Sie Wasserzeichen, sonst „schieben“ Sie die Metriken.
Kein Deduplex: Duplikate geben falsche Alerts → geben idempotency ein.
Hot Keys: Verzerrung der Parteien → Salting/Resharding.
Zu starre Fenster: Verlust verspäteter → erlaubte Latenz + korrigierende Emissionen.
PII-Mischung: Trennen Sie Tokenisierung und analytischen Fluss.
Kein Simulator: Testen Sie die Regeln auf „Replik“, bevor Sie ausrollen.

19) Glossar (kurz)

CEP - Complex Event Processing, Mustererkennung.
Watermark ist die Zeitschwelle für die Fensterbereitschaft.
Erlaubte Latenz - Zulassung von verspäteten Ereignissen.
Stateful Operator ist ein Betreiber mit einem stabilen Zustand.
Feature Store ist ein Online-/Offline-Merkmalsspeicher für ML.

20) Das Ergebnis

Die Echtzeit-Signalverarbeitung ist eine kontrollierte Pipeline mit klaren Schemata, Fenstern und Wasserzeichen, stateful-Logik, Online-Anreicherung und strengen SLOs. Wenn Sie diese Praktiken befolgen, erhalten Sie schnelle und zuverlässige Risikodetektoren, nachhaltige Personalisierungsauslöser und operative Dashboards, die wirtschaftlich und konform skaliert werden.