Procesarea semnalelor în timp real

1) Scopul și valoarea afacerii

• Antifraudă/AML: structurarea depozitelor, „mulling”, atacuri de viteză.
• Joc responsabil (RG): depășirea limitelor, modele de risc de comportament.
• Risc/Conformitate: înregistrare online/screening-ul sancțiunii tranzacției.
• Personalizare: declanșatoare bonus/misiune, campanii reactive.
• Operațiuni/SRE: degradare SLA, flururi de erori, anomalii ale metricii.

Obiective cheie: latență scăzută (p95 0. 5-5 s), completitudine ridicată (≥99. 5%), rezistenţă la supratensiune.

2) Taxonomia semnalului

Tranzacțional: "plată. depozit/retragere/chargeback ".
Gaming: 'joc. pariu/plată ',' joc. session_start/stop'.
Autentificare: „autentificare/eșec”, schimbare/geo dispozitiv.
Comportament: rata pariurilor, creșterea exponențială a sumei, activitatea de noapte.
Săli de operație: "api. latenţă „,” eroare. rata ", o" furtună "de vatră repornește.

Fiecare tip are o schemă, proprietar de domeniu, critică, SLO și reguli de date târzii.

3) Arhitectura de referință în buclă în timp real

1. Ingera și autobuz: HTTP/gRPC → Edge → Kafka/Redpanda (partiționarea prin 'user _ id/chiriaș').
2. Streaming- движок: Flink/Spark structurat Streaming/fascicul; Declaraţii statale, CEP.
3. Îmbogățire online: tabele de căutare (Redis/Scylla/ClickHouse Read-Only), cache furnizor (sancțiuni/CUS).

• Alerta subiecte/tac (management de caz, SOAR).
• Fichestor online (modele de notare).
• Vitrine cu flux de aur (tablouri de bord operaționale).
• Stocare „caldă” pentru analize rapide (ClickHouse/Pinot/Druid).
• 5. Arhivă/criminalistică: pliere imuabilă în lac (parchet, călătorie în timp).
• 6. Observabilitate: trasare/metrica/busteni + descendenta.

4) Ferestre, filigrane și „date târzii”

• Tumbling: ferestre fixe (ex. 1 min) - agregate simple.
• Sărituri: suprapunere (ex. pasul 30 s, fereastra 2 min) - măsurători „netede”.
• Sesiune: lipsuri de inactivitate - analiză comportamentală.
• Filigrane: limita „cunoașterii timpului” pentru eveniment-timp; permite întârzierea (ex. 2 min).
• Strategii întârziate: problemă suplimentară de ajustări, postscript' târziu = adevărat ", DLQ.

5) Declarații statutare și deduplicare

Cheie: prin 'user _ id',' plata. account_id', 'device _ id'.
Stare: adders, contoare glisante, filtre bloom pentru idempotency.
Dedup: stocarea „(event_id, seen_at)” în stare/kv; TTL = 24-72 ore.
Exact o dată: chiuveta tranzactionala "şi (2-faze), operaţiuni upsert idempotent.

6) Îmbogățirea fluxului

Lookup joys: limite RG, rata de risc a utilizatorilor, nivel KYC, geo/ASN.
Apeluri asincrone: registru de sancțiuni/furnizori de antifraudă (async I/O, timeout și rezervă).
Normalizarea valutară/fusul orar: unificarea la UTC și moneda de bază; fix 'fx _ source'.

7) CEP: detectarea tiparelor complexe

• Structurare: ≥3 de depozit timp de 10 minute, fiecare X.
• Comutator de dispozitiv: 3 dispozitive diferite în 15 minute + schimbare IP/ASN.
• Oboseală RG: pariuri totale pentru 1 oră> limită + pierdere ≥ Y.
• Ops-storm: p95 latență> 2 × bază, 5xx> 3% în fereastră 5-min.

CEP este exprimat în mod convenabil în bibliotecile șablon Flink CEP/SQL sau eveniment.

8) Caracteristici și modele online

Caracteristici conducte: contoare, viteze-metrici, „timpul de la ultimul eveniment”, share-of-portofel.
Consistență online/offline: o singură bază de cod de transformare; teste de tranziție.
Scoring: modele de lumină (logit/GBDT) sincron; grele - asincron prin coadă.
Controlul driftului: PSI/KS și alerte; „lansări întunecate” pentru modele noi.

9) Garanții de livrare și procedură

Cel puțin o dată în anvelopă + idempotență la recepție.
Partiționarea cheilor oferă o comandă locală.
Retries & backpressure: retraiuri exponențiale cu jitter, control automat al presiunii.

10) SLO/SLI (recomandat)

11) Observabilitatea conturului în timp real

Măsurători de conducte: debit, decalaj pe partiție, timp ocupat, durata punctului de control.
Calitatea semnalului: completitudine, rata de duplicare, raportul târziu.
Tablouri de bord: harta de căldură a decalajelor după subiect, pâlnie de alertă (sobytiye→pravilo→keys), hartă cheie fierbinte.
Urmărire: asociați alerta cu inițierea evenimentelor (trace_id).

12) Securitate și confidențialitate

Minimizarea PII: tokenizarea identificatorilor, mascarea câmpurilor sensibile.
Geo-rezidență: transportoare regionale (SEE/UK/BR).
Audit: jurnale de decizii neschimbabile (cine, ce, de ce), Legal Hold pentru cazuri.
Acces: RBAC la reguli/modele, dublu control la lovituri.

13) Cost și performanță

Taste fierbinți: redistribuire (sărare chei), chei compozite.
Condiție: TTL rezonabil, materializare incrementală, reglare RocksDB.
Ferestre: dimensiune optimă și întârziere permisă; straturi de pre-agregare pentru fluxuri „zgomotoase”.
Eșantionare: pe fluxuri non-critice și la nivel metric (nu pe tranzacții/conformitate).

14) Exemple (simplificate)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Procese și RACI

R (Responsabil): Streaming Platform (informații, stare, versiuni), Domain Analytics (reguli/caracteristici).
A (Responsabil): Șef de date/Risc/Conformitate pe domeniile sale.
C (Consultat): DPO/Legal (PII/retenție), SRE (SLO/Incidente), Arhitectură.
I (Informat): Produs/Suport/Marketing.

16) Foaia de parcurs privind implementarea

1. 2-3 semnale critice (ex. "plata. depozit „,” auth. login „,” joc. bet ').

2. Kafka + Flink, dedup de bază și filigran; o regulă CEP pentru antifraudă și una pentru RG.

3. ClickHouse/Pinot pentru magazinele operaționale; tablouri de bord lag/completitudine.

4. Canal incident (webhook/Jira) și triaj manual.

• Fichestor online, marcarea modelelor de lumină; căutări asincrone (sancțiuni/CCL).
• Gestionarea regulilor ca cod, rulouri canare, reguli A/B.
• Regionalizare și controale PII, Legal Hold pentru cazuri.

• Catalog de semnale, auto-generare de documentație, reluare și ce-dacă simulator.
• Auto-calibrarea pragurilor (Bayesian/quantile), măsurători de precizie/rechemare online.
• DR-exerciții, multi-regiune active-active, modele de chargeback prin comandă.

17) Lista de verificare a calității înainte de vânzare

• Scheme și contracte, validare în ingera.
• Windows configurat, filigrane, permise lateness + DLQ.
• Dedup și chiuveta idempotent 'i.
• Lag/throughput/status size metrics, SLO alerts.
• Securitate: RBAC pe reguli/modele, PII mascare.
• Documentație: proprietar, SLO, exemple, hărți de dependență.
• Proceduri de rollback și butonul de friză.

18) Greșeli frecvente și cum să le evitați

Ignorați timpul de eveniment: utilizați filigrane, altfel măsurătorile vor „aluneca”.
Fără duplicare - duplicatele vor produce alerte false → idempotență de tip.
Taste fierbinți: distorsionarea petrecerilor → sărarea/resharding.
Windows prea greu: pierderea întârzierii → permise + emisii corective.
Amestecare PII: tokenizare separată și flux analitic.
Fără simulator: Testați regulile pe o „reluare” înainte de rulare.

19) Glosar (scurt)

CEP - Procesarea complexă a evenimentelor, detectarea tiparului.
Filigran - prag de timp pentru pregătirea ferestrelor.
Permise Lateness - admiterea evenimentelor târzii.
Operatorul Stateful este un operator persistent.
Feature Store - magazin de caracteristici online/offline pentru ML.

20) Linia de jos

Procesarea semnalului în timp real este o conductă controlată cu circuite clare, ferestre și filigrane, logică statală, îmbogățire online și SLO-uri stricte. Urmând aceste practici, obțineți detectoare de risc rapide și fiabile, declanșatoare de personalizare durabilă și tablouri de bord operaționale care se amplifică rar și în conformitate.