Real vaxt siqnallarının emalı

1) Təyinat və biznes dəyəri

• Antifrod/AML: depozitlərin strukturlaşdırılması, «mullizinq», velocity hücumları.
• Responsible Gaming (RG): limitləri aşmaq, davranış risk nümunələri.
• Risk/Komplayens: onlayn qeydiyyat/əməliyyat zamanı sanksiya skrininqi.
• Personalizasiya: bonus/missiya tetikləyiciləri, reaktiv kampaniyalar.
• Əməliyyatlar/SRE: SLA deqradasiyası, səhvlər, metrik anomaliyalar.

Açar hədəflər: aşağı gecikmə (p95 0. 5-5 s), yüksək tamlıq (≥ 99. 5%), partlayışlara qarşı müqavimət.

2) Siqnalların taksonomiyası

Əməliyyat: 'payment. deposit/withdraw/chargeback`.
Oyun: 'game. bet/payout`, `game. session_start/stop`.
Autentifikasiya: 'auth. login/failure ', cihazların dəyişdirilməsi/geo.
Davranış: bahis sürəti, cəmdə eksponensial artım, gecə aktivliyi.
Əməliyyat: 'api. latency`, `error. rate ', «fırtına» palet yenidən başlamaq.

Hər bir növün sxemi, sahibi (domain owner), tənqidi, SLO və «late data» qaydaları var.

3) Real-time kontur istinad arxitekturası

1. Ingest və şin: HTTP/gRPC → Edge → Kafka/Redpanda ('user _ id/tenant' partizanlaşması).
2. Streaming-движок: Flink/Spark Structured Streaming/Beam; stateful operatorları, CEP.
3. Online zənginləşdirmə: lookup cədvəllər (Redis/Scylla/ClickHouse Read-Only), provayderlərin cache (sanksiyalar/KUS).

• Alert-topiki/kyu (case-management, SOAR).
• Fichestor online (modellərin hesablanması).
• Gold stream vitrinləri (əməliyyat dashboard).
• Sürətli analitika üçün «isti» saxlama (ClickHouse/Pinot/Druid).
• 5. Arxiv/Forensika: Lake (Parquet, time-travel) dəyişməz qatlama.
• 6. Müşahidə: Trace/Metrics/Logi + Lineage.

4) Pəncərələr, watermarks və «late data»

• Tumbling: sabit pəncərələr (məsələn, 1 dəq) - sadə aqreqatlar.
• Hopping: üst-üstə düşən (məsələn, 30 s addım, 2 dəq pəncərə) - «hamar» metriklər.
• Session: Qeyri-aktiv fasilələr - davranış təhlili.
• Watermarks: event-time üçün «vaxt haqqında bilik» sərhədi; gecikməyə icazə veririk (allowed lateness, məsələn, 2 dəq).
• Gecikmiş strategiyalar: əlavə düzəlişlər, əlavə «late = true», DLQ.

5) Stateful operatorları və duplikasiya

Açar: 'user _ id', 'payment. account_id`, `device_id`.
Hal: idempotency üçün summatorlar, sürüşmə sayğacları, bloom filtrləri.
Dedup: saxlama '(event_id, seen_at)' state/kv; TTL = 24-72 saat.
Exactly-Once: əməliyyat sink 'və (2-faza), idempotent upsert əməliyyatları.

6) zənginləşdirilməsi axını

Lookup-coyns: RG limitləri, istifadəçinin risk sürəti, KYC səviyyəsi, geo/ASN.
Asinxron çağırışlar: sanksiya reyestri/antifrod provayderləri (async I/O, taymaut və fallback).
Valyuta/taymzon normallaşması: UTC və baza valyutasına unifikasiya; 'fx _ source' yazın.

7) CEP: mürəkkəb nümunələrin aşkarlanması

• Structuring: 10 dəqiqə ərzində 3 depozit ≥, hər X.
• Device-switch: 15 dəqiqə ərzində 3 fərqli cihaz + IP/ASN dəyişdirin.
• RG-fatigue: 1 saat ərzində ümumi bahislər> limit + uduzma ≥ Y.
• Ops-storm: p95 latency> 2 × baza, 5xx> 3% 5 dəqiqə pəncərə.

CEP Flink CEP/SQL və ya hadisə şablon kitabxanalarında ifadə etmək rahatdır.

8) Online Ficks və Modellər

Feature pipelines: sayğaclar, velocity-metrik, «son hadisə vaxt», share-of-wallet.
Uyğunluq online/offline: bir kod transformasiya bazası; keçid testləri.
Skoring: yüngül modellər (logit/GBDT) sinxron; ağır - sıra vasitəsilə asinxron.
Sürüklənmə nəzarəti: PSI/KS və alertlər; yeni modellər üçün «qaranlıq başlanğıc».

9) Çatdırılma zəmanəti və qaydası

At-least-once şin + qəbulda idempotentlik.
Açar partizanı yerli qaydanı təmin edir.
Retries & backpressure: jitter ilə eksponent retras, avtomatik təzyiq nəzarət.

10) SLO/SLI (tövsiyə olunur)

11) Real-time kontur müşahidə

Paylayn metrikası: throughput, lag per partition, busy time, checkpoint duration.
Siqnalların keyfiyyəti: completeness, duplication rate, late ratio.
Daşbordlar: topiklər üçün laqların istilik xəritəsi, alert hunisi (hadisə → qayda → case), isti açar xəritəsi.
Tracing: ilkin hadisələr (trace_id).

12) Təhlükəsizlik və məxfilik

PII-minimallaşdırma: identifikatorların tokenləşdirilməsi, həssas sahələrin maskalanması.
Geo-residency: regional konveyerlər (EEA/UK/BR).
Audit: həllərin dəyişməz qeydləri (kim, nə, niyə), hallar üçün Legal Hold.
Giriş: RBAC qaydaları/modelləri, ikiqat nəzarət.

13) Qiymət və performans

Qaynar açarlar: yenidən paylama (key salting), composite keys.
Vəziyyət: ağlabatan TTL, artımlı materiallaşma, RocksDB-sazlama.
Pəncərələr: optimal ölçüləri və allowed lateness; «səs-küylü» axınlar üçün pre-aggregation layları.
Sempleme: qeyri-kritik axınlar və metrik səviyyələrdə (əməliyyatlar/komplayans deyil).

14) Nümunələr (sadələşdirilmiş)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Proseslər və RACI

R (Responsible): Streaming Platform (infra, state, relizlər), Domain Analytics (qaydalar/fiqurlar).
A (Accountable): Head of Data/Risk/Compliance öz domenləri ilə.
C (Consulted): DPO/Legal (PII/retention), SRE (SLO/insidentlər), Memarlıq.
I (Informed): Məhsul/Dəstək/Marketinq.

16) Tətbiqi yol xəritəsi

1. 2-3 kritik siqnal (məsələn, 'payment. deposit`, `auth. login`, `game. bet`).

2. Kafka + Flink, əsas dedup və watermark; antifrod üçün bir CEP qaydaları və RG üçün bir.

3. Əməliyyat vitrinləri üçün ClickHouse/Pinot; dashboard lag/completeness.

4. Hadisə kanalı (webhook/Jira) və əl triage.

• Online Fichestor, Light modelləri; asinxron lookups (sanksiyalar/KUS).
• Kod kimi qaydaların idarə edilməsi, kanareya çıxıntıları, A/B qaydaları.
• Regionallaşdırma və PII-nəzarət, hallar üçün Legal Hold.

• Siqnallar kataloqu, sənədlərin avtogenerasiyası, «replay & what-if» simulyatoru.
• Astanaların avtomatik kalibrlənməsi (Bayesian/quantile), onlayn precision/recall metrikləri.
• DR-təlimlər, multi-region active-active, chargeback modelləri komandalar.

17) Satış öncəsi keyfiyyət yoxlama siyahısı

• Sxemlər və müqavilələr, ingest-də validasiya.
• Xüsusi pəncərələr, watermarks, allowed lateness + DLQ.
• Dedup və idempotent sink.
• lag/throughput/state size metriklər, SLO alertlər.
• Təhlükəsizlik: RBAC qaydaları/modelləri, PII maskalama.
• Sənədləşmə: owner, SLO, nümunələr, asılılıq xəritələri.
• Rollback prosedurları və friz düyməsi.

18) Tez-tez səhvlər və onlardan necə qaçmaq olar

Ignor hadisə-vaxt: watermarks istifadə edin, əks halda «sürüşmək» metrik.
No dedupe: dublikatlar saxta risklər verəcək → idempotency daxil edin.
Qaynar açarlar: partiyalar → salting/resharding.
Çox sərt pəncərələr: gecikmiş → allowed lateness + korreksiyalı emissiyalar itkisi.
PII qarışdırma: tokenizasiya və analitik axını bölün.
Simulyator yoxdur: yuvarlanmadan əvvəl qaydaları «replay» üzərində sınayın.

19) Lüğət (qısa)

CEP - Complex Event Processing, nümunələrin aşkarlanması.
Watermark - pəncərənin hazırlığı üçün vaxt həddi.
Allowed Lateness - gecikmiş hadisələrə icazə.
Stateful Operator - sabit vəziyyətə malik operator.
Feature Store - ML üçün onlayn/oflayn yaddaş.

20) Yekun

Real-time siqnalların emalı dəqiq sxemlər, pəncərələr və watermark, stateful-məntiq, onlayn zənginləşdirmə və ciddi SLO ilə idarə olunan konveyerdir. Bu təcrübələrə əməl edərək, sürətli və etibarlı risk detektorları, davamlı personal tetikleyicilər və səmərəli və komplayentlə ölçülən əməliyyat dashboardları əldə edirsiniz.