Signallarni real vaqtda qayta ishlash

1) Vazifasi va biznes qiymati

• Antifrod/AML: depozitlarni tuzish, «mullatlash», velocity-hujumlar.
• Responsible Gaming (RG): limitlardan oshib ketish, xatti-harakatlarning xatti-harakatlari.
• Tavakkalchilik/Komplayens: ro’yxatdan o’tishda sanksiya skrining/onlayn tranzaksiya.
• Personallashtirish: bonuslar/missiyalar triggerlari, reaktiv kampaniyalar.
• Operatsiyalar/SRE: SLA degradatsiyalari, xato shkalalari, metrik anomaliyalar.

Asosiy maqsadlar: past kechikish (p95 0. 5-5 s), yuqori to’liqlik (99 ≥. 5%), portlashlarga chidamlilik.

2) Signallar taksonomiyasi

Tranzaksion:’payment. deposit/withdraw/chargeback`.
Oʻyin:’game. bet/payout`, `game. session_start/stop`.
Autentifikatsiya:’auth. login/failure’, moslamalar/geo.
Xulq-atvor: stavkalar tezligi, summaning eksponensial o’sishi, tungi faollik.
Operatsion:’api. latency`, `error. rate’, podalarni qayta ishga tushirish «bo’roni».

Har bir turning sxemasi, egasi (domain owner), tanqidiyligi, SLO va «late data» qoidalari mavjud.

3) Real-time kontur arxitekturasi

1. Ingest va shina: HTTP/gRPC → Edge → Kafka/Redpanda (’user _ id/tenant’bo’yicha partiyalashtirish).
2. Streaming-движок: Flink/Spark Structured Streaming/Beam; stateful-operatorlar, CEP.
3. Onlayn boyitish: lookup-jadvallar (Redis/Scylla/ClickHouse Read-Only), provayderlar keshi (sanksiyalar/KS).

• Alert-topiki/kyu (case-menejment, SOAR).
• Fichestor onlayn (skoring modellari).
• Gold-strim-vitrinalar (operativ dashbordlar).
• Tezkor tahlil uchun «iliq» ombor (ClickHouse/Pinot/Druid).
• 5. Arxiv/forenzika: Lake (Parquet, time-travel) ga o’zgarmas qo’shilish.
• 6. Kuzatish darajasi: treysing/metrika/logi + lineage.

4) Derazalar, watermarks va «late data»

• Tumbling: o’rnatilgan derazalar (masalan, 1 min) - oddiy agregatlar.
• Hopping: bir-birini qoplaydigan (masalan, qadam 30 s, deraza 2 min) - «silliq» metriklar.
• Session: harakatsizlik bo’yicha uzilishlar - xulq-atvor tahlili.
• Watermarks: event-time uchun «vaqt bilimi» chegarasi; kechikishga yo’l qo’yamiz (allowed lateness, masalan, 2 daqiqa).
• Kechiktirilgan strategiyalar: tuzatishlar chiqarish, «late = true» yozuvi, DLQ.

5) Stateful-operatorlar va deduplikatsiya

Ulanish:’user _ id’,’payment. account_id`, `device_id`.
Holati: idempotency uchun summatorlar, sirpanchiq hisoblagichlar, bloom-filtrlar.

Dedup: saqlash’(event_id, seen_at)’state/kv; TTL = 24-72 soat

Exactly-Once: tranzaksion sink’i (2-phase), idempotent upsert-operatsiyalar.

6) Oqimni boyitish

Lookup-joylar: RG limitlari, foydalanuvchi tavakkalchiligi, KYC darajasi, geo/ASN.
Asinxron qo’ng’iroqlar: sanksiya reyestri/antifrod-provayderlar (async I/O, taymautlar va fallback).
Valyutalar/taymzonlarni normallashtirish: UTC va bazaviy valyutaga birxillashtirish; ’fx _ source’ ni oʻrnatish.

7) CEP: murakkab patternlarni aniqlash

• Structuring: 10 daqiqada 3 ta depozit ≥, har bir X.
• Device-switch: 15 daqiqada 3 xil qurilma + IP/ASN almashtirish.
• RG-fatigue: 1 soat uchun jami stavkalar> limit + yo’qotish ≥ Y.
• Ops-storm: p95 latency> 2 × bazaviy, 5xx> 3% 5 daqiqalik oynada.

MOBIL’ni Flink CEP/SQL yoki hodisa shablonlari kutubxonalarida ifodalash qulay.

8) Onlayn fichlar va modellar

Feature pipelines: hisoblagichlar, velocity-metriklar, «oxirgi voqeadan keyingi vaqt», share-of-wallet.
Muvofiqlik online/offline: transformatsiyalarning bitta kod bazasi; o’tuvchanlik testlari.
Skoring: light-modellar (logit/GBDT) sinxron; og’ir - navbat orqali asinxron.
Dreyfni nazorat qilish: PSI/KS va alertlar; yangi modellar uchun «qorong’u uchirish».

9) Yetkazib berish kafolatlari va

At-least-once shinada + qabulda idempotentlik.
Kalit bo’yicha partiyalashtirish mahalliy tartibni ta’minlaydi.
Retries & backpressure: jitter bilan eksponensial retralar, bosimni avtomatik nazorat qilish.

10) SLO/SLI (tavsiya etiladigan)

11) Real-time kontur kuzatilishi

Payplayn metrikasi: throughput, lag per partition, busy time, checkpoint duration.
Signallar sifati: completeness, duplication rate, late ratio.
Dashbordlar: topiklar bo’yicha laglarning issiqlik xaritasi, alert-voronka (hodisa → qoida → keys), issiq kalitlar xaritasi.
Treysing: alertni dastlabki voqealar bilan bogʻlash (trace_id).

12) Xavfsizlik va maxfiylik

PII-minimallashtirish: identifikatorlarni tokenlash, sezgir maydonlarni kamuflyaj qilish.
Geo-residency: mintaqaviy konveyerlar (EEA/UK/BR).
Audit: echimlarning o’zgarmas loglari (kim, nima, nima uchun), keyslar uchun Legal Hold.
Foydalanish: RBAC qoidalari/modellari, ikki marta nazorat qilish.

13) Qiymati va unumdorligi

Issiq kalitlar: qayta taqsimlash (key salting), composite keys.
Holat: oqilona TTL, inkremental materiallashtirish, RocksDB-tyuning.
Oynalar: optimal oʻlchamlari va allowed lateness; «shovqinli» oqimlar uchun pre-aggregation qatlamlari.
Semplash: tanqidiy bo’lmagan oqimlarda va metrika darajasida (tranzaksiya/komplayensda emas).

14) Misollar (soddalashtirilgan holda)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Jarayonlar va RACI

R (Responsible): Streaming Platform (infra, holat, relizlar), Domain Analytics (qoidalar/fichlar).
A (Accountable): Head of Data/Risk/Compliance.
C (Consulted): DPO/Legal (PII/retention), SRE (SLO/hodisalar), Arxitektura.
I (Informed): Mahsulot/Qo’llab-quvvatlash/Marketing.

16) Joriy etish yo’l xaritasi

1. 2-3 ta tanqidiy signal (masalan,’payment. deposit`, `auth. login`, `game. bet`).

2. Kafka + Flink, bazaviy dedup va watermark; bitta anti-frod uchun va bitta RG uchun.

3. tezkor vitrinalar uchun ClickHouse/Pinot; dashbordlar lag/completeness.

4. Hodisa kanali (webhook/Jira) va qoʻlda triage.

• Onlayn fichestor, skoring light modellari; asinxron lookups (sanksiyalar/KTS).
• Qoidalarni kod sifatida boshqarish, kanareik chiqishlar, qoidalarning A/B.
• Hududlashtirish va PII-nazorat, Legal Hold.

• Signallar katalogi, hujjatlarning avtogeneratsiyasi, «replay & what-if» simulyatori.
• Avtokalibrovka ostonalari (Bayesian/quantile), precision/recall metrikalari onlayn.
• DR-mashqlar, multi-region active-active, chargeback modellari jamoalar bo’yicha.

17) Sotishdan oldingi sifat chek-varaqasi

• Sxemalar va shartnomalar, ingestda validatsiya.
• Oynalar, watermarks, allowed lateness + DLQ moslashtirilgan.
• Dedup va idempotent sink’i.
• lag/throughput/state size metrikalari, SLO alertlari.
• Xavfsizlik: RBAC qoidalari/modellari, PII niqoblash.
• Hujjatlar: owner, SLO, misollar, qaramlik xaritalari.
• Rollback protseduralari va friz tugmasi.

18) Tez - tez xatolar va ulardan qanday qochish mumkin

Ignor event-time: watermarks’dan foydalaning, aks holda metriklar «sirpanadi».
Dadup yoʻq: dublikatlar soxta alertlar beradi → idempotency.
Issiq kalitlar: notekis partiyalar → salting/resharding.
Juda qattiq oynalar: kechikkan → allowed lateness + tuzatuvchi emissiyalar.
PII aralashmasi: tokenizatsiya va tahliliy oqimni ajrating.
Simulyator yoʻq: haydashdan oldin qoidalarni «repleyda» sinab koʻring.

19) Lugʻat (qisqacha)

CEP - Complex Event Processing, patternlarni aniqlash.
Watermark - oynani tayyorlash uchun vaqt chegarasi.
Allowed Lateness - kechiktirilgan voqealarga ruxsat berish.
Stateful Operator - barqaror holatga ega operator.
Feature Store - ML uchun onlayn/oflayn belgilar ombori.

20) Jami

Real-time signallarni qayta ishlash - bu aniq sxemalar, derazalar va watermark’lar, stateful-mantiq, onlayn boyitish va qattiq SLOlarga ega boshqariladigan konveyer. Ushbu amaliyotga amal qilib, siz tez va ishonchli xavf detektorlari, barqaror shaxsiylashtiruvchi triggerlar va tejamkorlik va komplayentlik bilan kengaytiriladigan operativ dashbordlarni olasiz.