Нақты уақыттағы сигналдарды өңдеу

1) Мақсаты және бизнес-құндылығы

• Антифрод/AML: депозиттерді құрылымдау, «муллалау», velocity-шабуылдар.
• Responsible Gaming (RG): лимиттерден асып кету, мінез-құлық тәуекелі.
• Тәуекел/Комплаенс: онлайн тіркеу/транзакция кезіндегі санкциялық скрининг.
• Дербестендіру: бонустар/миссиялар триггерлері, реактивті науқандар.
• / SRE операциялары: SLA деградациялары, қате қалқандары, метрикалық ауытқулар.

Түйінді мақсаттар: төмен кідіріс (p95 0. 5-5 с), жоғары толымдылығы (99 ≥. 5%), жарылысқа төзімділік.

2) Сигналдардың таксономиясы

Транзакциялық: 'payment. deposit/withdraw/chargeback`.
Ойын: 'game. bet/payout`, `game. session_start/stop`.
Аутентификация: 'auth. login/failure ', құрылғыларды ауыстыру/гео.
Мінез-құлық: мөлшерлеме жылдамдығы, жиынтықтың экспоненциалды өсуі, түнгі белсенділік.
Операциялық: 'api. latency`, `error. rate ', табандарды қайта іске қосудың «дауылы».

Әрбір типтің схемасы, иесі (domain owner), сындылығы, SLO және «late data» ережелері бар.

3) Шынайы уақыт контурының эталондық сәулеті

1. Ingest және шина: HTTP/gRPC → Edge → Kafka/Redpanda ('user _ id/tenant' бойынша партиялану).
2. Streaming-движок: Flink/Spark Structured Streaming/Beam; stateful-операторлар, CEP.
3. Онлайн-байыту: lookup-кестелер (Redis/Scylla/ClickHouse Read-Only), провайдерлер кеші (санкциялар/АКҚ).

• Алерт-топиктер/кью (case-менеджмент, SOAR).
• Онлайн фичестор (модельдер скорингі).
• Gold-стрим-витриналар (жедел дашбордтар).
• Жылдам талдауға арналған «жылы» қойма (ClickHouse/Pinot/Druid).
• 5. Мұрағат/форензия: Lake (Parquet, time-travel).
• 6. Бақылау қабілеті: трейсинг/метрика/логи + lineage.

4) Терезелер, watermarks және «late data»

• Tumbling: бекітілген терезелер (мысалы, 1 мин) - қарапайым агрегаттар.
• Hopping: жабылатын (мысалы, 30 с қадам, терезе 2 мин) - «тегіс» метриктер.
• Session: белсенділік бойынша үзілістер - мінез-құлық талдауы.
• Watermarks: event-time үшін «уақыт туралы білім» шегі; кешігуге жол береміз (allowed lateness, мысалы, 2 мин).
• Кешігіп қалған стратегиялар: түзетулердің қосымша эмиссиясы, «late = true», DLQ тіркеу.

5) Stateful-операторлар және дедупликация

Кілт: 'user _ id', 'payment. account_id`, `device_id`.
Күйі: idempotency үшін соматорлар, жылжымалы есептегіштер, bloom-сүзгілер.
Дедуп: '(event_id, seen_at)' state/kv; TTL = 24-72 сағ.
Exactly-Once: транзакциялық sink 'және (2-phase), демпотенттік upsert-операциялар.

6) Ағынды байыту

Lookup-джойндар: RG лимиттері, пайдаланушының тәуекел-жылдамдығы, KYC деңгейі, гео/ASN.
Асинхрондық шақырулар: санкциялық тізілім/антифрод-провайдерлер (async I/O, таймауттар және fallback).
Валюталарды/таймзондтарды қалыпқа келтіру: UTC және базалық валютаға біріздендіру; 'fx _ source' деп бекітілсін.

7) CEP: күрделі паттерндерді табу

• Structuring: 10 минут ішінде 3 депозит ≥, әрбір <есептілік шегі, жиынтық> X.
• Device-switch: 15 минутта 3 түрлі құрылғы + IP/ASN ауысымы.
• RG-fatigue: 1 сағат үшін жиынтық ставкалар> лимит + ұтылу ≥ Y.
• Ops-storm: p95 latency> 2 × негізгі, 5xx> 3% 5 минут терезеде.

CEP Flink CEP/SQL немесе оқиғалар үлгілерінің кітапханаларында көрсетуге ыңғайлы.

8) Онлайн-фичтер мен модельдер

Feature pipelines: есептеуіштер, velocity-метриктер, «соңғы оқиғаның уақыты», share-of-wallet.
Online/offline келісімділігі: бір кодтық трансформация базасы; өтімділік тестілері.
Скоринг: лайт-модельдер (логит/GBDT) синхронды; ауыр - кезек арқылы асинхронды.
Дрейфті бақылау: PSI/KS және алерта; жаңа үлгілер үшін «қараңғы іске қосулар».

9) Жеткізу кепілдіктері және

At-least-once шинада + қабылдаудағы іспеттілік.
Кілт бойынша партияландыру жергілікті тәртіпті қамтамасыз етеді.
Retries & backpressure: jitter экспоненциалды ретра, қысымды автоматты бақылау.

10) SLO/SLI (ұсынылатын)

11) Контурдың real-time бақылануы

Пайплайн өлшемдері: throughput, lag per partition, busy time, checkpoint duration.
Сигналдардың сапасы: completeness, duplication rate, late ratio.
Дашбордтар: топиктер бойынша лагтардың жылу картасы, алерт-воронка (оқиға → ереже → кейс), ыстық кілттердің картасы.
Трейсинг: алертті бастапқы оқиғалармен байланыстыру (trace_id).

12) Қауіпсіздік және құпиялылық

PII-минимизация: идентификаторларды токенизациялау, сезімтал өрістерді бүркемелеу.
Geo-residency: өңірлік конвейерлер (EEA/UK/BR).
Аудит: шешімдердің өзгермейтін логтары (кім, не, неліктен), кейстер үшін Legal Hold.
Қолжетімділік: RBAC ережелеріне/модельдеріне, екі рет бақылау.

13) Құны және өнімділігі

Ыстық кілттер: қайта бөлу (key salting), composite keys.
Жай-күйі: ақылға қонымды TTL, инкременттік материализация, RocksDB-тюнинг.
Терезелер: оңтайлы өлшемдер және allowed lateness; «шу» ағындарына арналған pre-aggregation қабаттары.
Сэмплирлеу: критикалық емес ағындарда және метрика деңгейінде (транзакцияларда/комплаенсте емес).

14) Мысалдар (оңайлатылған)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Процестер және RACI

R (Responsible): Streaming Platform (инфра, күй, релиздер), Domain Analytics (ережелер/фичтер).
A (Accountable): Head of Data/Risk/Compliance өз домендері бойынша.
C (Consulted): DPO/Legal (PII/retention), SRE (SLO/инциденттер), Сәулет.
I (Informed): Өнім/Қолдау/Маркетинг.

16) Енгізу жол картасы

1. 2-3 сыни сигнал (мысалы, 'payment. deposit`, `auth. login`, `game. bet`).

2. Kafka + Flink, базалық дедуп және watermark; антифрод үшін бір CEP ережесі және RG үшін бір.

3. Жедел витриналар үшін ClickHouse/Pinot; дашбордтар lag/completeness.

4. Инцидент-арна (webhook/Jira) және қол triage.

• Онлайн-фичестор, лайт-модельдердің скорингі; асинхрондық lookups (санкциялар/АҚК).
• Қағидаларды код ретінде басқару, канареялық шығулар, қағидалардың A/B.
• Аймақтандыру және PII-бақылау, кейстер үшін Legal Hold.

• Сигналдар каталогы, құжаттама автогенерациясы, «replay & what-if» симуляторы.
• Табалдырықтарды (Bayesian/quantile), precision/recall өлшемдерін онлайн автоматты калибрлеу.
• DR-жаттығулар, multi-region active-active, командалар бойынша chargeback модельдері.

17) Азық-түлік алдындағы сапа

• Схемалар мен келісімшарттар, ingest.
• Орнатылған терезелер, watermarks, allowed lateness + DLQ.
• Дедуп және идемпотенттік sink '.
• lag/throughput/state size метриктері, SLO алерталары.
• Қауіпсіздік: RBAC ережелері/модельдері, PII бүркемелеу.
• Құжаттама: owner, SLO, мысалдар, тәуелділік карталары.
• Rollback рәсімдері және фриз түймешігі.

18) Жиі қателер және оларды болдырмау

Ignor event-time: watermarks қолданыңыз, әйтпесе метриканы «жылжытады».
Дедуп жоқ: дубликаттар жалған алерталар береді → idempotency енгізіңіз.
Ыстық кілттер: партия қисаюы → salting/resharding.
Тым қатты терезелер: кешіктірілгендерді жоғалту → allowed lateness + түзетуші эмиссиялар.
PII араластыру: токенизация мен аналитикалық ағынды бөліңіз.
Симулятор жоқ: сырғанау алдында ережелерді «реплеяда» тестілеңіз.

19) Глоссарий (қысқаша)

CEP - Complex Event Processing, паттерндерді табу.
Watermark - терезені дайындау үшін уақыт шегі.
Allowed Lateness - кешіккен оқиғаларға рұқсат беру.
Stateful Operator - тұрақты жай-күйі бар оператор.
Feature Store - ML үшін онлайн/оффлайн белгілері қоймасы.

20) Қорытынды

Сигналдарды Real-time өңдеу - бұл нақты схемалары, терезелері және watermark, stateful-логикасы, онлайн байытуы және қатаң SLO бар басқарылатын конвейер. Осы тәжірибелерді қолдана отырып, сіз жылдам және сенімді тәуекел детекторларын, тұрақты дербес триггерлерді және үнемді және комплаентті масштабталатын жедел дашбордтарды аласыз.