რეალურ დროში სიგნალის დამუშავება

1) დანიშვნა და ბიზნესის ღირებულება

• ანტიფროდი/AML: დეპოზიტების სტრუქტურა, „მულირება“, ველური შეტევები.
• Responsible Gaming (RG): ლიმიტების ჭარბი რაოდენობა, ქცევის რისკის შაბლონები.
• რისკი/შესაბამისობა: სანქციების სკრინინგი ონლაინ რეჟიმში რეგისტრაციის/გარიგების დროს.
• პერსონალიზაცია: ბონუსების/მისიების გამომწვევი, რეაქტიული კამპანიები.
• ოპერაციები/SRE: SLA დეგრადაცია, შეცდომების სკალები, მეტრიკის ანომალიები.

ძირითადი მიზნები: დაბალი შეფერხება (p95 0. 5-5 გვ), მაღალი სისრულე (99 ევრო). 5%), ადიდების წინააღმდეგობა.

2) სიგნალების ტაქსონომია

გარიგება: 'payment. deposit/withdraw/chargeback`.
თამაში: 'game. bet/payout`, `game. session_start/stop`.
ავთენტიფიკაცია: 'auth. login/failure ', მოწყობილობების შეცვლა/გეო.
ქცევითი: განაკვეთების სიჩქარე, თანხის ექსპონენციალური ზრდა, ღამის აქტივობა.
ოპერაციული: 'ap. latency`, `error. rate ', ნაგავსაყრელების გადატვირთვის „ქარიშხალი“.

თითოეულ ტიპს აქვს სქემა, რომელიც ფლობს დიაგრამას, კრიტიკულობას, SLO- ს და „მოკლე მონაცემების“ წესებს.

3) რეალური დროის მიკროსქემის საცნობარო არქიტექტურა

1. Ingest და საბურავი: HTTP/gRPC, Edge, Kafka/Redpanda (განაწილება 'user _ id/tenant').
2. Streaming-движок: Flink/Spark Structured Streaming/Beam; სახელმწიფო ოპერატორები, CEP.
3. ონლაინ გამდიდრება: lookup ცხრილი (Redis/Scylla/ClickHouse Read-Only), პროვაიდერების ქეში (სანქციები/KUS).

• Alert topiks/quu (case მენეჯმენტი, SOAR).
• Fichestor Online (მორიელი მოდელები).
• ოქროს ნაკადის ფანჯრები (ოპერატიული დაშბორდები).
• სწრაფი ანალიტიკის „თბილი“ საცავი (ClickHouse/Pinot/Druid).
• 5. არქივი/წინსვლა: მუდმივი დასაკეცი ტბაში (პარკი, დრო-მოგზაურობა).
• 6. დაკვირვება: ტრეისი/მეტრიკა/ლოგები + ხაზები.

4) Windows, watermarks და „late Data“

• Tumbling: ფიქსირებული ფანჯრები (მაგ., 1 წუთი) - მარტივი აგრეგატები.
• Hopping: გადახურვა (მაგ., 30 წუთი, ფანჯარა 2 წუთი) - „გლუვი“ მეტრიკა.
• სესია: არააქტიურობის შესვენებები - ქცევითი ანალიზი.
• Watermarks: „დროის ცოდნის“ საზღვარი ღონისძიების დროისთვის; დაუშვებელია დაგვიანება (მაგალითად, 2 წუთი).
• ვადაგადაცილებული სტრატეგიები: კორექტირების ხელახალი გამოცემა, „late = true“, DLQ.

5) Stateful ოპერატორები და დედუპლიკაცია

საკვანძო: 'user _ id', 'payment. account_id`, `device_id`.
მდგომარეობა: შემცვლელი, მოცურების მრიცხველები, idempotency bloom ფილტრები.

დედაპი: შენახვა '(event _ id, seen _ at)' სახელმწიფო/kv; TTL = 24-72;

Exactly-Once: გარიგების sink 'და (2 ფაზა), idempotent upsert ოპერაციები.

6) ნაკადის გამდიდრება

Lookup Joynes: RG ლიმიტები, მომხმარებლის რისკი, KYC დონე, geo/ASN.
ასინქრონული გამოწვევები: სანქციების რეესტრი/ანტიფროდიული პროვაიდერები (ასინკ I/O, ტაიმაუტები და fallback).
ვალუტის/დროის ნორმალიზაცია: UTC- ს გაერთიანება და საბაზო ვალუტა; ჩაწერეთ 'fx _ source'.

7) CEP: რთული ნიმუშების აღმოჩენა

• სტრუქტურა: 3 ანაბარი 10 წუთში, თითოეული <საანგარიშო ბარიერი, სულ> X.
• Device-switch: 3 სხვადასხვა მოწყობილობა 15 წუთში + IP/ASN შეცვლა.
• RG-fatigue: მთლიანი განაკვეთები 1 საათში> ლიმიტი + წაგება Y.
• Ops-storm: p95 latency> 2 × ბაზა, 5xx> 3% 5 წუთის ფანჯარაში.

CEP მოსახერხებელია გამოხატოს Flink CEP/SQL ან ღონისძიების შაბლონების ბიბლიოთეკებში.

8) ონლაინ ფიჩები და მოდელები

Feature pipelines: მრიცხველები, velocity მეტრიკა, „ბოლო მოვლენის დრო“, sharl-of-wallet.
ონლაინ/offline კოორდინაცია: ერთი კოდური ტრანსფორმაციის ბაზა; გადასვლის ტესტები.
სკორინგი: მსუბუქი მოდელები (ლოგიტი/GBDT) სინქრონულად; მძიმე - ასინქრონულად რიგის მეშვეობით.
დრიფტის კონტროლი: PSI/KS და ალერტები; „მუქი გაშვება“ ახალი მოდელებისთვის.

9) მიწოდებისა და წესრიგის გარანტიები

At-least-once საბურავში + idempotence მისაღებში.
გასაღების განლაგება უზრუნველყოფს ადგილობრივ წესრიგს.
Retries & backpressure: ექსპონენციალური ჭრილობები jitter- ით, ავტომატური წნევის კონტროლი.

10) SLO/SLI (რეკომენდებული)

11) რეალური დროის მიკროსქემის დაკვირვება

paypline მეტრიკა: throughput, lag per pertition, busy time, checkpoint duration.
სიგნალის ხარისხი: completeness, duplection ratio, late ratio.
Dashboards: ბანაკების თერმული რუკა ტოპიკის მიხედვით, ალერტული ძაბრი (ღონისძიება, წესი, შემთხვევა), ცხელი გასაღების რუკა.
ტრეისი: ალერტის დაკავშირება თავდაპირველ მოვლენებთან (trace _ id).

12) უსაფრთხოება და კონფიდენციალურობა

PII მინიმიზაცია: იდენტიფიკატორის ტოქსიკაცია, მგრძნობიარე ველების შენიღბვა.
Geo-residence: რეგიონალური კონვეიერები (EEA/UK/BR).
აუდიტი: გადაწყვეტილებების უცვლელი ლოგიკა (ვინ, რატომ), იურიდიული ჰოლდი საქმეებისთვის.
წვდომა: RBAC წესებზე/მოდელებზე, ორმაგი გასეირნების კონტროლი.

13) ღირებულება და შესრულება

ცხელი გასაღებები: გადანაწილება, კომპოზიციური გასაღებები.
მდგომარეობა: გონივრული TTL, სავარაუდო მატერიალიზაცია, RocksDB tuning.
ფანჯრები: ოპტიმალური ზომები და განათება; pre-agregation ფენები „ხმაურიანი“ ნაკადებისთვის.
სიმულაცია: არაკრიტიკულ ნაკადებზე და მეტრიკის დონეზე (არა გარიგებებზე/შესაბამისობაში).

14) მაგალითები (გამარტივებული)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) პროცესები და RACI

R (Responsible): Streaming Platform (infra, მდგომარეობა, გამოშვებები), Domain Analytics (წესები/ფიჩები).
A (Accountable): მონაცემთა Head/Risk/Compliance თავისი დომენებით.
C (Consulted): DPO/Legal (PII/retention), SRE (SLO/ინციდენტები), არქიტექტურა.
I (ინფორმირებული): პროდუქტი/მხარდაჭერა/მარკეტინგი.

16) გზის განხორციელების რუკა

1. 2-3 კრიტიკული სიგნალი (მაგალითად, 'payment. deposit`, `auth. login`, `game. bet`).

2. Kafka + Flink, ძირითადი დედაპლატა და watermark; ერთი CEP წესი ანტიფროდისთვის და ერთი RG- სთვის.

3. ClickHouse/Pinot ოპერატიული ფანჯრებისთვის; დაშბორდები lag/completeness.

4. ინციდენტის არხი (webhook/Jira) და სახელმძღვანელო ტირაჟი.

• ონლაინ შუახნის, მორიელის მსუბუქი მოდელები; ასინქრონული lookups (სანქციები/KUS).
• წესების მართვა, როგორც კოდი, კანარის ამოღება, A/B წესები.
• რეგიონალიზაცია და PII კონტროლი, იურიდიული ჰოლდი საქმეებისთვის.

• სიგნალის კატალოგი, დოკუმენტაციის ავტომატური წარმოება, replay & what-if სიმულატორი.
• რეიდი (ბაიეზიანი/კვანტილი), პრეცისიის/ჩანაწერების მეტრიკა ინტერნეტით.
• DR- სავარჯიშოები, მრავალჯერადი აქტიურობა, გუნდების მოდელები.

17) ხარისხის ჩამწერი გაყიდვამდე

• სქემები და კონტრაქტები, შესაბამისობა ingest- ში.
• გაფორმებულია ფანჯრები, watermarks, allowed lateness + DLQ.
• დედუპი და idempotent sink '.
• lag/throughput/state size, SLO ალერტები.
• უსაფრთხოება: RBAC წესებზე/მოდელზე, შენიღბვა PII.
• დოკუმენტაცია: owner, SLO, მაგალითები, დამოკიდებულების რუქები.
• rollback პროცედურები და ფრიზის ღილაკი.

18) ხშირი შეცდომები და როგორ მოვერიდოთ მათ

ღონისძიების დროის უგულებელყოფა: გამოიყენეთ watermarks, წინააღმდეგ შემთხვევაში მეტრიკა „იჭრება“.
არ არსებობს ბაბუა: დუბლიკატები მისცემენ ცრუ ალერტებს idempotency.
ცხელი გასაღებები: პარტიების გადალახვა - გადახრა/აღდგენა.
ძალიან მკაცრი ფანჯრები: დაგვიანებული - დამაკმაყოფილებელი ლატენესის + კორექტირების ემისიების დაკარგვა.
PII ნაზავი: გაიზიარეთ ტოკენიზაცია და ანალიტიკური ნაკადი.
სიმულატორი არ არის: შეამოწმეთ წესები „გასვლამდე“.

19) გლოსარიუმი (მოკლედ)

CEP - Complex Event Processing, ნიმუშების აღმოჩენა.
Watermark არის ფანჯრის მზადყოფნის დროის ბარიერი.
Allowed Lateness - დაგვიანებული მოვლენების დაშვება.
Stateful Operator არის ოპერატორი, რომელსაც აქვს მუდმივი მდგომარეობა.
Feature Store არის ML ონლაინ/ხაზგარეშე საცავი.

20) შედეგი

სიგნალის ნამდვილი დამუშავება არის კონტროლირებადი კონვეიერი, რომელსაც აქვს მკაფიო სქემები, ფანჯრები და watermark 'ami, სახელმწიფო ლოგიკა, ონლაინ გამდიდრება და მკაცრი SLO. ამ პრაქტიკის შემდეგ, თქვენ იღებთ სწრაფ და საიმედო რისკის დეტექტორებს, სტაბილურ პერსონალიზაციულ გამომწვევებს და ოპერატიულ დაშბორდებს, რომლებიც ეკონომიკურად და კომპეტენტურად არის მასშტაბური.