אנליטיקה בזמן אמת

1) תכלית וערך עסקי

• AML/Antipraud: מרבצי מבנה, התקפות מהירות, עסקאות סיכון.
• משחקים אחראיים (RG): מעבר לגבולות, דפוסי סיכון, הדרה עצמית.
• SRE/Operations: גילוי מוקדם של דלדול SLA, התפרצויות שגיאה, התחממות יתר של אשכול.
• מוצר ושיווק: מפעיל פרסונליזציה, משימות/מסעות, קטגמנטציה בזמן אמת.
• דיווח מבצעי: כמעט בזמן אמת GGR/NGR, לוחות מחוונים של אולמות/ספקים.

מטרות: p95 מקצה לקצה 0. 5-5, השלמות 99. 5%, זמינות 99. 9%.

2) ארכיטקטורת התייחסות

1. Inneget/Edge - '/Events/Batch '(HTTP/2/3), GRPC, OTel Collector; אימות של מזימות, אנטי-כפילויות, ניתוב גיאו.
2. אוטובוס אירוע - קפקא/רדפנדה (השתתפות של ”משתמש _ id/דייר/שוק”, DLQ, שימור 3-7 ימים).
3. עיבוד זרם - Flink/Spark Structured Streaming/Beam: מפעילים מדינתיים, CEP, סימני מים, איחור מורשה, מוות.
4. העשרה מקוונת - Redis/Syllla/ClickHouse lookups (גבולות RG, KYC, BIN # MCC, IP # Geo/ASN), שיחות אסינכרוניות עם פסקי זמן ונשורת.
5. הגשה - ClickHouse/Pinot/Druid (תצוגות מבצעיות 1-5 דקות), Feature Store (סימנים מקוונים), Webhooks/ticketing/SOAR.
6. בית האגם - ברונזה/כסף/זהב לאיחוד ארוך טווח, שידור חוזר ופיוס.
7. תצפית - מדדי צינור, איתור (Otel), יומנים, שושלות ולוחות מחוונים.

3) אותות וטקסונומיה

תשלומים: "תשלום. הפקדה/משיכה/צ 'רג' בק.
משחקים: 'משחק. הימור/תשלום ', מפגשים.
אימות והתנהגות: ”כתב. כניסה/כישלון”, החלפת התקן, מהירות.
הפעלה: Latency, שגיאה-קצב, אח מחדש, רוויה.
ציות: סינון סנקציה, דגלי אר ג 'י, אירועי DSAR.

לכל סוג יש בעל תחום, סכימה, SLO רעננות ומדיניות מידע מאוחרת.

4) חלונות, סימני מים ונתונים מאוחרים

חלונות: מתגלגלים (קבוע), מקפצים, הפעלה.
Watermark: ”ידע לפי זמן” גבול (בדרך כלל 2-5 דקות).
אירועים מאוחרים: נושא נוסף של התאמות, דגל 'מאוחר = אמת', DLQ עם עיכוב חזק.

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream.payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

5) צל "פ וצבירות סטטיסטיות

מפתח: "משתמש _ id'," התקן _ id', "תשלום. account_id'.
מצב: דלפקי הזזה/סכומים, מסנני פריחה לשכפול, TTL.
תבניות CEP: מבנה (<סף, Me N פעמים, לכל חלון T), החלפת התקן, עייפות RG.

python if cnt_deposits(last=10MIN) >= 3 and sum_deposits(last=10MIN) > THRESH and all(d.amount < REPORTING_THRESHOLD):
emit_alert("AML_STRUCTURING", user_id, snapshot())

6) בדיוק-פעם אחת, סדר ואידישות

משלוח של לפחות פעם אחת באוטובוס + dedup על ידי 'event _ id' על עיבוד (TTL 24-72 h).
סדר: החלוקה לפי מפתחות (הסדר המקומי מובטח).
Sink: transactional מתחייב (2 פאזות) או idempotent upsert/merge.
Outbox/Inbox: הוצאה לאור של אירועי דומיין מ ־ OLTP.

7) העשרה מקוונת וחנות תכונה

Lookup: RG limits, KYC statuses, BIN # MCC, IP # Geo/ASN, שווקים/מיסים, FX בעת האירוע.
שיחות אסינכרוניות: סנקציות/APP API עם פסקי זמן; בטעות - ”לא ידוע” + מגש/מטמון.
חנות תכונה: משא ומתן מקוון/לא מקוון; קודקס שינוי אחד.

8) חנויות בזמן אמת וגלישה

ClickHouse/Pinot/Druid: צבירה שנייה/דקה, תצוגות ממשיות, SLA לעיכוב של 1-5 דקות.
API/GraphQL: לינה נמוכה ללוחות מחוונים/ווידג 'טים.
התראות: webhooks/Jira/SOAR עם הקשר מועשר (trace_id, אירועים אחרונים).

sql
CREATE MATERIALIZED VIEW mv_ggr_1m
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(event_time)
ORDER BY (toStartOfMinute(event_time), market, provider_id) AS
SELECT toStartOfMinute(event_time) AS ts_min,
market,
provider_id,
sumState(stake_base) AS s_stake,
sumState(payout_base) AS s_payout
FROM stream.game_events
GROUP BY ts_min, market, provider_id;

9) מדדים, SLI/SLO ולוחות מחוונים

• p95 בליעה = כוננות 2 S (כללים קריטיים), 5 S (אחרים).
• שלמות של חלון T-99. 5%; סכימה תוקף 99. 9%; כיסוי עקבות ב-98%.
• זמינות שירות זרם 99. 9%; יחס מאוחר 1%.

• לג על ידי מפלגות/נושאים; זמן עמוס של מפעילים; גודל המדינה.
• Funnel "sobytyye # pravilo # keys', דיוק/החזרה לפי תחום.
• חימום קלף מאוחר/שלמות; מפת מפתח חמה.

10) הזרמת DQ (איכות)

אימות: סכימה/אינומים/גבולות גודל, אנטי-כפילויות.
על הזרם: שלמות/dup-rate/late-ratio, תקינות החלון (ללא ספירה כפולה).
מדיניות תגובה: critical law DLQ + pager; מייג 'ור/מינור תיוג + דיווח.

yaml stream: payments rules:
- name: schema_valid type: schema severity: critical
- name: currency_whitelist type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: dedup_window type: unique keys: [event_id]
window_minutes: 1440

11) פרטיות, ביטחון ותושבות

מזעור PII: זיהוי חיידקי, מיסוך שדה רגיש, אסימון PAN/IBAN.
תושבות נתונים: צינורות אזוריים (EEA/UK/BR), מקשי KMS בודדים.
DSAR/RTBF: עריכה סלקטיבית במחסנים במורד הזרם; אחיזה משפטית לתיקים/דוחות.
ביקורת: יומנים בלתי ניתנים לשינוי של שינויים בגישה/כלל, רישום שחרור.

12) כלכלה ופרודוקטיביות

שארדינג/מפתחות: הימנע ממפתחות ”חמים” (מלוח/קומפוזיט), מאזן של מפלגות.
מצב: TTL, תצלומים קומפקטיים, כוונון אחורי LockDB/state.
קדם צבירה: להפחית בשלבים המוקדמים לנושאים רועשים.
דגימה: רק למדדים שאינם קריטיים (לא עסקאות/ציות).
נושא/תקציב עבודה, מכסות שידור חוזר ובקשות כבדות.

13) תהליכים ו ־ RACI

R: פלטפורמת הזרמה (מידע/שחרור), Domain Analytics (חוקים/תכונות), MLOPs (ניקוד/תכונה).
א ': ראש מחלקת נתונים/סיכון/ציות לפי תחום.
C: DPO/Legal (PII/reservation), SRE (SLO/Rences), Architecture.
אני: מוצר, תמיכה, שיווק, פיננסים.

14) מימוש מפת דרכים

1. קפקא/רדפנדה + 2 נושאים קריטיים (לדוגמה, 'תשלומים', 'auth').

2. עבודת פלינק עם סימן מים, שכפול וחוק CEP 1 (AML או RG).

3. תצוגה מבצעית בלוחות מחוונים של ClickHouse/Pinot (1-5 דקות).

4. ערוץ תקרית (webhooks/Jira), סל "ד בסיסי והתראות.

• העשרה מקוונת (Redis/Syllla), חנות תכונה, תצפיות אסינכרוניות.
• ניהול כללים כקוד, קנרית/A-B, הזרמת DQ.
• Regionalization של מסועים, הליכי DSAR/RTBF, Ligal Hold עבור מקרים.

• ריבוי אזורים פעילים, שידור חוזר ומה-אם סימולטור, כיול סף אוטומטי.
• חנויות זרם זהב (GGR/RG/AML), דיווח כמעט בזמן אמת.
• לוחות-מחוונים, גב-מטען, תרגילי ד "ר.

15) דוגמאות (קטעים)

sql
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY event_time
MEASURES
FIRST(A.device_id) AS d1,
LAST(B.device_id) AS d2,
COUNT()      AS cnt
PATTERN (A B+)
DEFINE
B AS B.device_id <> PREV(device_id) AND B.ip_asn <> PREV(ip_asn)
) MR

java if (seenStore.putIfAbsent(eventId, now()) == null) {
context.forward(event);
}

16) רשימת בדיקות לפני המכירה

[ ] סכמות/חוזים ברישום, בדיקות גיבוי ירוקות.

[ ] כלל סימני מים/איחור מורשה, dedup, ו DLQ.

[ ] הגדרות SLO והתראות (lag/late/dup/state mide).

[ העשרה ] עם מטמונים ופסקי זמן; הגיבוי ”לא ידוע”.

[ ] RBAC/double-control על כללים/מודלים; שינוי יומן אופשר.

[ ] תיעוד כללים/חלונות חנות; Runbook 'ו הילוך חוזר/rollback.

17) טעויות תכופות וכיצד להימנע מהן

התעלם זמן אירוע: ללא סימני מים, המדדים ”לצוף”.
אין כפילות: התראות שווא, ספירה כפולה.
מפתחות חמים: עיוות של מפלגות.
API חזית-end סינכרוני בנתיב החם: async + מטמון בלבד.
עלות לא מנוהלת: קדימות, מדינות TTL, מכסות, ניטור עלויות.
אין סימולטור: rollouts ללא relay regression.

18) השורה התחתונה

אנליטיקה בזמן אמת היא לא ”מהיר BI”, אלא מעגל מנוהל עם חוזים, היגיון מדינתי, CEP, סימני מים, העשרה מקוונת הפלטפורמה מקבלת אותות והחלטות מדויקים תוך שניות, תוך שמירה על ציות, תרחישי מוצר והתאוששות תפעולית במחיר מבוקר.