הזרמת אירועים ונתונים בזמן אמת

(סעיף: טכנולוגיה ותשתיות)

תקציר

הזרמת אירועים היא עיבוד והעברה של אירועים בזמן שהם מופיעים. עבור iGaming, זה אומר תגובה מיידית להימורים, הפקדות, אותות נגד הונאה, מגבלות משחק אחראיות, שולחנות טורניר והצעות אישיות. לבני בסיס: Event Bus (קפקא/פולסר), מנוע הזרמה (Flink/ksqlDB/Spark Structured Streaming), CDC מבסיסי נתונים טרנסצנדנטיים (Debezium), Feature Store עבור ML אונליין ואנליטיקה בזמן אמת (תצפיות, OAP)

איפה זה קריטי ב iGaming

אנטי-הונאה וסיכון: ניקוד עסקאות ב <100-300 ms, קורלציה של דפוסי התנהגות, חסימה והסלמה.
משחק אחראי: שליטה מוגבלת, שיעור הפסד, התנהגות לא נורמלית - התראות והגבלות אוטומטיות בזמן אמת.
תשלומים: שסתומי מצב, שסתומי אינטרנט PSP, סמארט-ריטרי, תחזיות שיווי משקל, SLA ”זמן לארנק”.
אירועי משחק: חישוב של מובילי טורניר (חלונות גלישה), סבבים של משחקים חיים, הזנות בזמן אמת עבור CRM/שיווק.
Personalization: מאפיינים מקוונים (RFM, נטייה).
אנליטיקה מבצעית: p95/p99 latency, המרת שלב משפך, אותות בריאות פלטפורמה.

מודלים ארכיטקטוניים

למדא נגד קאפה

למבדה: אצווה (DWH/ETL) + הזרמה (operative). פלוס - גמישות ו ”זול” בק; מינוס הוא היגיון כפול.
קאפה: הכל כמו זרם ממגזין (קפקא). פלוס - קוד אחד, שידור חוזר אירוע; מינוס - דרישות תשתית מחמירות יותר.

תרגול: עבור מתווה קריטי בזמן אמת - קאפה; לדיווח/אימוני ML - מעגל אצווה נוסף.

צינור אירועים (התייחסות)

1. יצרנים: שירותי הימורים/תשלומים מפרסמים אירועי דומיין (eutbox # Kafka).
2. אוטובוס: קפקא עם חלקים על ידי מפתחות (”player _ id',” bet _ id').
3. דבזיום מושך שינויים מ-OLTP (מאזן, גבולות) לזרם.
4. הזרמה: Flink/ksqlDB/Spark - צבירה, חלונות, CEP, הצטרפו.
5. תחזיות: שולחנות ממשיים (Kafka Streams State/ksqLDB tables/Redis), OLAP (ClickHouse/Druid).
6. צרכנים: אנטי-הונאה, סי-אר-אם, הודעות, לוחות מחוונים, זרימות חשמל.

חוזי נתונים וסכימות

Avro/Protobuf + Schema Registry: חוזים נוקשים, נדידה לאחור תואמת.
ורסיונינג: "תחום. אירוע. V 'N'; לאסור על שבירת שינויים.
PII: tokenization/הצפנה, מיסוך, הגבלת תכלית (GDPR).

סמנטיקה מסירה ואימפוטנציה

לפחות פעם אחת הוא תקן דה-פקטו (שכפולים הם אפשריים).
בדיוק-פעם אחת בהזרמה: Kafka + EOS production in Flink/Streams; יקר יותר, יחול נקודה (כסף/איזון).
Outbox + CDC: מקור אמת יחיד ממסד הנתונים של השירות, הגנה על כתיבה כפולה.
דדאפ: מפתח ('idempotency _ key'), טבלת שכפול עם TTL, upsert/התמזגות.

חלונות זמן ונתונים ”מאוחר”

• חריצים קבועים (לדוגמה, דקה של מהפכה).
• החלקה במרווחים (לדוגמה, חלון של 5 דקות במרווחים של 1 דקות).
• הפעלה - על ידי חוסר פעילות (הפעלות שחקנים).
• סימני מים: עיבוד בזמן אירוע, איחור, פינוי DLQ/פלט צד.
• CEP (עיבוד אירועים מורכב): תבניות ”A לאחר מכן B ב-3 דקות”, ”N אירועים בשניות M”, ”ביטול/פיצוי”.

status and scaling

אופרטורים מדינתיים: Aggregations/joynes hold state (backend state DB).
נושאים של צ 'אנג-לוג: אמינות ושיקום המדינה.
בקרת מהירות אוטומטית, הגבלות על כיור מערכת/ .
הפצת מפתח: חבטות כבדות = מליחות מפתחות, הקלת מעטה.

ניטור ו SLO

Stream SLO: p99 end-to-end latency (לדוגמה, latency 2 s), lag צרכני תקף, זמינות latency 99. 9%.
Metrics: הפצה, איחור בסימן מים, יחס ירידה/איחור, תרמיל גב, מפעילי זמן עמוסים, GC/JVM.
התראות: DLQ growth, watermark lag, EOS chaffort points, online/offline rassinh.
איתור: זיהוי corelational (”trace _ id',” message _ id') באמצעות יצרן-זרם-צרכן.

בטיחות וציות

TLS/MTLS, ACL/RBAC בנושאים/טבלאות, קטגמנטציה של תחומים רגישים (תשלומים/CCM).
הצפנת PII במעבר/על דיסק; סודות בכספת/SOPS.
שמירת מידע ומקומיות: אחסון לפי אזור (האיחוד האירופי, טורקיה, Latam), מדיניות הסרה.
מי פרסם/קרא, רבייה של תסריטים.

זמינות גבוהה ו-DR

קפקא: "שכפול. פקטור 3 ',' דקות. insync. שכפול חוצה-אזור (MM2) עבור ד "ר

Flink/Streams: נקודת ביקורת מחזורית + savepoint עבור שחרור מבוקר; מנהל HA-JOBER.
OLAP: שכפול קטע, לקרוא העתקים; כשל (יום משחק) בדיקות.

ביצועים וכוונון

מפיקים: חבטות ("להשתהות. גב ',' אצווה. גודל '), דחיסה (lz4/zstd).
צרכנים: נכון "מקסימום. סקר. הפוגה של מסיבות בזמן חזרה.
מחיצות: ספירת צדדים מהמטרה TPS ומקביליות.
מצב: אפשרויות DB (בלוק מטמון/כתב חוצץ), NVMe/IOPS, pinning.
רשת: 10/25G, כוונון TCP, n + 1 קיור מבקש בלימה.

יישום: טכנולוגיות מפתח

שינה: Apache Kafka (חלופות: פולסר, רדפנדה).

הזרמה: Apache Flink, Kafka Streams, ksqLDB, Spark Structured

CDC: Debezium (MySQL/Postgres), מחברי Outbox.
positories: ksqLDB, Kafka Streams State, Redis for Latency Latency, ClickHouse/Druid/PINOT עבור OLAP.
פיכסטור: Feast או own - online (Redis) + offline (Parquet/Bigquery), ערבות עקבית.

תבניות עיצוב

Outbox # קפקא: כל אירוע תחום מעסקת DB.
סאגות: פיצויים באמצעות אירועים; תזמור אחר זרם.
מאוורר: אירוע אחד = נגד הונאה, CRM, אנליטיקה, הודעות.
השקפות ממשיות: לוחות, איזון, גבולות - בצורת טבלאות המתעדכנות מהזרם.
עיבוד מחודש: רבייה של סופרמרקטים לחישוב מחדש של אגרגטים/רטרו אנליטיקה.

דוגמאות (מושגים)

ksqLDB: מובילי טורניר (חלון הזזה)

sql
CREATE STREAM bets_src (
bet_id VARCHAR KEY,
player_id VARCHAR,
amount DOUBLE,
ts BIGINT
) WITH (KAFKA_TOPIC='bets. placed. v1', VALUE_FORMAT='AVRO', TIMESTAMP='ts');

CREATE TABLE leaderboard AS
SELECT player_id,
SUM(amount) AS total_stake,
WINDOWSTART AS win_start,
WINDOWEND  AS win_end
FROM bets_src
WINDOW HOPPING (SIZE 10 MINUTES, ADVANCE BY 1 MINUTE)
GROUP BY player_id
EMIT CHANGES;

ניקוד נגד הונאה עם אירועים מאוחרים

java stream
.assignTimestampsAndWatermarks(WatermarkStrategy. forBoundedOutOfOrderness(Duration. ofSeconds(10)))
.keyBy(e -> e. playerId)
.window(SlidingEventTimeWindows. of(Time. minutes(5), Time. minutes(1)))
.aggregate(scoreFunction, processWindow)
.sideOutputLateData(lateTag)
.addSink(riskTopic);

בדיקת איכות חוט

בדיקות חוזה של תוכניות ואבולוציה (סכימה רישום).
טעינה: TPS מטרה, p99, התנהגות השפלת כיור.
כישלון/כאוס: ירידה ברוקרים/צמתים, עיכובי רשת, פיצול מוח.
Deterministic Replays-Re-ריצה מחדש את הנושאים = = אותן תוצאות.
נחלים קנריים: לולאה לבדיקת עיכוב ויושרה.

רשימת יישומים

1. הגדר SLO (p99 E2E X C, lag look Y, זמינות LA).
2. תוכניות סטנדרטיות ומפתחות (player_id/bet_id).
3. בחר ארכיטקטורה (קאפה ללולאות קריטיות).
4. הגדרות תיבת יוצא + CDC ולבודד PII.
5. קבע חלונות, סימן מים, מדיניות מאוחרת ותפוקות DLQ/צד.
6. אפשר EOS/idempotency על נתיבי כסף.
7. הצג ניטור והתראות לפיגור, סימן מים, די-אל-קיו.
8. לספק HA/DR והליכים לעיבוד מחדש.
9. פריסת חנות תכונה וסנכרון מקוון/לא מקוון.
10. לבלות את יום המשחק: לעבוד על כשלונות והתאוששות.

אנטי דפוסים

ערבוב זמן אירוע ועיבוד זמן ללא מדיניות מודעת.
חוסר בממשל סכמות ”שבירה” משחרר.
מתעלם מנתונים מאוחרים ומפתחות חמים.
חוסר באסטרטגיית ההילוכים החוזרים והשתלשלות של נושאים.
תעריפים/תשלומים ללא אידמפוטנטיות ו-EOS.

תקציר

זרימה בזמן אמת אינה ”תחבורה אחרת”, אלא דרך חשיבה: אירועי דומיין, SLOs ברורים, חוזי נתונים, חלונות וסטטוס, אבטחה ויכולת תצפית. עבור iGaming, הסט בר קיימא הוא Kafka + Flink/ksqLDB + Debezium + Materialized Views + Feature Store. זה נותן אלפיות שנייה, עקביות אנליטית מקוונת/לא מקוונת ומורכבות מבוקרת ככל שהעומס גדל.