تحليلات البث والبث

1) الغرض والقيمة

• Antifraud/AML: تحديد هيكلة الرواسب، ونوبات السرعة، وشذوذ مقدمي الخدمة.
• الألعاب المسؤولة (RG): تجاوز الحدود وأنماط المخاطر والاستبعاد الذاتي.
• العمليات/SRE: تحلل جيش تحرير السودان، انفجارات الخطأ، إشارات الحوادث المبكرة.
• المنتج/التسويق: أحداث التخصيص، المهام/المهام، التجزئة في الوقت الفعلي.
• الإبلاغ في الوقت الفعلي تقريبًا: معارض GGR/NGR، لوحات التشغيل.

الخصائص المستهدفة: p95 من طرف إلى طرف 0. 5-5 ث، الاكتمال ≥ 99. 5٪، القيمة المدارة.

2) البنية المرجعية

1. ابتلع/حافة

'/events/batch '(HTTP/2/3), gRPC, OTel Collector.
التحقق من صحة المخططات، ومكافحة التكرار، والتوجيه الجغرافي.

2. حافلة الحدث

كافكا/ريدباندا (مقسمة حسب «المستخدم _ المعرف/المستأجر/السوق»).
الاحتفاظ 3-7 أيام، الضغط، DLQ/» الحجر الصحي« للرسائل »المكسورة«.

3. البث

Flink/Spark Structured Streaming/Beam.
التصريحات الحكومية، CEP، العلامة المائية، سمحت بالتأخير والتفريط.
الإثراء (Redis/Scylla/ClickHouse-Lookup)، I/O غير متزامن مع المهلات.

4. شاشات الخدمة/التشغيل

ClickHouse/Pinot/Druid للتجميع الدقيق/الثاني ولوحات القيادة.
متجر الميزات (عبر الإنترنت) لتسجيل النماذج.
مواضيع التنبيه → SOAR/إصدار التذاكر/خطابات الويب.

5. التخزين طويل الأجل (ليكهاوس)

برونزية (خام)، فضية (نظيفة)، ذهبية (إرسال) - Parquet + Delta/Iceberg/Hudi.
إعادة/اختبارات خلفية، السفر عبر الزمن.

6. قابلية الملاحظة

مقاييس خط الأنابيب، تتبع (OTEL)، جذوع الأشجار، النسب.

3) المخططات والعقود

المخطط أولاً: JSON/Avro/Protobuf + Registry، «schema _ version» في كل حدث.
التطور: متوافق مع الظهر - مجالات جديدة غير قابلة للإلغاء ؛ كسر - '/v2 '+ نشر مزدوج.
الحقول المطلوبة هي 'event _ time' (UTC)، 'event _ id'، 'trace _ id'،' user. pseudo_id'، «السوق»، «المصدر».

4) النوافذ والعلامات المائية والبيانات المتأخرة

• السقوط، القفز، الجلسة.
• العلامة المائية: عتبة «المعرفة» وقت الحدث ؛ على سبيل المثال 2-5 دقائق.
• البيانات المتأخرة: تعديلات ما قبل الإصدار، «متأخر = صحيح»، DLQ مع تأخر قوي.

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream.payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

5) التجميعات الحكومية و CEP

المفتاح: «user _ id»، «device _ id»، «payment». account_id'.
الحالة: المبالغ/العدادات المنزلقة، الجلسات، مرشحات الإزهار للتفريغ.
أنماط CEP: الهيكلة (<العتبة، ≥N مرات، لكل نافذة T)، تبديل الجهاز، إجهاد RG.

python if deposits.count(last=10MIN) >= 3 and deposits.sum(last=10MIN) > THRESH and all(d.amount < REPORTING_THRESHOLD):
emit_alert("AML_STRUCTURING", user_id, window_snapshot())

6) مرة واحدة بالضبط، النظام والغباء

الحافلة: توفر مفاتيح التقسيم مرة واحدة على الأقل + النظام المحلي.
Idempotence: 'event _ id' + dedup state (TTL 24-72 h).
المغسلة: التزامات المعاملات (مرحلتان) أو الانزعاج/الاندماج-الخصوصية.
Outbox/Inbox: النشر المضمون لأحداث المجال من OLTP.

7) الإثراء في الوقت الفعلي

البحث: Redis/Scylla (حدود RG، حالة KYC، BIN→MCC، IP→Geo/ASN).
المكالمات غير المتزامنة: العقوبات/APP API مع المهلات والاحتياطي («غير معروف»).
FX/timesone: تطبيع الكميات ووقت السوق المحلية ('fx _ source', 'tz').

8) واجهات المتاجر في الوقت الفعلي

ClickHouse/Pinot/Druid: التجميعات بالدقائق/الثواني، المشاهدات المجسدة.
التيار الذهبي: الجداول التشغيلية GGR/RG/AML، SLA للتأخير ≤ 1-5 دقائق.
API/GraphQL: زمن انتقال منخفض للوحات القيادة والتكامل الخارجي.

sql
CREATE MATERIALIZED VIEW mv_ggr_1m
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(event_time)
ORDER BY (toStartOfMinute(event_time), market, provider_id) AS
SELECT toStartOfMinute(event_time) AS ts_min,
market,
provider_id,
sumState(stake_base) AS s_stake,
sumState(payout_base) AS s_payout
FROM stream.game_events
GROUP BY ts_min, market, provider_id;

9) إمكانية الرصد و SLO

• p95 ingest→alert ≤ 2 s (حرجة)، ≤ 5 s (رصيد).
• اكتمال نافذة T ≥ 99. 5%.
• أخطاء المخطط ≤ 0. 1%; النسبة المئوية للأحداث مع «تتبع معرف» ≥ 98٪.
• توافر خدمة البث ≥ 99. 9%.

• تأخر الحفلة/الموضوع، مشغلي الوقت المزدحم، حجم الدولة.
• قمع «sobytiye→pravilo→keys»، خريطة مفاتيح «ساخنة»، نسبة متأخرة.
• التكلفة: التكلفة/جيجابايت، التكلفة/الاستفسار، تكلفة نقاط التفتيش/عمليات الإعادة.

10) الخصوصية والامتثال

تقليل PII: الاسم المستعار للمعرف، والإخفاء الميداني، وترميز PAN/IBAN.
الإقامة في البيانات: خطوط الأنابيب الإقليمية (EEA/UK/BR)، مفاتيح التشفير الفردية.
العمليات القانونية: DSAR/RTBF على واجهات المتاجر النهائية، Legal Hold للقضايا/التقارير.
التدقيق: سجلات الوصول، أرشيف الحلول الذي لا يتغير.

11) الاقتصاد والإنتاجية

المفاتيح والشحن: تجنب المفاتيح «الساخنة» (التمليح/المفتاح المركب).
الشرط: TTL معقول، لقطات، ضبط RocksDB/الحالة الخلفية.
Preaggregation: تقليل مقدمًا للتدفقات الصاخبة.
أخذ العينات: يسري على المقاييس غير الحرجة (وليس على المعاملات/الامتثال).
رد التكاليف: ميزانيات المواضيع/الوظائف والحصص وتخصيص الفريق.

12) بث DQ (الجودة)

Intest-veridation (schema, enums, size), dedup '(event_id, source)'.
في التيار: الاكتمال/معدل dup/النسبة المتأخرة، التحكم في النوافذ (لا يوجد عد مزدوج).
سياسات رد الفعل: تنبيه حرج → DLQ + ؛ بطاقة → رئيسية/ثانوية ثم واضحة.

yaml stream: payments rules:
- name: schema_valid type: schema severity: critical
- name: currency_whitelist type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: dedup_window type: unique keys: [event_id]
window_minutes: 1440

13) أمن الوصول ومراقبة الإفراج

RBAC/ABAC: أدوار منفصلة لقراءة الخيوط وتغيير القواعد/النماذج.
التحكم المزدوج: نشر القواعد والنماذج من خلال «مفاتيح 2».
الكناري/A/B: القاعدة المظلمة وتشغيل النموذج، التحكم الدقيق/الاستدعاء.
الأسرار: KMS/CMK، التناوب المنتظم، حظر الأسرار في السجلات.

14) العمليات و RACI

R (مسؤول): منصة البث (infra/releases)، Domain Analytics (القواعد/الميزات)، MLOps (التسجيل).
ألف (مسؤول): رئيس قسم البيانات/المخاطر/الامتثال حسب المجال.
C (استشاري): DPO/Legal (PII/Revention), SRE (SLO/Incidences), Architecture.
أنا (مطلع): المنتج والدعم والتسويق والتمويل.

15) خارطة طريق التنفيذ

1. كافكا/ريدباندا + موضوعان مهمان («المدفوعات»، «أوث»).

2. وظيفة فلينك مع علامة مائية وتفريغ وقاعدة CEP واحدة (AML أو RG).

3. ClickHouse/Pinot يعرض 1-5 دقائق، لوحات القيادة تأخر/اكتمال.

4. قناة الحوادث (webooks/Jira)، SLOs الأساسية والتنبيهات.

• الإثراء عبر الإنترنت (Redis/Scylla)، متجر الميزات، عمليات البحث غير المتزامنة.
• إدارة القواعد كرمز، إصدارات الكناري، A/B.
• تدفق DQ، وإضفاء الطابع الإقليمي على خطوط الأنابيب، وإجراءات DSAR/RTBF.

• محاكاة إعادة التشغيل النشطة متعددة المناطق، المعايرة الذاتية للعتبات.
• عروض التيار الذهبي الكامل (GGR/RG/AML)، والإبلاغ في الوقت الفعلي تقريبًا.
• لوحات القيادة القيمة، رد التكاليف، تمارين DR.

16) أمثلة (شظايا)

sql
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY event_time
MEASURES
FIRST(A.device_id) AS d1,
LAST(B.device_id) AS d2,
COUNT() AS cnt
PATTERN (A B+)
DEFINE
B AS B.device_id <> PREV(device_id) AND B.ip_asn <> PREV(ip_asn)
) MR

java if (seenStore.putIfAbsent(eventId, now()) == null) {
context.forward(event);
}

17) قائمة مرجعية قبل البيع

• المخططات والعقود في قلم المحكمة، اختبارات الكومبات الخلفية خضراء.
• تشمل العلامة المائية/التأخير المسموح به، والتخلص، و DLQ.
• ضبط SLO والتنبيهات (تأخر/تأخر/dup/حجم الولاية).
• الإثراء بالمخابئ والمهل، احتياطي «غير معروف».
• RBAC/التحكم المزدوج في القواعد/النماذج، يتم تسجيل جميع التغييرات.
• القواعد وواجهات المحلات ووثائق كتيب التشغيل وإعادة التشغيل/التراجع.

18) الأخطاء المتكررة وكيفية تجنبها

تجاهل وقت الحدث: بدون علامات مائية، «تطفو» المقاييس.
لا تفريغ: تنبيهات كاذبة وعد مزدوج.
المفاتيح الساخنة: تشويه الأطراف → التمليح/إعادة الشحن.
واجهات برمجة التطبيقات الأمامية المتزامنة في المسار الساخن: async + cache فقط.
التكلفة غير المدارة: عمليات ما قبل التنفيذ، وتقارير TTL، والحصص، ولوحات التحكم في التكاليف.
نقص جهاز المحاكاة: يؤدي الطرح بدون «إعادة التشغيل» إلى التراجع.

19) مسرد (موجز)

CEP - معالجة الأحداث المعقدة.
العلامة المائية - حد الاستعداد للنافذة حسب وقت الحدث.
سمح بالتأخر - التسامح مع الأحداث المتأخرة.
عامل الدولة - مشغل مع دولة محفوظة.
متجر الميزات - تصفح الميزات المنسقة (عبر الإنترنت/غير متصل بالإنترنت).

20) خلاصة القول

تحليلات البث والبث هي نظام مُدار: العقود والنوافذ والعلامات المائية والمنطق الفذ و CEP والإثراء وواجهات المتاجر في الوقت الفعلي و SLO وقابلية الملاحظة والخصوصية والقيمة تحت السيطرة. من خلال اتباع الممارسات الموصوفة، تتلقى المنصة أجهزة كشف مخاطر موثوقة، ولوحات تشغيلية، وتخصيص بوقت وتكلفة يمكن التنبؤ بهما.