معالجة الإشارات في الوقت الحقيقي

1) الغرض والقيمة التجارية

• Antifraud/AML: هيكلة الرواسب، «التفكير»، هجمات السرعة.
• الألعاب المسؤولة (RG): تجاوز الحدود، أنماط الخطر للسلوك.
• المخاطر/الامتثال: فحص التسجيل/عقوبة المعاملات عبر الإنترنت.
• التخصيص: المكافأة/محفزات المهمة، الحملات التفاعلية.
• العمليات/SRE: تدهور جيش تحرير السودان، وفورات الأخطاء، وشذوذ المقاييس.

الأهداف الرئيسية: الكمون المنخفض (الفقرة 95 0. 5-5 ث)، اكتمال عالي (≥99. 5٪)، مقاومة زيادة.

2) تصنيف الإشارة

المعاملات: الدفع. الإيداع/السحب/رد التكاليف '.
الألعاب: 'لعبة. الرهان/الدفع «،» لعبة. session_start/stop'.
المصادقة: «مصادقة. تسجيل الدخول/فشل»، تغيير الجهاز/geo.
السلوك: معدل الرهانات، النمو الهائل للكمية، النشاط الليلي.
غرف العمليات: 'api. الكمون '،' خطأ. معدل، «عاصفة» من القلوب تستأنف.

يحتوي كل نوع على مخطط ومالك مجال وحرجية و SLO وقواعد بيانات متأخرة.

3) بنية مرجعية الحلقة في الوقت الفعلي

1. Inster and bus: HTTP/gRPC → Edge → Kafka/Redpanda (التقسيم بواسطة «المستخدم _ المعرف/المستأجر»).
2. البث - движок: Flink/Spark Structured Streaming/Beam ؛ بيانات الدولة، CEP.
3. الإثراء عبر الإنترنت: جداول البحث (Redis/Scylla/ClickHouse Read-Only)، ذاكرة التخزين المؤقت لمزود الخدمة (العقوبات/CUS).

• مواضيع/إشارة تنبيه (إدارة الحالات، SOAR).
• Fichestor online (نماذج التسجيل).
• معارض التيار الذهبي (لوحات القيادة التشغيلية).
• تخزين «دافئ» للتحليلات السريعة (ClickHouse/Pinot/Druid).
• 5. الأرشيف/الطب الشرعي: طي غير قابل للتغيير في بحيرة (باركيه، السفر عبر الزمن).
• 6. إمكانية الرصد: التعقب/المقاييس/السجلات + النسب.

4) النوافذ والعلامات المائية و «البيانات المتأخرة»

• الانهيار: النوافذ الثابتة (على سبيل المثال 1 دقيقة) - مجاميع بسيطة.
• التنقل: التداخل (على سبيل المثال الخطوة 30، النافذة 2 دقيقة) - مقاييس «ناعمة».
• الجلسة: فجوات الخمول - التحليل السلوكي.
• العلامات المائية: حدود «معرفة الوقت» لوقت الحدث ؛ السماح بالتأخير (على سبيل المثال 2 دقيقة).
• الاستراتيجيات المتأخرة: قضية إضافية للتعديلات، الحاشية «متأخرة = حقيقية»، DLQ.

5) بيانات الدولة والتفريغ

المفتاح: بواسطة "user _ id"، "الدفع. account_id', "device _ id'.
الحالة: المضافات، العدادات المنزلقة، مرشحات الإزهار للغباء.
Dedup: storing '(event_id, seen_at)' in state/kv; TTL = 24-72 ساعة.
بالضبط مرة واحدة: حوض المعاملات و (مرحلتان)، عمليات مزعجة غبية.

6) إثراء التيار

أفراح البحث: حدود RG، معدل مخاطر المستخدم، مستوى KYC، geo/ASN.
المكالمات غير المتزامنة: سجل الجزاءات/مقدمو خدمات مكافحة الاحتيال (async I/O، المهلات والاحتياطي).
تطبيع العملة/المنطقة الزمنية: التوحيد في التوقيت العالمي المنسق والعملة الأساسية ؛ إصلاح 'fx _ source'.

7) CEP: الكشف عن الأنماط المعقدة

• الهيكلة: ≥3 الإيداع لمدة 10 دقائق، كل منها <عتبة الإبلاغ، المجموع> X.
• تبديل الجهاز: 3 أجهزة مختلفة في 15 دقيقة + تغيير IP/ASN.
• إجهاد RG: إجمالي الرهانات لمدة 1 ساعة> حد + خسارة ≥ Y.
• Ops-storm: p95 latency> 2 × base، 5xx> 3٪ في نافذة 5 دقائق.

يتم التعبير عن CEP بشكل ملائم في Flink CEP/SQL أو مكتبات نموذج الحدث.

8) الميزات والنماذج عبر الإنترنت

خطوط الأنابيب المميزة: العدادات، مقاييس السرعة، «الوقت منذ الحدث الأخير»، مشاركة المحفظة.
الاتساق عبر الإنترنت/خارج الإنترنت: قاعدة رموز تحويل واحدة ؛ اختبارات الانتقال.
تحديد الدرجات: نماذج خفيفة (لوجيت/جبديت) بشكل متزامن ؛ ثقيلة - بشكل غير متزامن من خلال قائمة الانتظار.
التحكم في الانحراف: PSI/KS والإنذارات ؛ «إطلاق مظلم» لنماذج جديدة.

9) ضمانات وإجراءات التسليم

مرة واحدة على الأقل في الإطار + الغباء في حفل الاستقبال.
يوفر التقسيم الرئيسي أمرًا محليًا.
Retries & backspressure: retrays أسية مع التحكم في الضغط التلقائي.

10) SLO/SLI (موصى به)

11) إمكانية ملاحظة الكنتور في الوقت الفعلي

مقاييس خط الأنابيب: الإنتاجية، التأخير لكل قسم، الوقت المزدحم، مدة نقطة التفتيش.
جودة الإشارة: الاكتمال، معدل الازدواجية، النسبة المتأخرة.
لوحات القيادة: خريطة حرارية للتأخيرات حسب الموضوع، قمع تنبيه (sobytiye→pravilo→keys)، خريطة مفتاح ساخنة.
التعقب: تنبيه مرتبط ببدء الأحداث (trace_id).

12) الأمن والخصوصية

تقليل مؤشر الاستثمار الدولي: ترميز محددات الهوية، وإخفاء الحقول الحساسة.
الإقامة الجغرافية: ناقلات إقليمية (EEA/UK/BR).
التدقيق: سجلات قرارات غير قابلة للتغيير (من، ماذا، لماذا)، Legal Hold للقضايا.
الوصول: RBAC إلى القواعد/النماذج، والتحكم المزدوج في عمليات الانطلاق.

13) التكلفة والأداء

المفاتيح الساخنة: إعادة التوزيع (تمليح المفاتيح)، المفاتيح المركبة.
الشرط: TTL معقول، تجسيد تدريجي، ضبط RocksDB.
النوافذ: الحجم الأمثل والتأخر المسموح به ؛ طبقات ما قبل التجميع للتيارات «الصاخبة».
أخذ العينات: بشأن التدفقات غير الحرجة وعلى المستوى المتري (وليس بشأن المعاملات/الامتثال).

14) أمثلة (مبسطة)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) العمليات و RACI

R (مسؤول): منصة البث (معلومات، حالة، إصدارات)، Domain Analytics (قواعد/ميزات).
ألف (خاضع للمساءلة): رئيس قسم البيانات/المخاطر/الامتثال حسب مجالاتها.
C (استشاري): DPO/Legal (PII/Revention), SRE (SLO/Incidences), Architecture.
I (مطلع): المنتج/الدعم/التسويق.

16) خارطة طريق التنفيذ

1. 2-3 إشارات حرجة (على سبيل المثال الدفع. إيداع '،' auth. تسجيل الدخول، 'لعبة. الرهان ').

2. كافكا + فلينك، التخلص الأساسي والعلامة المائية ؛ قاعدة CEP واحدة لمكافحة الاحتيال وواحدة لـ RG.

3. ClickHouse/Pinot لواجهات المحلات التشغيلية ؛ لوحات القيادة تأخر/اكتمال.

4. قناة الحوادث (webhook/Jira) والفرز اليدوي.

• fichestor، سجل النماذج الخفيفة ؛ المراقبة غير المتزامنة (الجزاءات/قانون العقوبات).
• إدارة القواعد كرمز، قوائم الكناري، قواعد A/B.
• الهيكلة الإقليمية وضوابط مؤشر الاستثمار الدولي، عقد قانوني للقضايا.

• كتالوج الإشارة، التوليد التلقائي للوثائق، إعادة التشغيل ومحاكي ماذا لو.
• المعايرة التلقائية للعتبات (Bayesian/quantile)، مقاييس الدقة/الاستدعاء عبر الإنترنت.
• تمارين DR، نماذج نشطة متعددة المناطق، رد التكاليف حسب الأمر.

17) قائمة مراجعة الجودة قبل البيع

• المخططات والعقود، والتحقق من صحتها.
• النوافذ المكونة، العلامات المائية، تسمح بالتأخير + DLQ.
• Dedup and idempotent sink 'i.
• مقاييس حجم التأخر/الإنتاجية/الولاية، تنبيهات SLO.
• الأمن: RBAC على القواعد/النماذج، إخفاء PII.
• الوثائق: المالك، SLO، أمثلة، خرائط التبعية.
• إجراءات التراجع وزر الإفريز.

18) الأخطاء المتكررة وكيفية تجنبها

تجاهل وقت الحدث: استخدم العلامات المائية، وإلا فإن المقاييس «ستنزلق».
لا يوجد تفريغ - ستنتج التكرارات تنبيهات كاذبة → نوع الخصوصية.
المفاتيح الساخنة: تشويه الأطراف → التمليح/إعادة الشحن.
النوافذ صعبة للغاية: فقدان → المتأخرة يسمح بالتأخير + الانبعاثات التصحيحية.
مزج PII: ترميز منفصل وتدفق تحليلي.
لا يوجد جهاز محاكاة: اختبر قواعد «إعادة التشغيل» قبل طرحها.

19) مسرد (موجز)

CEP - معالجة الأحداث المعقدة، كشف النمط.
علامة مائية - عتبة زمنية لاستعداد النافذة.
سمح بالتأخير - قبول الأحداث المتأخرة.
عامل الدولة هو مشغل دائم.
متجر الميزات - تخزين خصائص الإنترنت/غير متصل لـ ML.

20) خلاصة القول

معالجة الإشارات في الوقت الفعلي هي خط أنابيب خاضع للرقابة مع دوائر ونوافذ وعلامات مائية واضحة ومنطق ثابت وإثراء عبر الإنترنت ومنظمات SLO صارمة. من خلال اتباع هذه الممارسات، تحصل على أجهزة كشف مخاطر سريعة وموثوقة، ومحفزات التخصيص المستدام ولوحات القيادة التشغيلية التي تتسع باعتدال وتوافقًا.