البث

ما هو البث

البث هو رد فعل مستمر على التسلسلات اللامتناهية للأحداث (سجل المعاملات، النقرات، المدفوعات، القياس عن بعد)، مع الحد الأدنى من التأخير وضمان صحة الحالات. على عكس الدفعة، حيث «نأخذ كل ما تم تراكمه خلال الفترة»، يعالج التدفق البيانات فور وصولها، ويحافظ على الحالة ويأخذ في الاعتبار وقت الحدث.

المفاهيم الرئيسية

الحدث هو حقيقة ثابتة مع «حدث _ وقت» و «حدث _ معرف» فريد.
وقت الحدث مقابل وقت المعالجة - الأول يأتي من المصدر، والثاني - عندما شاهد المشغل الحدث بالفعل.

• السقوط، القفز/الانزلاق، الجلسة.
• العلامات المائية - تقييم أن «الأحداث قبل T قد وصلت بالفعل»، مما يسمح لك بإغلاق النوافذ والحد من انتظار البيانات المتأخرة.
• التأخر - الأحداث التي تقل فيها «الحدث - الوقت» عن العلامة المائية الحالية ؛ وكثيرا ما تطبق قواعد الانتهاء.
• الدولة - الجداول المحلية/حالة المفاتيح للمجموعات، والانضمام، والتفريغ.
• الضغط الخلفي - الضغط عند تجاوز إنتاجية المصب ؛ عن طريق البروتوكول والمخزونات المؤقتة.

الأساس المعماري

1. المصدر: وسيط الأحداث (كافكا/ناتس/بولسار)، مركز السيطرة على الأمراض من DB، قوائم الانتظار، الملفات/جامعي السجلات.
2. محرك البث: يحسب النوافذ والمجمعات والأفراح والأنماط (CEP) ويدير الدولة ونقاط التفتيش.
3. المغسلة: قاعدة بيانات OLTP/OLAP، محرك البحث، ذاكرة التخزين المؤقت، المواضيع، مخازن العروض/التقارير.
4. سجل المخطط: التحكم في تطور الحمولة وتوافقها.
5. إمكانية الرصد: المقاييس، والتعقب، وجذوع الأشجار، ولوحات القيادة الخاصة بالتخلف، والعلامات المائية.

دلالات الوقت والنظام

تفضل دائمًا وقت الحدث: هذا هو الثابت الوحيد للتأخير والانقطاع.
يمكن أن تخرج الأحداث عن النظام ؛ النظام مضمون فقط داخل مفتاح الحزب.

• وإغلاق النوافذ وإصدار النتائج ؛
• الحد من «مقدار ما ننتظره» الأحداث المتأخرة («المسموح بها _ التأخير»).
• بالنسبة للأحداث المتأخرة، استخدم التراجعات/الاضطرابات: إعادة حساب المجاميع والأحداث التصحيحية.

الحالة والموثوقية

حالة المفتاح: يتم خلط بيانات المجاميع (المبالغ والعدادات وهياكل التفريغ) بواسطة المفاتيح.
نقطة تفتيش/Savepoint - لقطات دورية للحالة للاسترداد ؛ savepoint - لقطة مدارة لهجرات إصدار الرمز.

• المعاملات «قراءة ومعالجة الكتابة» (التزم بالمغسلة + قراءة الموقف) ؛
• البواليع الخفية (المزعجة/المدمجة) + جداول التثبيت ؛
• بتحرير المجاميع (تزامن متفائل).

ويندوز، تجميعات، انضم

• الانهيار: تقارير دورية بسيطة (دقيقة، ساعة).
• القفز/الانزلاق: مقاييس «الانزلاق» (في 5 دقائق بزيادات دقيقة واحدة).
• الجلسة: طبيعية للجلسات المخصصة ومكافحة الاحتيال.
• التجميعات: المجموع/العد/avg/شبه متميز (HyperLogLog)، المئوية (TDiest/CKMS).
• انضم Stream-Stream: يتطلب تخزين كلا الجانبين حسب المفتاح والوقت، واحترام «مسموح به _ منحرف».
• انضم (KTable) - إرفاق دليل أو الحالة الحالية (على سبيل المثال، «حدود المستخدم النشطة»).

العمل بالبيانات المتأخرة والمكررة

التفريغ: بواسطة 'event _ id' or '(producer_id, sequence)' ؛ قم بتخزين المفاتيح «المرئية» مع TTL ≥ نافذة إعادة.
الأحداث المتأخرة: اسمح بمعالجة النافذة بعد «X» بعد الإغلاق (التراجعات/الاضطرابات).
تكرارات خاطئة: ضبط المجاميع بشكل خفي وإصلاح «ALREADY_APPLIED» في السجلات.

الحجم والأداء

الشظايا الرئيسية: توفر التوازي ؛ راقب المفاتيح الساخنة.
الضغط الخلفي: الحد من التوازي، واستخدام الدفعات والضغط عند النشر.
العلامات المائية: لا تكن عدوانيًا للغاية - فالعلامات المائية الصلبة تقلل التوقع ولكنها تزيد من نسبة التحديثات المتأخرة.
الحالة: اختيار الشكل (RocksDB/state store/in memory) مع مراعاة الحجم وأنماط الوصول ؛ تنظيف TTL.
القياس التلقائي: حسب التأخر، وحدة المعالجة المركزية، حجم الولاية، وقت GC.

الموثوقية وإعادة التشغيل

فالمغسلة الخفية أو الصفقة الملتزمة بالتثبيت التعويضي هي أساس الصواب.
ويسمح بإعادة المعالجة بعد إعادة التشغيل ؛ يجب أن يبقى التأثير «مرة واحدة بالضبط».
DLQ/ساحة انتظار السيارات: إرسال سجلات المشاكل إلى خيط منفصل مع الأسباب ؛ إعادة المعالجة.

إمكانية الرصد (ما يجب قياسه)

التأخر حسب المصدر (حسب الوقت والرسالة).
وقت الحدث المائي/الحالي ونسبة الأحداث المتأخرة.
متعهدو الإنتاجية/زمن الانتقال، p95/p99 من طرف إلى طرف.
حجم الدولة/rocksdb I/O، معدل/مدة نقطة التفتيش.
معدل DLQ، نسبة التفريغ/إعادة الطباعة.
وحدة المعالجة المركزية/GC/كومة، وقت التوقف.

السلامة والامتثال

تصنيف البيانات: ضع علامة على PII/PCI في الرسوم البيانية، وقم بتخزين الحد الأدنى، وتشفير الحالة واللقطات.
مراقبة الدخول: الرباط الصليبي الأمامي المنفصل لجداول المواضيع/الدولة وللبواليع.
الاحتفاظ: تمشيا مع المتطلبات القانونية (اللائحة العامة لحماية البيانات/الحق في النسيان).
مراجعة الحسابات: سجل 'event _ id'، 'trace _ id'، النتيجة: 'APPLED/ACCLUSED _ APPLED/RETRIEVED'.

أنماط التنفيذ

1. CDC → التطبيع → أحداث المجال: لا تبث تغييرات في قاعدة البيانات الأولية، وخريطة لحقائق الأعمال المفهومة.
2. Outbox للمنتجين: حقيقة المعاملات + حدث - في معاملة قاعدة بيانات واحدة.
3. Core vs Enriched: الحد الأدنى من الحمولة في التدفق الحرج، الإثراء - غير متزامن.
4. سهولة إعادة التشغيل: يجب إعادة تجميع الإسقاطات/العروض من السجل.
5. الخصوصية حسب التصميم: مفتاح التشغيل/الحدث، المخططات المزعجة، إصدارات المجاميع.

اختبار

الوحدة/الممتلكات: ثوابت التجميعات والتحولات.
اختبارات البث: تدفق حدث ثابت مع عدم الطلب ويكرر → النافذة وفحوصات التفريغ.
النوافذ الذهبية: النوافذ/المجاميع المرجعية والتعديلات المتأخرة المسموح بها.
حقن الخطأ: يقع بين «التأثير المسجل» و «التعويض الملتزم به».
اختبارات إعادة التشغيل: إعادة تجميع العرض من بداية السجل = الحالة الحالية.

التكلفة والتحسين

تؤثر النوافذ والعلامة المائية على زمن الوصول/الموارد: كلما طالت النافذة وكلما زاد «التأخير المسموح به»، زادت الحالة.
الترميز والضغط: توازن وحدة المعالجة المركزية/الشبكة.
إنتاج الدفعات: عدد أقل من المكالمات والمعاملات الشبكية.
الترشيح المبكر («الضغط»): التخلص من الفائض بالقرب من المصدر قدر الإمكان.

Antipatterns

ارتبط بوقت المعالجة حيث يلزم وقت الحدث → تحليلات غير صحيحة.
عدم التمكن في البواليع → تأثيرات مزدوجة عند إعادة التشغيل.
«المفاتيح الضخمة» العالمية: قسم ساخن يكسر التوازي.
مراكز السيطرة على الأمراض الخام كأحداث عامة: مخططات DB مسربة، هشاشة في التطور.
لا DLQ: الرسائل «السامة» تسد خط الأنابيب بأكمله.
تم إصلاح التأخير الصعب بدلاً من العلامة المائية: إما الانتظار الأبدي أو فقدان البيانات.

أمثلة على المجالات

المدفوعات/التمويل

دفع التيار. '، نوافذ لمكافحة الاحتيال (جلسة + CEP)، الجد بواسطة' operation _ id '.
تأثير مرة واحدة بالضبط عند نشره في دفتر الأستاذ المحاسبي (إصدار + مزعج).

التسويق/الإعلان

النوافذ المنزلقة من CTR/التحويلات، انضم إلى النقرات والانطباعات مع التسامح «± Δ t»، تجميع العطاءات.

خدمات iGaming/عبر الإنترنت

التوازن/الحدود في الوقت الحقيقي، والبعثات/الإنجازات (نوافذ الجلسات)، وأنماط مكافحة الغش والإنذارات.

قوالب مصغرة (رمز زائف)

نافذة بها علامات مائية وتحديثات متأخرة

pseudo stream
.withEventTime(tsExtractor)
.withWatermark(maxAllowedLag=2m)
.window(TUMBLING, size=1m, allowedLateness=30s)
.keyBy(user_id)
.aggregate(sum, retractions=enable)
.sink (upsert_table )//idempotent upsert by (user_id, window_start)

حوض المعاملات مع تثبيت التعويض

pseudo begin tx upsert target_table using event, key=(k)
update consumer_offsets set pos=:pos where consumer=:c commit

قائمة الإنتاج المرجعية

• تحديد وقت الحدث واستراتيجية العلامات المائية ؛ يتم اختيار النوافذ و «التأخير المسموح به».
• التزاما بالتعويض عن المصرف أو المعاملة الخاطئة.
• تمكين سجل المخطط وطرائق التوافق ؛ التطور الإضافي.
• المقاييس: تأخر، علامة مائية، p95/p99، DLQ، حجم الولاية، مدة نقطة التفتيش.
• الاختبارات: خارج النظام، تكرار، إعادة تشغيل، إعادة تشغيل.
• PII/سياسات الاحتفاظ بالولاية واللقطات.
• خطة التوسيع واستراتيجيات الضغط الخلفي.
• توثيق عقود النوافذ والتعديلات (التحديثات المتأخرة).

الأسئلة الشائعة

وقت الحدث المطلوب ؟

إذا كانت صحة المقاييس والاتساق مهمة، نعم. وقت المعالجة مناسب للحسابات/المراقبة الفنية، ولكنه يشوه التحليلات.

هل هو مطلوب مرة واحدة بالضبط ؟

النقطة: للتأثيرات الحرجة. في كثير من الأحيان، يكفي الحوض الخفي مرة واحدة على الأقل.

كيف تختار النوافذ ؟

البناء على اتفاقيات SLA للأعمال: «آخر 5 دقائق →» التنقل «، جلسات المستخدمين →» الجلسة «،» التقارير الدقيقة «→» تتدهور.

ماذا تفعل بالبيانات المتأخرة ؟

السماح بـ «التأخير المسموح به» المحدود وإصدار التعديلات (الانزعاج/التراجع). يجب أن يكون عرض العميل قادرًا على التحديث.

المجموع

بالإضافة إلى زمن الوصول المنخفض، يعد البث نظامًا للوقت والحالة والعقود. الاختيار الصحيح لوقت الحدث والنوافذ والعلامات المائية، بالإضافة إلى التأثيرات الخفية وقابلية الملاحظة والاختبارات، يجعل خط الأنابيب موثوقًا به وقابل للتكرار واقتصاديًا - ويمنح الشركات هنا والآن حلولًا، وليس كل ليلة أخرى.