شبكة البيانات: نموذج البيانات الفيدرالية

(القسم: التكنولوجيا والهياكل الأساسية)

موجز موجز

Data Mesh هو نموذج تنظيمي وتقني حيث يتم التعامل مع البيانات كمنتجات لفرق المجال، والدور المركزي للمنصة هو توفير الخدمة الذاتية والمعايير والامتثال. بالنسبة إلى iGaming، هذا يعني: يمتلك فريق المدفوعات «Educit Events' و» Net Deposits Mart'، ويمتلك فريق Risk «إشارات الاحتيال»، وتمتلك Games «Bet Events' و» Leaderboards'، وتوفر المنصة المركزية كتالوجًا، ومخطط العقود، والوصول، ومراقبة الجودة، ومراقبة الجودة، والزعانيات، والزعانيات، وتدفق الأدوات ELT.

1) مبادئ شبكة البيانات

1. مسؤولية المجال: يمتلك كل مجال (المدفوعات والمخاطر والألعاب و KYC/Compliance و CRM و Absiliate) مجموعات بياناته ودورة حياتها.
2. البيانات كمنتج: لكل مجموعة مالك ووصف و SLO والوصول إلى SLA والتوثيق والإصدار والتعليقات وخارطة الطريق.
3. منصة الخدمة الذاتية: ابتلاع/تحويل/خدمة خطوط الأنابيب القياسية، والقوالب، والأمن الافتراضي، والدليل وقابلية الملاحظة.
4. الإدارة الموحدة: المعايير الموحدة للمخططات، والمقاييس، ومؤشر الاستثمار الدولي/التوطين والجودة - في المركز ؛ والتنفيذ والتطور - في المجالات.

2) نموذج التشغيل والأدوار

مالك منتج بيانات المجال (DPO): تحديد الأولويات، SLO، تراكم تحسينات منتجات البيانات.
مهندس بيانات المجال/مهندس تحليلات: التخطيطات، خطوط الأنابيب، اختبارات DQ، الإصدار.
Domain Steward: field semantics, conspondence to the metrics dictionary and PII classification.
فريق المنصة: كتالوج، IAM/RBAC، Policy-as-Code، صيغ الجداول (Delta/Iceberg/Hudi)، التنسيق، إمكانية المراقبة، الزعانف.
مجلس الحوكمة الموحد: يوافق على المعايير (المخططات والمقاييس والأمن)، ويحل المنازعات عبر المجالات.

3) «منتج البيانات» - جواز السفر والتحف

• العقد (المخطط، الأنواع، التطور، التوافق).
• الوصول إلى واجهة برمجة التطبيقات (SQL/table, topic/stream, file/share).
• SLA/SLO (النضارة، التوافر، الجودة).
• اختبارات DQ (التفرد والنطاقات والنزاهة المرجعية).
• الوثائق (وصف الميادين، أمثلة الطلبات، المالك، الاتصال).
• Versioning (مخططات الإصدار الدلالي، سياسة الاستنكار).
• السياسات (تحديد المواقع، والاحتفاظ/TTL، والحقوق).

نموذج جواز السفر (YAML، مثال)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) قابلية التشغيل البيني والمعايير

المخططات/العقود: Avro/Protobuf/JSON-Schema + Schema Registry ؛ سياسة المقارنة الخلفية، لا تغييرات كسر بدون نسخة رئيسية جديدة.
الطبقة الدلالية: التعريفات الموحدة لـ GGR و NGR و Net Deposits و LTV والأفواج - كرمز (dbt metrics/semantic layer).
المعرفات: 'player _ id' العالمية، 'المستأجر _ id'، 'bet _ id'، أدلة موحدة للبلد/العملة/المزود.
البيانات الوصفية: الأعمدة المطلوبة 'interst _ ts' و' schema _ version 'و' trace _ id 'و' source 'و' region '.
الوصول: SQL (lakehouse/OLAP)، التيار (كافكا/بولسار)، تقاسم الجدول/اللقطات ؛ تنسيق التبادل هو Parquet/Delta/Iceberg.

5) المعيار المرجعي للعملية (غير ملائم للبائعين)

Inster: Outbox/CDC из OLTP → Kafka → Lakehouse (برونزي).
تحويل: ELT/dbt в Silver/Gold ؛ «الدمج» التدريجي، SCD، حالات عرض المواد.
التقديم: OLAP (ClickHouse/BigQuery/Snowflake)، RT- движки (Pinot/Druid) для في الوقت الفعلي تقريبًا.
الكتالوج/النسب: فهرس واحد، التوثيق التلقائي، الرسم البياني التبعية.
قابلية الملاحظة: مقاييس النضارة/SLO، تأكيد DQ، تأخر التيار، التكلفة.
السياسات: IAM/RBAC/ABAC، التشفير، التوطين (توجيه بيانات المنطقة).

6) SLO/SLA لمنتجات البيانات

• النضارة: أحداث الرهانات (ص 95) ≤ 5 мин ؛ إشارات الاحتيال ≤ 30 ثانية ؛ صافي الودائع مارت ≤ 15 دقيقة.
• التوافر: ≥ 99. 9٪ للواجهات المقروءة.
• الجودة: تكرار ≤ 0. 01٪، حصة الحقول الفارغة المطلوبة ≤ 0. 1٪، اتساق العملة 100٪.
• التكلفة SLO: تكلفة مسح النوافذ ≤ $ N/day، نسبة الملفات الصغيرة <10٪.

7) السلامة و PII والتوطين

التصنيف: PII/حساس مالي/تشغيلي.
التدابير التقنية: التشفير أثناء الراحة/العبور ؛ وإضفاء الطابع الرمزي على المبادرة ؛ وأعمدة إخفاء ؛ مرشحات على مستوى الصف بواسطة «مستأجر _ معرف».
التوطين: تنشر منتجات النطاقات في المناطق المأذون بها (EU/TR/LATAM) ؛ التشارك عبر الحدود - وحدات فقط بدون PII.
مراجعة الحسابات: من نشر/قرأ ؛ طلبات تصعيد حقوق إصدار المخطط - من خلال الموافقة.

8) FinOps وإدارة القيمة

الميزانيات حسب المجال: حدود الحساب، تنبيهات الإنفاق الزائد.
التخزين: فئات تخزين + TTL (قصيرة برونزية، وسيطة فضية، ذهبية طويلة/مجاميع).
تحسين الاستعلام: التقسيمات/التجميع، الآراء المجسدة، ذاكرة التخزين المؤقت للنتائج.
الملفات الصغيرة: سياسات الدمج/التحسين الأمثل ؛ حجم الملف المستهدف هو 128-1024 ميجابايت.

9) دورة الحياة والتطور

الإصدار: "المجال. المنتج. v {major} '; حقول ثانوية - كومبوت خلفي.
رفض: إشعار المستهلك، فترة «السكك الحديدية الثنائية»، تنبيهات تلقائية للإصدارات القديمة.
تغييرات المخطط: سحب طلب إلى مستودع عقود ؛ اختبارات التوافق CI ؛ AutoPublish to Catalog.
التعليقات: قناة المنتج (متتبع الإصدارات)، NPS للمستهلك، وقت الاستجابة للحوادث.

10) تجسيد iGaming - النطاق وخريطة المنتج

المدفوعات

المدفوعات. psp. خطوط الويب. v1 '(تيار)

'mart _ net _ deposits _ daily. v1 '(SQL) - نضارة SLO ≤ 15 دقيقة ؛ خالية من PII

الألعاب

'الرهانات. الأحداث. v1 '(تيار/SQL) - p95 ≤ 5 دقائق

'mart _ gr _ يوميا. v1 '(SQL/MV) - المجاميع حسب البلد/اللعبة

المخاطر/مكافحة الاحتيال

'خطر. إشارات. v1 '(تيار) - 95 ≤ 30 ثانية

مخاطرة. case_mgmt. v1 '(SQL) - تاريخ التحقيق SCD2

CRM/التخصيص

'crm. المحفزات. v1 '(تيار) - مشغلات القطاع

'profile. ميزات. على الإنترنت. v1 '(KV/SQL) - ميزات عبر الإنترنت (TTL)

KYC/الامتثال

'kyc. (). v1 '(SQL) - سياسات PII محمية على مستوى الصف

"مسؤول _ ألعاب. الأحداث. v1 '(تيار) - حدود/إشارات

11) عمليات المنصة والتحف

Directory: search by domain/fields/PII labels, preview of stagrams and examples.
مولدات القوالب: جهاز طهي لمنتج جديد (جواز سفر، CI، اختبارات DQ، لوحة تحكم SLO).
السياسة في شكل مدونة: قواعد التصدير، المبادرة الدولية لتبادل المعلومات بين المناطق.
إمكانية الملاحظة: لوحات القيادة الجاهزة: النضارة، أخطاء DQ، التكلفة، النسب، تأخر التيار.
دفاتر التشغيل: حوادث النضارة/DQ/المخططات، استنكاف الطوارئ، التراجع عن الإصدارات.

12) الهجرة إلى شبكة البيانات (خارطة الطريق)

1. حصر مجموعات البيانات الحالية → التجميع حسب المجال.
2. نطاقات تجريبية 2-3 (المدفوعات والألعاب والمخاطر) - يتم إصدارها كمنتجات بجوازات السفر.
3. الفهرس والمعايير: المخططات، والمقاييس، و PII/التوطين، DQ.
4. الخدمة الذاتية: نماذج خطوط الأنابيب، CI/CD، رصد SLO.
5. قطع معارض متجانسة إلى فرن انفجار ؛ دعم «ثنائي السكك الحديدية» للواجهات القديمة.
6. المجلس الاتحادي - الدورات العادية، استعراض تغييرات العقود.
7. مقياس إلى CRM/الشركات التابعة/التسويق، ثم Partner Share.

13) قائمة التنفيذ المرجعية

المجالات المحددة ؛ وتعيين المالكين وقنوات الاتصال.
بدأ الدليل ؛ وينشر جواز سفر كل منتج.
المخططات - في مستودع العقود ؛ CI اختبار التوافق/DQ.
وأعلن جيش تحرير السودان/جيش تحرير السودان ؛ تتوفر لوحات معلومات النضارة/DQ/التكلفة.
PII/سياسات التوطين - المدونة ؛ تمكين مراجعة الحسابات.
FinOps: الميزانيات، التنبيهات، التكلفة حسب تقرير المجال.
عملية إصدار الوثائق/الإيداع - موثقة وآلية.
دفاتر الحوادث - متوفرة ومدربة (يوم اللعبة).

14) أنتيباترن

«أعيدت تسمية Data Mesh، ولكن كل ذلك من خلال أمر البيانات المركزي» - لم يتم القضاء على الرقبة الضيقة.
يختلف عدم وجود قاموس واحد للمقاييس → GGR/NGR بين المجالات.
المخططات بدون عقود واختبارات التوافق → «كسر» الإصدارات.
لا توجد خدمة ذاتية → يتم إنشاء كل جدول يدويًا، ووقت مرتفع للبيانات.
تجاهل المبادرة/التوطين في التشارك عبر الأقاليم.
منتجات صغيرة بدون مالكين/SLO - بيانات «مهجورة».

15) نجاح شبكة البيانات KPI

Time-to-Data: from idea to available data product (median ↓).
إعادة الاستخدام: عدد المجالات الاستهلاكية لكل منتج.
الجودة: حصة من فحوصات DQ الناجحة، عيوب لكل مليون حدث.
الموثوقية: امتثال SLO للنضارة/التوافر.
التكلفة: دولار/طلب/مستخدم، حصة من الملفات الصغيرة، التخلص من الحساب.
معدل التغيير: إصدارات الدائرة/واجهة المحل في الأسبوع.

موجز

Data Mesh ليست تقنية فحسب، بل هي أيضًا اتحاد نطاق مُدار، حيث البيانات عبارة عن منتجات مع مالكيها و SLO والعقود ومقاييس الجودة. في iGaming، يزيل هذا النهج الرقاب الضيقة، ويسرع التكامل (مكافحة الاحتيال، والمدفوعات، و CRM)، ويحسن شفافية المقاييس (GGR/NGR/LTV) ويتحكم في التكلفة. قم ببناء منصة قوية للخدمة الذاتية، وتقديم معايير اتحادية وثقافة البيانات كمنتج، ومقياس النظام البيئي التحليلي الخاص بك مع الأعمال - دون فقدان الجودة أو السرعة أو الامتثال.