مستودعات البيانات

1) غرض ودور DWH في iGaming

• التعاريف المترية المشتركة (GGR/NGR، ARPPU، Retention، Churn).
• تقارير قابلة للتكرار للجهات التنظيمية وأصحاب المصلحة الداخليين.
• واجهات المتاجر السريعة لألواح BI/التشغيل ومصادر النماذج.
• مراقبة الجودة والنسب والسلامة على مستوى المنصة.

2) الخيارات المعمارية

2. 1 كلاسيك DWH

ETL → DWH → BI.
الإيجابيات: نماذج يمكن التحكم فيها، تناسق قوي.
السلبيات: التنزيلات باهظة الثمن، والملء المعقد، والمرونة المحدودة.

2. 2 Lakehouse DWH

برونز/فضة/ذهب على طاولات ACID (دلتا/Iceberg/Hudi) + محرك SQL/MPP.
الإيجابيات: تخزين موحد، سفر عبر الزمن، إعادة معالجة بسيطة.
السلبيات: يتطلب انضباط الطبقات و DQ، التنسيق الناضج.

2. 3 هجين

Lakehouse باعتباره «مصدر الحقيقة» (البرونز/الفضة)، DWH-March في MPP (ClickHouse/Pinot/Druid/Cloud DWH) للقراءة عالية السرعة.
الإيجابيات: توازن التكلفة والأداء، واجهات المتاجر المرنة.
السلبيات: الدعم المزدوج للدوائر والتزلج، هناك حاجة إلى التزامن.

توصية: لـ iGaming - Lakehouse + DWH-March (هجين). البرونز/الفضة - توحيد، الماركات الذهبية/الفعلية - تقدم أحمال القراءة.

3) نمذجة البيانات

3. 1 نجمة وثلج

جداول الحقائق: ضيقة مدفوعة بالحدث: «حقيقة _ رهانات»، «حقيقة _ مدفوعات»، «حقيقة _ مدفوعات».
الأبعاد: "dim _ users' (SCD)،" dim _ games "،" dim _ providers'، "dim _ markets'.
ندفة الثلج مناسبة في الفضة (التطبيع)، النجمة - بالذهب (القراءة).

3. 2 Data Vault 2. 0 (التكامل الأساسي)

Hubs (business keys), Links (relations), Satellites (context/history).
تقدم في Silver لتكامل المزود/PSP طويل العمر.

3. 3 SCD I/II/III

SCD II لـ RG/KYC/القنوات وسمات اللعبة (RTP/التقلب).
تنضم الفترات الصارمة «صالحة _ من/صالحة _ إلى»، بشكل صحيح في الوقت المناسب.

4) الحمل: ETL/ELT، CDC والزيادات

نهج ELT: التحميل في تحويل → الفضية في DWH.
CDC: Debezium/log replication from OLTP; ميرزي خفية.
الزيادات: حسب الوقت الماء ('محدث _ على> max_loaded_ts') و/أو هاش دلتا.
الردم/إعادة المعالجة: السفر عبر الزمن، النطاقات، الحصص، المقارنات الجافة.

sql
MERGE INTO silver. payments s
USING stage. payments_delta d
ON s. transaction_id = d. transaction_id
WHEN MATCHED THEN UPDATE SET
WHEN NOT MATCHED THEN INSERT;

5) الطبقة الدلالية والمقاييس

متجر المقاييس/الطبقة الدلالية: صيغ موحدة GGR/NGR/Conversion/LTV.
مقاييس النسخ والحساب «af-of» للتكرار.
الاتفاقيات هي الأسماء المترية والوحدات والعملة (base EUR) و «fx _ source».

6) واجهات المحلات والتقديم

معارض ذهبية: معطلة، SLA جاهزة (على سبيل المثال، حتى 06:00 قفل.) .
المارتس التشغيلي: ClickHouse/Pinot/Druid للوحات من 1 إلى 5 دقائق.
التصدير: CSV/JSON/PDF + hash ؛ الحزم الثابتة (WORM) للمنظمين.

sql
CREATE OR REPLACE VIEW gold. ggr_daily AS
SELECT
DATE(b. event_time) AS event_date,
b. market,
g. provider_id,
SUM(b. stake_base) AS stakes_eur,
SUM(p. amount_base) AS payouts_eur,
SUM(b. stake_base) - SUM(p. amount_base) AS ggr_eur
FROM silver. fact_bets b
LEFT JOIN silver. fact_payouts p
ON p. user_pseudo_id = b. user_pseudo_id
AND p. game_id = b. game_id
AND DATE(p. event_time) = DATE(b. event_time)
JOIN dim. games g ON g. game_id = b. game_id
GROUP BY 1,2,3;

7) جودة البيانات (DQ) والعقود

المخطط أولاً: سجل JSON/Avro + اختبارات التوافق (يحركها المستهلك).
DQ- как - код: الاكتمال/الصلاحية/التفرد/FK/النطاق/الزمني.
سياسات رد الفعل: تفشل → الحرجة + DLQ ؛ البطاقة → الرئيسية/الثانوية والإبلاغ.
إمكانية رصد DQ: لوحات تحكم نضرة/اكتمال/صلاحية، قمع السجلات المفقودة.

8) الأمن والخصوصية والإقامة

التقليل من PII: المستخدمون عبر الهوية الزائفة ؛ بشكل منفصل.
RLS/CLS: الوصول إلى خط/سطر/ما بعد الجدول حسب الدور والولاية القضائية.
التشفير: TLS أثناء العبور ؛ في الراحة - KMS/CMK مع التناوب.
إقامة البيانات: أدلة ومفاتيح منفصلة للمنطقة الاقتصادية الأوروبية/المملكة المتحدة/BR ؛ حظر الانضمام عبر الأقاليم دون سبب.
DSAR/RTBF: الإسقاطات القابلة للحساب والتحريرات الانتقائية ؛ عقد قانوني على الإبلاغ عن القطع الأثرية.

9) الأداء والتكلفة (هندسة التكاليف)

التقسيم: حسب التاريخ/السوق/المستأجر ؛ التجميع/الطلب Z حسب «السوق»، «المزود _ المعرف»، «اللعبة _ المعرف»، «المستخدم _ الزائف _ المعرف».
الأشكال: Parquet + الإحصاء والضغط ؛ تحسين/فراغ في الموعد المحدد.
التجسيد: تجميعات ثابتة وجداول موجزة ؛ تجنب انضمام «الدهون» بسرعة.
الحصص/رد التكاليف: ميزانيات الطلبات/الإعادة الثقيلة ؛ التكلفة/الاستفسار، التكلفة/البنزين.
التخزين المتدرج: ساخن/دافئ/بارد ؛ اتجاهات الإنعاش الواضحة.

10) إمكانية الرصد والإدارة

مقاييس خط الأنابيب: المدة، الأحجام، إعادة التدوير، التأخير، تحمل الخطأ.
مقاييس DWH: وقت الاستجابة/القدرة التنافسية/ضربات ذاكرة التخزين المؤقت/القيمة.
النسب: الرسم البياني من المصادر إلى التقارير ؛ وتحليل أثر التغييرات.
SLO: Freshness Silver p95 ≤ 15 мин; الذهب يوميًا - جاهز حتى الساعة 6:00 ؛ صلاحية ≥ 99. 9%; الاكتمال ≥ 99. 5%; ≥ 99. 9%.

11) تعدد الإيجارات وعزلة المجال

التقسيم حسب المخطط/قاعدة البيانات/الكتالوج إلى مستأجر/سوق.
الحصص ومجموعات الموارد ؛ الحد من «الجيران الصاخبين».
سياسات التصدير/الاستيراد بين المستأجرين والعقود الموحدة.

12) سجل البيانات والوثائق

كتالوج البيانات: المالك، SLA، المخطط، الأمثلة، قواعد DQ، النسب.
المقاييس/لوحات القيادة: بطاقات مع صيغ ومسؤولة.
سجل التغيير: نسخ المنطق، الهجرات، التأثير.

13) العمليات و RACI

R (مسؤول): Data Engineering (models Silver/Gold, DAG 'i), Data Platform (infra, registry, DQ).
ألف (مسؤول): رئيس قسم البيانات/المدير التنفيذي.
جيم (استشاري): الامتثال/القانوني/إدارة الشؤون السياسية، المالية (FX/GGR)، المخاطر (RG/AML)، SRE (SLO/стоимость).
I (مطلع): BI، المنتج، التسويق، العمليات.

14) خارطة طريق التنفيذ

1. Lakehouse Bronze/Silver (جداول ACID)، CDC/الزيادات للمدفوعات/طريقة اللعب.

2. عروض الذهب الأولى (GGR Daily، تحويل)، SLAs حتى 06:00.

3. DQ-like-code (10-15 rules) + لوحات القيادة Freshness/Compleness.

4. كتالوج البيانات والطبقة الدلالية الأساسية من المقاييس.

• SCD II для المستخدمين/الألعاب/مقدمي الخدمات ؛ توسيع النطاق.
• عبر الإنترنت مارس (ClickHouse/Pinot) للوحات في الوقت الفعلي/شبه الفعلي.
• تحليل النسب/الأثر، إجراءات DSAR/RTBF، الهيكلة الإقليمية (EEA/UK).

• المحاكاة التلقائية للتغيرات (التشغيل الجاف) وإعادة التشغيل ومقارنة المقاييس.
• رد التكاليف/الحصص، لوحات متابعة التكاليف ؛ تمارين DR واسترداد السفر عبر الزمن.
• التوليد التلقائي لوثائق العرض وبطاقات المقاييس.

15) أمثلة على نماذج SQL

sql
CREATE TABLE silver. fact_bets (
bet_id STRING PRIMARY KEY,
user_pseudo_id STRING NOT NULL,
game_id STRING NOT NULL,
stake_ccy DECIMAL(18,2) NOT NULL,
currency CHAR(3) NOT NULL,
stake_base DECIMAL(18,2) NOT NULL,
market CHAR(2) NOT NULL,
event_time TIMESTAMP NOT NULL
);

sql
SELECT b. bet_id, u. rg_status
FROM silver. fact_bets b
JOIN dim. users_scd u
ON u. user_pseudo_id = b. user_pseudo_id
AND b. event_time >= u. valid_from
AND (u. valid_to IS NULL OR b. event_time < u. valid_to);

sql
SELECT market, DATE(event_time) d, COUNT() n
FROM silver. fact_bets
GROUP BY market, DATE(event_time)
HAVING n = 0;

16) قائمة مرجعية قبل البيع

• المخططات والعقود في السجل، اختبارات التوافق خضراء.
• إجراءات CDC/الزيادات و MERGE خفية.
• تحتوي معارض الذهب على اتفاقيات SLAs، وصيغ مترية ثابتة.
• قواعد DQ نشطة (→ الحرجة تفشل + DLQ)، لوحات تحكم النضارة/الاكتمال.
• RBAC/ABAC، التشفير، الإقامة حسب المنطقة، سجلات الوصول.
• تمكين النسب/الأثر ؛ تم التحقق من السفر عبر الزمن/النسخ الاحتياطي/DR.
• التكاليف الخاضعة للسيطرة: الأطراف، والتجميع، والتجسيد، والحصص.

17) الأنماط والمخاطر المضادة

«DWH واحد دهني بدون طبقات»: مزيج من البيانات الخام والمبلغ عنها → الفوضى والإصلاحات باهظة الثمن.
إعادة التحميل الكامل يوميًا بلا داع: استخدام الزيادات/مراكز السيطرة على الأمراض والوقاية منها.
الذهب بدون مالك وصيغ: عدم وجود نسخة واحدة من الحقيقة → الخلافات والتراجع.
PII في طبقات تحليلية: إبقاء الخرائط منفصلة، CLS/RLS.
لا يوجد DQ/النسب: لا يوجد دليل على المنظمين/التدقيق.
التكلفة غير القابلة للإدارة: لا توجد دفعات/تحسينات/حصص.

18) مسرد (موجز)

DWH هو مستودع بيانات للتوحيد والتحليلات.
Lakehouse - بحيرة بيانات + جداول ACID ومحرك SQL.
مركز السيطرة على الأمراض - التقاط التغييرات من OLTP.
SCD - القياسات المتغيرة ببطء (I/II/III).
عرض ذهبي - ورقة/عرض تقرير جاهز للاستهلاك.
الطبقة الدلالية - تعريفات موحدة للمقاييس والسمات.

19) خلاصة القول

DWH الحديث لـ iGaming ليس «طاولة كبيرة»، ولكنه منصة يمكن التحكم فيها: الطبقات البرونزية/الفضية/الذهبية، والعقود الصارمة و DQ، والمقاييس الموحدة والنسب، والخصوصية والإقامة، والأداء والكفاءة. من خلال بناء Lakehouse + DWH-March الهجين، سيكون لديك قرار سريع ويمكن التحقق منه جاهز للتدقيق والنطاق والأسواق الجديدة.