Məlumat anbarları

1) təyinatı və iGaming DWH rolu

• Vahid metrik təriflər (GGR/NGR, ARPPU, Retention, Churn).
• Tənzimləyicilər və daxili steykholderlər üçün reproduksiyalı hesabatlar.
• BI/əməliyyat panelləri üçün sürətli vitrinlər və modellər üçün mənbələr.
• Platforma səviyyəsində keyfiyyət, xətt və təhlükəsizlik nəzarəti.

2) Memarlıq variantları

2. 1 Classic DWH

ETL → DWH (ulduz/qar dənəsi) → BI.
Üstünlüklər: idarə olunan modellər, güclü sabitlik.
Mənfi cəhətləri: bahalı yükləmələr, mürəkkəb backfill, məhdud çeviklik.

2. 2 Lakehouse DWH

ACID cədvəllərində Bronze/Silver/Gold (Delta/Iceberg/Hudi) + SQL/MPP mühərriki.
Üstünlüklər: vahid storedge, time-travel, sadə reprocessing.
Mənfi cəhətləri: intizam təbəqələri və DQ, yetkin orkestr tələb edir.

2. 3 Hibrid

Lakehouse yüksək sürətli oxu üçün MPP (ClickHouse/Pinot/Druid/Cloud DWH) bir «həqiqət mənbəyi» (Bronze/Silver), DWH-mart kimi.
Üstünlüklər: dəyər və performans balansı, çevik vitrinlər.
Mənfi cəhətləri: cüt sxem və katala dəstəyi, sinxronizasiya lazımdır.

Tövsiyə: iGaming üçün - Lakehouse + DWH-mart (hibrid). Bronze/Silver - standartlaşdırılır, Gold/Real-time marts - oxu yüklərinə xidmət edir.

3) Məlumatların modelləşdirilməsi

3. 1 Ulduz və Qar dənəsi

Fakt cədvəlləri: dar, hadisəli: 'fact _ bets', 'fact _ payouts', 'fact _ payments'.
Ölçülər: 'dim _ users' (SCD), 'dim _ games', 'dim _ providers', 'dim _ markets'.
Qar dənəsi Silver (normallaşma), Ulduz - Gold (oxu) uyğun gəlir.

3. 2 Data Vault 2. 0 (inteqrasiya nüvəsi)

Hubs (biznes açarları), Links (əlaqələr), Satellites (kontekst/tarix).
Silver uzun ömürlü inteqrasiya provayder/PSP tətbiq.

3. 3 SCD I/II/III

RG/KYC/kanal və oyun atributları (RTP/volatility) üçün SCD II.
Ciddi intervallar 'valid _ from/valid _ to', düzgün vaxt join-s.

4) Yükləmə: ETL/ELT, CDC və artım

ELT yanaşma: Silver → DWH transformasiya download.
CDC: ALTP-dən Debezium/log replikasiyası; merji idempotentdir.
Inkrementlər: zaman ('updated _ at> max_loaded_ts') və/və ya hash-delt suları ilə.
Backfill/Reprocessing: time-travel, diapazonlar, kvotalar, dry-run müqayisə.

sql
MERGE INTO silver. payments s
USING stage. payments_delta d
ON s. transaction_id = d. transaction_id
WHEN MATCHED THEN UPDATE SET
WHEN NOT MATCHED THEN INSERT;

5) Semantik qat və metrika

Metrics Store/Semantic Layer: GGR/NGR/Conversion/LTV vahid formulları.
Çoxalma üçün metrik və «as-of» hesablamaların versiyası.
Sazişlər: metrik adlar, ölçü vahidləri, valyuta (base EUR) və 'fx _ source'.

6) Vitrinlər və xidmət

Gold-vitrinlər: denormallaşdırılmış, hazır SLA (məsələn, 06:00 lok.) .
Əməliyyat martları: 1-5 dəqiqəlik panellər üçün ClickHouse/Pinot/Druid.
İxrac: CSV/JSON/PDF + hash; tənzimləyicilər üçün dəyişməz paket (WORM).

sql
CREATE OR REPLACE VIEW gold. ggr_daily AS
SELECT
DATE(b. event_time) AS event_date,
b. market,
g. provider_id,
SUM(b. stake_base) AS stakes_eur,
SUM(p. amount_base) AS payouts_eur,
SUM(b. stake_base) - SUM(p. amount_base) AS ggr_eur
FROM silver. fact_bets b
LEFT JOIN silver. fact_payouts p
ON p. user_pseudo_id = b. user_pseudo_id
AND p. game_id = b. game_id
AND DATE(p. event_time) = DATE(b. event_time)
JOIN dim. games g ON g. game_id = b. game_id
GROUP BY 1,2,3;

7) Məlumat keyfiyyəti (DQ) və müqavilələr

Schema-first: JSON/Euro registry + uyğunluq testləri (consumer-driven).
DQ-как-код: completeness/validity/uniqueness/FK/range/temporal.
Reaksiya siyasəti: critical → fail + DLQ; major/minor → tag və hesabat.
DQ müşahidə: Freshness/Completeness/Validity dashboard, itirilmiş qeydlər huni.

8) Təhlükəsizlik, məxfilik və rezidentlik

PII-minimallaşdırma: psevdo ID vasitəsilə istifadəçilər; ayrı-ayrılıqda mappinqlər.
RLS/CLS: rollar və yurisdiksiyalar üzrə sətirüstü/postolbtsovo giriş.
Şifrələmə: TLS in-tranzit; at-rest - KMS/CMK rotasiya ilə.
Data Residency: EEA/UK/BR üçün fərdi kataloqlar və açarlar; əsas olmadan cross-regional join 'oların qadağan edilməsi.
DSAR/RTBF: hesablanabilir proyeksiyalar və seçici redaktələr; Legal Hold hesabat artefaktları.

9) Performans və dəyəri (Cost Engineering)

Partiyalaşdırma: tarix/bazar/tenant; klaster/Z-order 'market', 'provider _ id', 'game _ id', 'user _ pseudo _ id'.
Formatlar: Parquet + statistika və sıxılma; OPTIMIZE/VACUUM cədvəli üzrə.
Materiallaşdırma: sabit aqreqatlar və summary-cədvəllər; uçarkən «qalın» join 'olardan çəkinin.
Kvotalar/Chargeback: ağır sorğular/replies üçün büdcələr; cost/query, cost/GB hesabatları.
Tiered storage: hot/warm/cold; aydın SLA bərpa.

10) Müşahidə və nəzarət

Payplaynların metrikası: uzunluq, həcmlər, retralar, laqlar, uğursuzluğa davamlılıq.
DWH metrikası: cavab vaxtı/rəqabət/cash hitləri/dəyəri.
Lineage: hesabatlara mənbələrdən qrafik; dəyişikliklər zamanı impact-analiz.
SLO: Freshness Silver p95 ≤ 15 мин; Gold daily - 06: 00-a qədər hazır; Validity ≥ 99. 9%; Completeness ≥ 99. 5%; mövcudluğu ≥ 99. 9%.

11) Multitenantlıq və domen izolyasiyası

schema/database/catalog tenant/bazar bölünməsi.
Kvotalar və resource groups; «səs-küylü qonşuların» məhdudlaşdırılması.
Tenantlar arasında ixrac/idxal siyasəti, standartlaşdırılmış müqavilələr.

12) Məlumat reyestri və sənədləşmə

Data Catalog: owner, SLA, sxem, nümunələr, DQ qaydaları, lineage.
Metriklər/daşbordlar: formullar və məsuliyyətli kartlar.
Change Log: məntiq, miqrasiya, təsir (impact) versiyaları.

13) Proseslər və RACI

R (Responsible): Data Engineering (Silver/Gold, DAG 'i modelləri), Data Platform (infra, registry, DQ).
A (Accountable): Head of Data/CDO.
C (Consulted): Compliance/Legal/DPO, Finance (FX/GGR), Risk (RG/AML), SRE (SLO/стоимость).
I (Informed): BI, Məhsul, Marketinq, Əməliyyatlar.

14) Tətbiqi yol xəritəsi

1. Lakehouse Bronze/Silver (ACID cədvəlləri), Payments/Gameplay üçün CDC/inkrementlər.

2. İlk Gold-vitrinlər (GGR Daily, dönüşüm), SLA saat 06: 00-a qədər.

3. DQ-kimi kod (10-15 qaydalar) + dashboard Freshness/Completeness.

4. Verilənlər kataloqu və metriklərin əsas semantik təbəqəsi.

• SCD II для users/games/providers; domenlərin genişləndirilməsi.
• Real-time/near-real-time panellər üçün əməliyyat martları (ClickHouse/Pinot).
• Lineage/impact-analizi, DSAR/RTBF prosedurları, regionlaşdırma (EEA/UK).

• Dəyişikliklərin avtomatik simulyasiyası (dry-run), reples və metriklərin müqayisəsi.
• Chargeback/kvotalar, cost-dashboard; DR-təlimlər və time-travel bərpa.
• Vitrinlərin və metrik kartların sənədləşdirilməsinin avtogenerasiyası.

15) SQL şablon nümunələri

sql
CREATE TABLE silver. fact_bets (
bet_id STRING PRIMARY KEY,
user_pseudo_id STRING NOT NULL,
game_id STRING NOT NULL,
stake_ccy DECIMAL(18,2) NOT NULL,
currency CHAR(3) NOT NULL,
stake_base DECIMAL(18,2) NOT NULL,
market CHAR(2) NOT NULL,
event_time TIMESTAMP NOT NULL
);

sql
SELECT b. bet_id, u. rg_status
FROM silver. fact_bets b
JOIN dim. users_scd u
ON u. user_pseudo_id = b. user_pseudo_id
AND b. event_time >= u. valid_from
AND (u. valid_to IS NULL OR b. event_time < u. valid_to);

sql
SELECT market, DATE(event_time) d, COUNT() n
FROM silver. fact_bets
GROUP BY market, DATE(event_time)
HAVING n = 0;

16) Satış öncəsi yoxlama siyahısı

• Reyestrdə sxemlər və müqavilələr, uyğunluq testləri yaşıl.
• CDC/artım və MERGE prosedurları idempotentdir.
• Gold vitrinlər SLA var, metrik formulları sabit.
• DQ qaydaları aktiv (critical → fail + DLQ), dashboard Freshness/Completeness.
• RBAC/ABAC, şifrələmə, regional rezidentlik, giriş jurnalları.
• Lineage/impact daxildir; time-travel/backup/DR yoxlanılır.
• Nəzarət altında dəyəri: partiyalar, klasterləşdirmə, materiallaşdırma, kvotalar.

17) Anti-nümunələr və risklər

«Laysız bir yağlı DWH»: xam və hesabat məlumatlarının qarışığı → xaos və bahalı düzəlişlər.
Ehtiyacsız gündəlik tam reload: artımlardan/CDC istifadə edin.
Sahibi və düsturları olmadan Gold: həqiqətin vahid versiyasının olmaması → mübahisələr və reqressiyalar.
Analitik təbəqələrdə PII: mappinqləri ayrıca saxlayın, CLS/RLS.
DQ/lineage yoxdur: tənzimləyicilər/audit üçün sübut oluna bilməz.
İdarə olunmayan qiymət: heç bir partiya/optimallaşdırma/kvota.

18) Lüğət (qısa)

DWH - konsolidasiya və analitika üçün məlumat anbarıdır.
Lakehouse - data lake + ACID cədvəlləri və SQL mühərriki.
CDC - ALTP-dən dəyişikliklərin tutulması.
SCD - yavaş dəyişən ölçülər (I/II/III).
Gold-vitrin - istehlaka hazır hesabat cədvəli/təqdimat.
Semantic Layer - metrik və atributların vahid tərifidir.

19) Yekun

iGaming üçün müasir DWH «böyük cədvəl» deyil, idarə olunan platformadır: Bronze/Gümüş/Qızıl qatları, ciddi müqavilələr və DQ, vahid metriklər və xətt, gizlilik və rezidentlik, performans və səmərəlilik. Lakehouse + DWH-mart hibridini quraraq, audit, miqyaslı və yeni bazarlara hazır sürətli və yoxlanıla bilən qərarlar alacaqsınız.