Maglumat ammary

1) iGaming-de DWH-iň wezipesi we roly

• Metrleriň umumy kesgitlemeleri (GGR/NGR, ARPPU, Retention, Churn).
• Düzgünleşdirijiler we içerki steýkholderler üçin köpeldilýän hasabatlar.
• BI/operasiýa panelleri üçin çalt penjireler we modeller üçin çeşmeler.
• Platforma derejesinde hil gözegçiligi, lineage we howpsuzlyk.

2) Binagärlik görnüşleri

2. 1 Classic DWH

ETL → DWH (ýyldyz/gar) → BI.
Artykmaçlyklary: dolandyrylýan modeller, güýçli yzygiderlilik.
Minuslar: gymmat ýüklemeler, çylşyrymly backfill, çäkli çeýeligi.

2. 2 Lakehouse DWH

ACID tablisalarynda (Delta/Iceberg/Hudi) Bronze/Silver/Gold + SQL/MPP hereketlendirijisi.
Plýuslar: bir storedge, time-travel, ýönekeý reprocessing.
Minuslar: gatlaklaryň düzgün-nyzamyny we DQ, ýetişen orkestri talap edýär.

2. 3 Gibrid

Lakehouse "hakykat çeşmesi" (Bronze/Kümüş), DWH-mart MPP (ClickHouse/Pinot/Druid/Cloud DWH) ýokary tizlikli okamak üçin.
Artykmaçlyklary: bahanyň we öndürijiligiň deňagramlylygy, çeýe penjireler.
Minuslar: shemalary we tekerleri goşa goldamak, sinhronlamak zerur.

Maslahat: iGaming - Lakehouse + DWH-Mart (gibrid) üçin. Bronze/Silver - standartlaşdyrylýar, Gold/Real-time marts - okalýan ýüklere hyzmat edýär.

3) Maglumatlary modellemek

3. 1 Ýyldyz we gar tanky

Faktiki tablisalar: dar, wakaly: 'fact _ bets', 'fact _ payouts', 'fact _ payments'.
Ölçegler: 'dim _ users' (SCD), 'dim _ games', 'dim _ providers', 'dim _ markets'.
Gar tanky Kümüş (kadalaşmak), Ýyldyz - Altyn (okamak).

3. 2 Data Vault 2. 0 (integrasiýa özeni)

Hubs (iş açarlary), Links (gatnaşyklar), Satellites (kontekst/taryh).
Uzak möhletli üpjün ediji/PSP integrasiýalary üçin "Silver" -da ulanmak.

3. 3 SCD I/II/III

RG/KYC/kanallar we oýun atributlary üçin SCD II (RTP/üýtgewsizlik).
Berk aralyklar 'valid _ from/valid _ to', dogry join-s.

4) Ýüklemek: ETL/ELT, CDC we inkrementler

ELT çemeleşmesi: Silver → DWH-e öwrülişik.
CDC: ALTP-den Debezium/log-replikasiýa; merji idempotentdir.
Inkrementler: wagt suwy ('updated _ at> max_loaded_ts') we/ýa-da hash-delt.
Backfill/Reprocessing: time-travel, diapazonlar, kwotalar, dry-run deňeşdirmeler.

sql
MERGE INTO silver. payments s
USING stage. payments_delta d
ON s. transaction_id = d. transaction_id
WHEN MATCHED THEN UPDATE SET
WHEN NOT MATCHED THEN INSERT;

5) Semantiki gatlak we metrika

Metrics Store/Semantic Layer: GGR/NGR/Conversion/LTV.
Köpeltmek üçin metrikleri we "as-of" hasaplamalaryny wersiýalaşdyrmak.
Ylalaşyklar: metrikleriň atlary, ölçeg birlikleri, walýuta (base EUR) we 'fx _ source'.

6) Vitrinler we serwing

Gold-vitrinler: denormallaşdyrylan, taýýar SLA (mysal üçin 06: 00-a çenli lok.) .
Mart aýlary: 1-5 minutlyk paneller üçin ClickHouse/Pinot/Druid.
Eksport: CSV/JSON/PDF + hash; düzgünleşdirijiler üçin üýtgemeýän paketler (WORM).

sql
CREATE OR REPLACE VIEW gold. ggr_daily AS
SELECT
DATE(b. event_time) AS event_date,
b. market,
g. provider_id,
SUM(b. stake_base) AS stakes_eur,
SUM(p. amount_base) AS payouts_eur,
SUM(b. stake_base) - SUM(p. amount_base) AS ggr_eur
FROM silver. fact_bets b
LEFT JOIN silver. fact_payouts p
ON p. user_pseudo_id = b. user_pseudo_id
AND p. game_id = b. game_id
AND DATE(p. event_time) = DATE(b. event_time)
JOIN dim. games g ON g. game_id = b. game_id
GROUP BY 1,2,3;

7) Maglumatlaryň hili (DQ) we şertnamalar

Schema-first: JSON/Euro registry + laýyklyk synaglary (consumer-driven).
DQ-как-код: completeness/validity/uniqueness/FK/range/temporal.
Reaksiýa syýasaty: critical → fail + DLQ; major/minor → tag we hasabat.
DQ syn edilişi: "Freshness/Completeness/Validity" dashbordlary, ýitirilen ýazgylaryň hunisi.

8) Howpsuzlyk, gizlinlik we rezidentlik

PII-minimalizasiýa: psevdo-ID arkaly ulanyjylar; aýratynlykda mappingler.
RLS/CLS: rollar we ýurisdiksiýalar boýunça setirden/postolbtsowo girmek.
Şifrlemek: TLS in-transit; at-rest - KMS/CMK aýlawly.
Data Residency: EEA/UK/BR üçin aýratyn kataloglar we açarlar; esassyz sebitleýin join 'olaryň gadagan edilmegi.
DSAR/RTBF: hasaplanyp bilinýän proýeksiýalar we saýlama redaktirlemeler; Hasabat artefaktlaryna Legal Hold.

9) Öndürijilik we çykdajy (Cost Engineering)

Partiýa ýerleşdirilmegi: senesi/bazary/tenanty boýunça; klaster/Z-order 'market', 'provider _ id', 'game _ id', 'user _ pseudo _ id'.
Formatlar: Parquet + statistika we gysyş; OPTIMIZE/VACUUM meýilnama boýunça.
Materializasiýa: durnukly agregatlar we summary-tablisalar; uçup barýarka "semiz" join 'olardan gaça duruň.
Kwotalar/Chargeback: agyr haýyşlar/göçürmeler üçin býudjetler; cost/query, cost/GB hasabatlary.
Tiered storage: hot/warm/cold; aýdyň dikeldiş SLA.

10) Gözegçilik we dolandyryş

Paýlaýynlaryň metrikleri: dowamlylygy, göwrümleri, retralary, laglary, şowsuzlyga çydamlylygy.
DWH metrikleri: jogap wagty/bäsdeşlik/keş-hitleri/bahasy.
Lineage: çeşmelerden hasabatlara çenli grafalar; üýtgeşmeler ýüze çykanda impact-analiz.
SLO: Freshness Silver p95 ≤ 15 мин; Gold daily - 06: 00-a çenli taýýar; Validity ≥ 99. 9%; Completeness ≥ 99. 5%; elýeterlilik ≥ 99. 9%.

11) Multitenantlyk we domen izolýasiýasy

shema/database/catalog boýunça tenant/bazara bölmek.
Kwotalar we resource groups; "şowhunly goňşulary" çäklendirmek.
Tenantlaryň arasynda eksport/import syýasaty, standartlaşdyrylan şertnamalar.

12) Maglumatlaryň sanawy we resminamalary

Data Catalog: owner, SLA, shema, mysallar, DQ-düzgünler, lineage.
Metrikler/daşbordlar: formulalar we jogapkär kartoçkalar.
Change Log: logika, migrasiýa, täsir (impact) wersiýalary.

13) Amallar we RACI

R (Responsible): Data Engineering (Silver/Gold, DAG 'i modelleri), Data Platform (infra, registry, DQ).
A (Accountable): Head of Data/CDO.
C (Consulted): Compliance/Legal/DPO, Finance (FX/GGR), Risk (RG/AML), SRE (SLO/стоимость).
I (Informed): BI, Önüm, Marketing, Amallar.

14) Durmuşa geçirmegiň ýol kartasy

1. Lakehouse Bronze/Silver (ACID tablisalary), CDC/Payments/Gameplay üçin inkrementler.

2. Ilkinji Gold-vitrinler (GGR Daily, öwrülişik), SLA 06: 00-a çenli.

3. DQ-kod (10-15 düzgün) + dashbordlar Freshness/Completeness.

4. Maglumat katalogy we metrikleriň esasy semantik gatlagy.

• SCD II для users/games/providers; Domenleri giňeltmek.
• Iş martlary (ClickHouse/Pinot) real-time/near-real-time panelleri üçin.
• Lineage/impact-analiz, DSAR/RTBF amallary, sebitleşdirmek (EEA/UK).

• Üýtgeşmeleriň awtosimulýasiýasy (dry-run), bellikler we metrikleri deňeşdirmek.
• Çargeback/kwotalar, cost-daşbordlar; DR-maşklar we time-travel dikeldiş.
• Penjireleriň we metrik kartoçkalaryň resminamalarynyň awtogenerasiýasy.

15) SQL şablonlarynyň mysallary

sql
CREATE TABLE silver. fact_bets (
bet_id STRING PRIMARY KEY,
user_pseudo_id STRING NOT NULL,
game_id STRING NOT NULL,
stake_ccy DECIMAL(18,2) NOT NULL,
currency CHAR(3) NOT NULL,
stake_base DECIMAL(18,2) NOT NULL,
market CHAR(2) NOT NULL,
event_time TIMESTAMP NOT NULL
);

sql
SELECT b. bet_id, u. rg_status
FROM silver. fact_bets b
JOIN dim. users_scd u
ON u. user_pseudo_id = b. user_pseudo_id
AND b. event_time >= u. valid_from
AND (u. valid_to IS NULL OR b. event_time < u. valid_to);

sql
SELECT market, DATE(event_time) d, COUNT() n
FROM silver. fact_bets
GROUP BY market, DATE(event_time)
HAVING n = 0;

16) Azyk önüminden öň çek-sanawy

• Sanawdaky shemalar we şertnamalar, laýyklyk synaglary ýaşyl.
• CDC/inkrementler we MERGE-amallar idempotent.
• Altyn penjirelerde SLA bar, metrik formulalar kesgitlenýär.
• DQ düzgünleri işjeňdir (critical → fail + DLQ), dashbordlar Freshness/Completeness.
• RBAC/ABAC, şifrlemek, sebitler boýunça rezidentlik, giriş magazinesurnallary.
• Lineage/impact goşuldy; time-travel/backup/DR barlandy.
• Gözegçilik astynda bahasy: partiýa, klaster, materiallaşdyrmak, kwotalar.

17) Anti-patternler we töwekgelçilikler

"Gatlaksyz bir ýagly DWH": çig we hasabat maglumatlarynyň garyndysy → bulam-bujarlyk we gymmat düzedişler.
Doly reload her gün zerur däl :/CDC-ni ulanyň.
Gold eýesi we formulasyz: hakykatyň ýeke-täk wersiýasynyň ýoklugy → jedeller we regresler.
Analitik gatlaklarda PII: mappingleri aýratyn saklaň, CLS/RLS.
DQ/lineage ýoklugy: düzgünleşdirijiler/audit üçin subutnama ýok.
Dolandyrylmaýan bahasy: partiýa/optimizasiýa/kwota ýok.

18) Sözlük (gysgaça)

DWH - konsolidasiýa we analitika üçin maglumat ammary.
Lakehouse - data lake + ACID tablisalary we SQL hereketlendirijisi.
CDC - ALTP-den üýtgeşmeleri ele almak.
SCD - haýal üýtgeýän ölçegler (I/II/III).
Gold-vitrin - sarp etmäge taýýar hasabat tablisasy/görkezme.
Semantic Layer - metrikleriň we atributlaryň bitewi kesgitlemeleri.

19) Jemleýji

iGaming üçin häzirki zaman DWH "uly tablisa" däl-de, dolandyrylýan platforma: Bronze/Kümüş/Altyn gatlaklary, berk şertnamalar we DQ, birmeňzeş metrikler we çyzyklar, gizlinlik we rezidentlik, öndürijilik we tygşytlylyk. Lakehouse + DWH-Mart gibridini gurup, audit, masştab we täze bazarlara taýyn çalt we barlanylýan karar alarsyňyz.