Маалыматтарды сактоо

1) дайындоо жана iGaming DWH ролу

• Бирдиктүү метр аныктамалары (GGR/NGR, ARPPU, Retention, Churn).
• Жөнгө салуучулар жана ички стейкхолдерлер үчүн репродукцияланган отчеттор.
• BI/операциялык панелдер үчүн тез терезелер жана моделдер үчүн булактар.
• Платформа деңгээлинде сапатты, линияны жана коопсуздукту көзөмөлдөө.

2) архитектуралык параметрлери

2. 1 Classic DWH

ETL → DWH (жылдыз/кар) → BI.
Артыкчылыктары: башкарылуучу моделдер, күчтүү туруктуулук.
Кемчиликтери: кымбат жүктөмөлөр, татаал backfill, чектелген ийкемдүүлүк.

2. 2 Lakehouse DWH

Bronze/Silver/Gold боюнча ACID стол (Delta/Iceberg/Hudi) + SQL/MPP кыймылдаткыч.
Артыкчылыктары: бирдиктүү storedge, убакыт-саякат, жөнөкөй reprocessing.
Кемчиликтери: катмарларынын тартипти жана DQ, жетилген оркестр талап кылат.

2. 3 гибрид

Lakehouse "чындык булагы" катары (Bronze/Silver), DWH-март MPP (ClickHouse/Pinot/Druid/Cloud DWH) жогорку ылдамдыктагы окуу үчүн.
Артыкчылыктары: наркы жана аткаруу балансы, ийкемдүү терезелер.
Кемчиликтери: схемалар жана тоголок кош колдоо, синхрондоштуруу керек.

Сунуш: iGaming үчүн - Lakehouse + DWH-март (гибрид). Bronze/Silver - стандартташтыруу, Gold/реалдуу убакыт marts - окуу жүктөмүн тейлөө.

3) Маалыматтарды моделдөө

3. 1 Star жана Snowflake

Факт-таблицалар: тар, окуя: 'fact _ bets', 'fact _ payouts', 'fact _ payments'.
Өлчөө: 'dim _ users' (SCD), 'dim _ games', 'dim _ providers', 'dim _ markets'.
Snowflake Silver (нормалдашуу) ылайыктуу, Star - алтын (окуу).

3. 2 Data Vault 2. 0 (интеграция өзөгү)

Hubs (бизнес ачкычтары), Links (мамилелер), Satellites (контекст/тарых).
Silver узак мөөнөттүү интеграциялоо провайдерлери/PSP колдонуу.

3. 3 SCD I/II/III

RG/KYC/каналдар жана оюн атрибуттары үчүн SCD II (RTP/туруксуздук).
Катуу интервалдар 'valid _ from/valid _ to', убакыт боюнча туура join-s.

4) жүктөп алуу: ETL/ELT, CDC жана инкременттер

ELT-мамиле: Silver жүктөп → DWH өзгөртүү.
CDC: Debezium/OLTP тартып лог-репликация; мержи идемпотенттик.
Инкременттер: убакыттын суусу боюнча ('updated _ at> max_loaded_ts') жана/же хэш-дельта.
Backfill/Reprocessing: убакыт-саякат, диапазондор, квоталар, dry-run салыштыруу.

sql
MERGE INTO silver. payments s
USING stage. payments_delta d
ON s. transaction_id = d. transaction_id
WHEN MATCHED THEN UPDATE SET
WHEN NOT MATCHED THEN INSERT;

5) Семантикалык катмар жана метрика

Metrics Store/Semantic Layer: GGR/NGR/Conversion/LTV бирдиктүү формулалары.
Кайра ойнотуу үчүн метрика жана "as-of" эсептөө версиясы.
Келишимдер: метриктердин аттары, өлчөө бирдиктери, валюта (base EUR) жана 'fx _ source'.

6) Дисплей жана тейлөө

Gold-Display: Денормалдаштырылган, SLA даяр (мисалы, чейин 06:00 lok.) .
Ыкчам Март: ClickHouse/Pinot/Druid 1-5 мүнөт панелдер үчүн.
Экспорт: CSV/JSON/PDF + hash; жөнгө салуучу үчүн өзгөрүлбөс топтомдор (WORM).

sql
CREATE OR REPLACE VIEW gold. ggr_daily AS
SELECT
DATE(b. event_time) AS event_date,
b. market,
g. provider_id,
SUM(b. stake_base) AS stakes_eur,
SUM(p. amount_base) AS payouts_eur,
SUM(b. stake_base) - SUM(p. amount_base) AS ggr_eur
FROM silver. fact_bets b
LEFT JOIN silver. fact_payouts p
ON p. user_pseudo_id = b. user_pseudo_id
AND p. game_id = b. game_id
AND DATE(p. event_time) = DATE(b. event_time)
JOIN dim. games g ON g. game_id = b. game_id
GROUP BY 1,2,3;

7) Маалымат сапаты (DQ) жана келишимдер

Schema-биринчи: JSON/Euro каттоо + шайкештик тесттер (керектөөчү-айдоо).
DQ-как-код: completeness/validity/uniqueness/FK/range/temporal.
жооп саясаты: critical → fail + DLQ; major/minor → тег жана отчет.
DQ байкоо: Дашборддор Freshness/Completeness/Validity, жоголгон жазуулардын Huni.

8) Коопсуздук, купуялык жана резиденттик

PII-минималдаштыруу: колдонуучулар псевдо-ID аркылуу; өзүнчө mappings.
RLS/CLS: Rols жана юрисдикциялар боюнча жол-жол/постолбцово кирүү.
Шифрлөө: TLS in-transit; at-rest - KMS/CMK айлануу менен.
Data Residency: EEA/UK/BR үчүн өзүнчө каталогдор жана ачкычтар; негизсиз кросс-аймактык join's тыюу салуу.
DSAR/RTBF: эсептөө проекциялары жана тандоо редакторлору; Юридикалык Hold отчеттук экспонаттар боюнча.

9) Performance жана наркы (Cost Engineering)

Партиялаштыруу: датасы/рыногу/тенанты боюнча; кластерлештирүү/Z-order 'market', 'provider _ id', 'game _ id', 'user _ pseudo _ id'.
Форматтар: Parquet + статистика жана компрессия; OPTIMIZE/VACUUM тартиби боюнча.
Материалдаштыруу: туруктуу агрегаттар жана summary-стол; учуп "семиз" join's алыс.
Квоталар/Chargeback: оор суроо-талаптар/репликалар үчүн бюджеттер; отчеттор cost/query, cost/GB.
Tiered storage: hot/warm/cold; так SLA калыбына келтирүү.

10) Байкоо жана башкаруу

Пайплайндардын метрикасы: узактыгы, көлөмү, ретрасы, лаги, бузулууга туруктуулугу.
DWH көрсөткүчтөрү: жооп убактысы/атаандаштык/кэш-хиттер/наркы.
Lineage: маалымат булактарынан отчетторго чейин; өзгөрүү учурунда impact-талдоо.
SLO: Freshness Silver p95 ≤ 15 мин; Gold daily - 06:00 чейин даяр; Validity ≥ 99. 9%; Completeness ≥ 99. 5%; жеткиликтүүлүгү ≥ 99. 9%.

11) Мультитенанттуулук жана домендик изоляция

shema/database/catalog боюнча бөлүштүрүү Тенант/базар.
Квоталар жана ресурстук топтор; "ызы-чуу кошуналарды" чектөө.
Тенанттардын ортосундагы экспорт/импорт саясаты, стандартташтырылган келишимдер.

12) Маалыматтар реестри жана документтер

Data Catalog: owner, SLA, схема, мисалдар, DQ-эрежелер, сызык.
Метриктер/дашборддор: формулалар жана жоопкерчиликтүү карталар.
Change Log: логика нускалары, көчүрүү, таасир (таасир).

13) Процесстер жана RACI

R (Responsible): Data Engineering (Silver/Gold, DAG 'i моделдери), Data Platform (infra, registry, DQ).
A (Accountable): Head of Data/CDO.
C (Consulted): Compliance/Legal/DPO, Finance (FX/GGR), Risk (RG/AML), SRE (SLO/стоимость).
I (Informed): BI, Продукт, Маркетинг, иш.

14) Ишке ашыруунун жол картасы

1. Lakehouse Bronze/Silver (ACID таблицалар), CDC/Payments/Gameplay үчүн инкременттер.

2. Биринчи Gold-Display (GGR Daily, конверсия), SLA чейин 06:00.

3. DQ-Code (10-15 эрежелери) + дашборддор Freshness/Completeness.

4. Маалыматтар каталогу жана метриканын негизги семантикалык катмары.

• SCD II для users/games/providers; домендерди кеңейтүү.
• Иш-март (ClickHouse/Pinot) real-time/near-real-time панелдер үчүн.
• Lineage/таасир-талдоо, DSAR/RTBF жол-жоболору, регионалдаштыруу (EEA/UK).

• Автосимуляция өзгөрүүлөр (dry-run), реплика жана салыштыруу метрика.
• Chargeback/квота, cost-dashboard; DR-машыгуу жана убакыт-саякат калыбына келтирүү.
• Автогенерация документации витрин и карточки метриков.

15) SQL үлгүлөрү мисалдар

sql
CREATE TABLE silver. fact_bets (
bet_id STRING PRIMARY KEY,
user_pseudo_id STRING NOT NULL,
game_id STRING NOT NULL,
stake_ccy DECIMAL(18,2) NOT NULL,
currency CHAR(3) NOT NULL,
stake_base DECIMAL(18,2) NOT NULL,
market CHAR(2) NOT NULL,
event_time TIMESTAMP NOT NULL
);

sql
SELECT b. bet_id, u. rg_status
FROM silver. fact_bets b
JOIN dim. users_scd u
ON u. user_pseudo_id = b. user_pseudo_id
AND b. event_time >= u. valid_from
AND (u. valid_to IS NULL OR b. event_time < u. valid_to);

sql
SELECT market, DATE(event_time) d, COUNT() n
FROM silver. fact_bets
GROUP BY market, DATE(event_time)
HAVING n = 0;

16) Азык-түлүктүн алдындагы чек-тизме

• Реестрдеги схемалар жана контракттар, шайкештик тесттери жашыл.
• CDC/инкременттер жана MERGE жол-жоболору idempotent болуп саналат.
• Gold-Showrooms SLA бар, белгиленген метр формулалары.
• DQ эрежелери активдүү (critical → fail + DLQ), дашборддор Freshness/Completeness.
• RBAC/ABAC, шифрлөө, региондор боюнча резиденттик, кирүү журналдары.
• Lineage/impact камтылган; time-travel/backup/DR текшерилген.
• Наркы көзөмөлдө: партия, кластерлештирүү, материалдык, квота.

17) Анти-үлгүлөрү жана тобокелдиктер

"Катмарсыз бир майлуу DWH": чийки жана отчеттук маалыматтардын аралашмасы → башаламандык жана кымбат оңдоолор.
Толук reload муктаждык жок күн сайын :/CDC киргизүү колдонуу.
Ээси жана формулалары жок алтын: чындыктын бирдиктүү версиясынын жоктугу → талаш-тартыштар жана регрессиялар.
Аналитикалык катмарларда PII: Mappings өзүнчө, CLS/RLS.
DQ/lineage жок: жөнгө салуучу/аудит үчүн эч кандай далилдөө.
Башкарылбаган наркы: эч кандай партия/оптималдаштыруу/квота.

18) Глоссарий (кыскача)

DWH - консолидация жана аналитика үчүн маалыматтарды сактоо.
Lakehouse - маалымат lake + ACID таблицалары жана SQL кыймылдаткычы.
CDC - OLTP өзгөрүүлөрдү басып алуу.
SCD - жай өзгөрүп өлчөө (I/II/III).
Gold-витрина - керектөөгө даяр отчеттук таблица/презентация.
Semantic Layer - метриктердин жана атрибуттардын бирдиктүү аныктамалары.

19) Жыйынтык

Заманбап DWH iGaming үчүн "чоң стол" эмес, башкарылуучу платформа: Bronze/Silver/Gold катмарлары, катуу келишимдер жана DQ, бирдиктүү метриктер жана сызыктар, купуялык жана резиденттик, өндүрүмдүүлүк жана үнөмдүүлүк. Lakehouse + DWH-март гибридин куруу менен, сиз аудитке, масштабга жана жаңы рынокторго даяр тез жана текшерилүүчү чечим кабыл алат.