Data Mesh: federal data modeli

(Bölmə: Texnologiya və Infrastruktur)

Qısa xülasə

Data Mesh, məlumatların domen əmrlərinin məhsulları kimi qəbul edildiyi təşkilati və texniki modeldir və platformanın mərkəzi rolu öz-özünə xidmət, standartlar və uyğunluq təmin etməkdir. iGaming üçün bu: Payments komandası «Deposit Events» və «Net Deposits Mart», Risk komandası - «Fraud Signals», Games - «Bet Events» və «Leaderboards» -a sahibdir və mərkəzi platforma kataloq, sxem müqavilələri, girişlər, keyfiyyət monitorinqi verir, finops və axın alətləri/ELT.

1) Data Mesh prinsipləri

1. Domen məsuliyyəti: Hər bir domen (Payments, Risk, Games, KYC/Compliance, CRM, Affiliate) öz məlumat dəstlərinə və onların həyat dövrünə sahibdir.
2. Məhsul kimi məlumatlar: hər dəstin sahibi, təsviri, SLO, SLA access, sənədləşmə, versiyası, rəyi və yol xəritəsi var.
3. Self-serve platforması: standart paylaynlar ingest/transform/serve, şablonlar, təhlükəsizlik default, kataloq və müşahidə.
4. Federal idarəetmə: sxemlərin, metriklərin, PII/lokalizasiyanın və keyfiyyətin ümumi standartları - mərkəzdə; reallaşdırma və təkamül - domenlərdə.

2) Əməliyyat modeli və rolları

Domain Data Product Owner (DPO): prioritetləşdirmə, SLO, verilənlər məhsulu təkmilləşdirmələri.
Domain Data Engineer/Analytics Engineer: sxemlər, paylaynlar, DQ testləri, versiyalaşdırma.
Domain Steward: sahələrin semantikası, metrik lüğət və PII təsnifatı uyğunluğu.
Platform Team: kataloq, IAM/RBAC, Policy-as-Code, tablo formatları (Delta/Iceberg/Hudi), orkestr, müşahidə, finops.
Federated Governance Board: Standartları (sxemlər, metriklər, təhlükəsizlik) təsdiq edir, domen mübahisələrini həll edir.

3) «Data Product» - pasport və artefaktlar

• Contract (sxem, tiplər, təkamül, uyğunluq).
• API giriş (SQL/cədvəl, topic/stream, fayl/paylaşım).
• SLA/SLO (təzəlik, əlçatanlıq, keyfiyyət).
• DQ testləri (unikallıq, diapazonlar, istinad bütövlüyü).
• Sənədləşmə (sahələrin təsviri, sorğu nümunələri, owner, əlaqə).
• Version (semantic versioning sxem, deprequit siyasəti).
• Siyasət (PII, lokalizasiya, retention/TTL, hüquqlar).

Pasport şablonu (YAML, nümunə)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) İnteraktivlik və standartlar

Sxemlər/müqavilələr: Avro/Protobuf/JSON-Schema + Schema Registry; back-compat siyasəti, yeni əsas versiyası olmadan pozucu dəyişikliklər qadağan.
Semantik təbəqə: GGR, NGR, Net Deposits, LTV, kohortlar - kod kimi (dbt metrics/semantic layer).
Identifikatorları: qlobal 'player _ id', 'tenant _ id', 'bet _ id', ölkələrin/valyutaların/provayderlərin vahid məlumat kitabçaları.
Metadata: 'ingest _ ts', 'schema _ version', 'trace _ id', 'source', 'region' məcburi sütunları.
Giriş: SQL (lakehouse/OLAP), axın (Kafka/Pulsar), cədvəllərin/snapshotların paylaşılması; mübadilə formatı - Parquet/Delta/Iceberg.

5) Texnoloji etalon (satıcılara aqnostik)

Ingest: Outbox/CDC из OLTP → Kafka → Lakehouse (Bronze).
Transform: ELT/dbt в Silver/Gold; «MERGE», SCD, maddi vitrinlər.
Serve: OLAP (ClickHouse/BigQuery/Snowflake), RT-движки (Pinot/Druid) для near-real-time.
Kataloq/Lineage: vahid kataloq, avto-sənədləşmə, asılılıq qrafiki.
Müşahidə: təzəlik metrləri/SLO, DQ-assert, lagi axını, dəyəri.
Siyasətlər: IAM/RBAC/ABAC, şifrələmə, lokalizasiya (məlumatların zona marşrutlaşdırılması).

6) SLO/SLA məlumat məhsulları üçün

• Freshness: Bets Events (p95) ≤ 5 мин; Fraud siqnalları ≤ 30 san; Net Deposits Mart ≤ 15 dəq.
• Availability: ≥ 99. 9% oxu interfeysləri üçün.
• Quality: təkrarlanan ≤ 0. 01%, boş məcburi sahələrin payı ≤ 0. 1%, valyuta uyğunluğu 100%.
• Cost SLO: vitrin skanları dəyəri ≤ N $/gün, small files ratio <10%.

7) Təhlükəsizlik, PII və lokalizasiya

Təsnifat: PII/həssas findan/əməliyyat.
Texniki tədbirlər: at-rest/in-transit şifrələmə; PII tokenizasiya; sütunların maskalanması; row-level 'tenant _ id' filtrləri.
Lokalizasiya: domen məhsulları icazə verilən bölgələrdə dərc olunur (EU/TR/LATAM); transsərhəd paylaşma - yalnız PII olmayan aqreqatlar.
Audit: kim dərc/oxumaq; sxemin versiyası; hüquqların artmasına dair sorğular - təsdiq yolu ilə.

8) FinOps və dəyər idarəetmə

Domen büdcələri: compute limitləri, həddindən artıq xərclər.
Saxlama: saxlama sinifləri + TTL (Bronze qısa, Gümüş orta, Qızıl uzun/aqreqatları).
Sorğuların optimallaşdırılması: partiya/klasterləşdirmə, materiallaşdırılmış təsəvvürlər, BI nəticələrinin cache.
Small files: compaction/OPTIMIZE siyasəti; hədəf fayl ölçüsü 128-1024 MB.

9) Həyat dövrü və təkamül

Versiyası: 'domain. product. v{major}`; minor sahələr - back-compat.
Deprekeyt: istehlakçıların xəbərdarlığı, «iki rels» dövrü, köhnə versiyalarda avtomatik alertlər.
Sxemlərin dəyişdirilməsi: Müqavilə anbarında Pull Request; CI uyğunluq testləri; kataloqa avtopublikasiya.
Geribildirim: məhsul kanalı (issue tracker), istehlakçıların NPS, hadisələrə cavab vaxtı.

10) iGaming üçün konkretləşdirmə - domen və məhsulların xəritəsi

Payments

`payments. psp. webhooks. v1` (stream)

`mart_net_deposits_daily. v1 '(SQL) - SLO təravəti ≤ 15 dəq; PII-free

Games

`bets. events. v1 '(stream/SQL) - p95 ≤ 5 dəq

`mart_ggr_daily. v1 '(SQL/MV) - ölkələr/oyunlar üzrə aqreqatlar

Risk/Anti-fraud

`risk. signals. v1 '(stream) - p95 ≤ 30 san

`risk. case_mgmt. v1 '(SQL) - SCD2 tarixi

CRM/Personalization

`crm. triggers. v1 '(stream) - seqment tetikləyiciləri

`profile. features. online. v1 '(KV/SQL) - onlayn fiçalar (TTL)

KYC/Compliance

`kyc. status. v1 '(SQL) - PII qorunur, row-level policies

`responsible_gaming. events. v1 '(stream) - limitlər/siqnallar

11) Platforma prosesləri və artefaktları

Kataloq: domen/sahə/PII etiketləri üzrə axtarış, sxemləri və nümunələri əvvəlcədən görmək.
Şablon generatorları: yeni məhsul üçün cookiecutter (pasport, CI, DQ testləri, SLO dashboard).
Policy-as-Code: ixrac qaydaları, PII, bölgələr arasında paylaşma.
Müşahidə: hazır dashboard: Freshness, DQ-səhvlər, Cost, Lineage, Stream lag.
Runbooks: təzəlik hadisələri/DQ/sxemləri, təcili deprekeyt, geri versiyaları.

12) Data Mesh miqrasiya (yol xəritəsi)

1. Cari datasetlərin inventarizasiyası → domenlər üzrə qruplaşdırma.
2. Pilot 2-3 domen (Payments, Games, Risk) - pasport məhsulları kimi rəsmiləşdirin.
3. Kataloq və standartlar: sxemlər, metriklər, PII/lokalizasiya, DQ.
4. Self-serve: payplayn şablonları, CI/CD, SLO monitorinqi.
5. Monolit vitrinlərin domenlərə kəsilməsi; köhnə interfeyslərin «iki rels» dəstəyi.
6. Federativ Şura - müntəzəm sessiyalar, dəyişiklik müqaviləsinin revyusu.
7. CRM/Affiliates/Marketinq, sonra - tərəfdaş şerləri.

13) Giriş çek siyahısı

Domenlər müəyyən edilmişdir; sahibləri və rabitə kanalları təyin.
Kataloq istifadəyə verildi; hər məhsulun pasportu dərc edilmişdir.
Sxemlər - müqavilələrin anbarında; CI test uyğunluq/DQ.
SLO/SLA elan; dashboard Freshness/DQ/Cost mövcuddur.
PII/lokalizasiya siyasəti - kod; audit daxildir.
FinOps: büdcələr, alertlər, «domen dəyəri» hesabatı.
Version/deprekeyt prosesi - sənədləşdirilmiş və avtomatlaşdırılmışdır.
Runbooks hadisələr - mövcud və təlim (game-day).

14) Antipattern

«Data Mesh adlandırıldı, lakin hər şey mərkəzi məlumat əmri ilə» - dar boğaz aradan qaldırılmır.
Vahid metrik lüğətin olmaması → GGR/NGR domenlər arasında fərqlənir.
Müqavilələr və uyğunluq testləri olmayan sxemlər → «qırıcı» buraxılışlar.
No Self-serve → hər cədvəl əl ilə yaradılır, yüksək vaxt-məlumat.
Cross-regional paylaşım zamanı PII/lokalizasiyaya məhəl qoymamaq.
Sahibləri olmayan mikro məhsullar/SLO - «tərk edilmiş» məlumatlar.

15) KPI uğur Data Mesh

Time-to-Data: ideyadan mövcud məlumat məhsuluna (median ↓).
Təkrar istifadə: məhsul başına istehlakçı domenlərinin sayı.
Keyfiyyət: uğurlu DQ yoxlamalarının payı, milyon hadisədə qüsurlar.
Etibarlılıq: SLO təzəlik/əlçatanlığa uyğunluq.
Dəyəri: $/sorğu/istifadəçi, small files payı, kompüter təkrar emalı.
Dəyişiklik sürəti: həftədə sxem/vitrin buraxılışları.

Nəticələr

Data Mesh yalnız texnologiya deyil, həm də məlumatların sahibləri, SLO, müqavilələr və keyfiyyət metrləri olan məhsullar olduğu domen federasiyasıdır. iGaming-də bu yanaşma dar ağızları çıxarır, inteqrasiyanı sürətləndirir (antifrod, ödənişlər, CRM), metriklərin şəffaflığını yaxşılaşdırır (GGR/NGR/LTV) və xərclərə nəzarət edir. Güclü self-serve platforması qurun, federal standartları və «məhsul kimi məlumat» mədəniyyətini daxil edin və analitik ekosisteminiz biznes ilə birlikdə ölçülür - keyfiyyət, sürət və uyğunluq itkisi olmadan.