Data Mesh: maʼlumotlarning federal modeli

(Bo’lim: Texnologiyalar va infratuzilma)

Qisqacha xulosa

Data Mesh - bu tashkiliy va texnik model bo’lib, unda ma’lumotlar domen buyruqlari mahsuloti sifatida qaraladi, platformaning asosiy roli esa o’z-o’ziga xizmat ko’rsatish, standartlar va komplayensni ta’minlashdir. iGaming uchun bu: Payments jamoasi «Deposit Events» va «Net Deposits Mart», Risk jamoasi - «Fraud Signals», Games - «Bet Events» va «Leaderboards» ga egalik qiladi, markaziy platforma esa katalog, sxema-kontraktlar, kirish, sifat monitoringi, finops va striming vositalari/ELT.

1) Data Mesh tamoyillari

1. Domen javobgarligi: har bir domen (Payments, Risk, Games, KYC/Compliance, CRM, Affiliate) o’z ma’lumotlar to’plamiga va ularning hayot sikliga egadir.
2. Mahsulot sifatida ma’lumotlar: har bir to’plam egasi, tavsifi, SLO, SLA kirish, hujjatlar, versiya, fikr-mulohazalar va yo’l xaritasiga ega.
3. Self-serve platformasi: ingest/transform/serve standart payplaynlar, shablonlar, andoza xavfsizlik, katalog va kuzatuv.
4. Federativ boshqaruv: sxemalar, metriklar, PII/mahalliylashtirish va sifatning umumiy standartlari - markazda; amalga oshirish va evolyutsiya - domenlarda.

2) Operatsion model va rollar

Domain Data Product Owner (DPO): prioritetlashtirish, SLO, ma’lumotlar mahsulotini yaxshilash manbai.
Domain Data Engineer/Analytics Engineer: sxemalar, payplaynlar, DQ testlari, versiyalash.
Domain Steward: maydon semantikasi, metrika va PII tasnifining lug’atiga muvofiqligi.
Platform Team: katalog, IAM/RBAC, Policy-as-Code, jadval formatlari (Delta/Iceberg/Hudi), orkestr, kuzatuv, finops.
Federated Governance Board: standartlarni (sxemalar, metriklar, xavfsizlik) tasdiqlaydi, kross-domen nizolarini hal qiladi.

3) «Data Product» - pasport va artefaktlar

• Contract (sxema, turlar, evolyutsiya, moslik).
• Kirish API (SQL/jadval, topic/stream, fayl/sher).
• SLA/SLO (yangilik, qulaylik, sifat).
• DQ-testlar (o’ziga xoslik, diapazonlar, havola yaxlitligi).
• Hujjatlar (maydon tavsifi, soʻrov namunalari, owner, aloqa).
• Versiyalash (semantic versioning sxemasi, deprekeyt siyosati).
• Siyosat (PII, mahalliylashtirish, retention/TTL, huquqlar).

Pasport namunasi (YAML, misol)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) Interoperabellik va standartlar

Sxemalar/kontraktlar: Euro/Protobuf/JSON-Schema + Schema Registry; back-compat siyosati, yangi major versiyasiz buzuvchi o’zgarishlarni taqiqlash.
Semantik qatlam: GGR, NGR, Net Deposits, LTV, kogortlar - kod sifatida (dbt metrics/semantic layer).
Identifikatorlar: global’player _ id’,’tenant _ id’,’bet _ id’, mamlakatlar/valyutalar/provayderlarning unifikatsiyalangan ma’lumotnomalari.
Meta maʼlumotlar:’ingest _ ts’,’schema _ version’,’trace _ id’,’source’,’region’majburiy ustunlari.
Kirish: SQL (lakehouse/OLAP), oqim (Kafka/Pulsar), sharing jadvallari/snapshotlari; almashish formati - Parquet/Delta/Iceberg.

5) Texnologik etalon (vendorlarga agnostik)

Ingest: Outbox/CDC из OLTP → Kafka → Lakehouse (Bronze).
Transform: ELT/dbt в Silver/Gold; inkremental’MERGE’, SCD, moddiy vitrinalar.
Serve: OLAP (ClickHouse/BigQuery/Snowflake), RT-движки (Pinot/Druid) для near-real-time.
Katalog/Lineage: yagona katalog, avto- hujjatlar, bogʻliqlik grafigi.
Kuzatilishi: yangilik metrikasi/SLO, DQ-assert, oqim laglari, qiymati.
Siyosati: IAM/RBAC/ABAC, shifrlash, lokalizatsiya (ma’lumotlarni zonali yo’naltirish).

6) Ma’lumotlar mahsulotlari uchun SLO/SLA

• Freshness: Bets Events (p95) ≤ 5 мин; Fraud Signals ≤ 30 sek; Net Deposits Mart ≤ 15 daqiqa.
• Availability: ≥ 99. 9% oʻqish interfeyslari uchun.
• Quality: dublikatlar ≤ 0. 01%, bo’sh majburiy maydonlarning ulushi ≤ 0. 1%, valyutalarning mutanosibligi 100%.
• Cost SLO: vitrin skanerlarining qiymati ≤ N $/kun, small files ratio <10%.

7) Xavfsizlik, PII va mahalliylashtirish

Tasniflash: PII/sezgir moliyaviy/operatsion.
Texnik chora-tadbirlar: at-rest/in-transit shifrlash; PIIni tokenlashtirish; ustunlarni maskalash; ’tenant _ id’ uchun row-level filtrlari.
Mahalliylashtirish: domen mahsulotlari ruxsat etilgan hududlarda e’lon qilinadi (EU/TR/LATAM); transchegaraviy sharing - faqat PIIsiz agregatlar.
Audit: kim e’lon qildi/o’qidi; sxemaning versiyasi; huquqlarni kuchaytirishga doir so’rovlar - kelishish orqali.

8) FinOPS va qiymatni boshqarish

Domenlar bo’yicha budjetlar: compute limitlari, ortiqcha xarajatlar alertlari.
Ombor: + TTL saqlash sinflari (Bronze qisqa, Silver o’rta, Gold uzun/agregatlar).
So’rovlarni optimallashtirish: partiyalar/klaster, materiallashtirilgan taqdimotlar, BI natijalari keshlari.
Small files: compaction/OPTIMIZE siyosati; faylning maqsadli o’lchami 128-1024 MB.

9) Hayot sikli va evolyutsiyasi

Version:’domain. product. v{major}`; minor maydonlar - back-compat.
Deprekeyt: iste’molchilarni xabardor qilish, «ikki rels» davri, eski versiyalarga avtomatik alertlar.
Sxemalarni o’zgartirish: kontraktlar repozitoriyasiga Pull Request; CI-muvofiqlik testlari; katalogga avtopublikatsiya qilish.
Fikr: mahsulot kanali (issue tracker), isteʼmolchilarning NPS, hodisalarga javob berish vaqti.

10) iGaming uchun aniqlashtirish - domen va mahsulotlar xaritasi

Payments

`payments. psp. webhooks. v1` (stream)

`mart_net_deposits_daily. v1’(SQL) - SLO yangiligi ≤ 15 min; PII-free

Games

`bets. events. v1’(stream/SQL) - p95 ≤ 5 min

`mart_ggr_daily. v1’(SQL/MV) - mamlakatlar/o’yinlar bo’yicha agregatlar

Risk/Anti-fraud

`risk. signals. v1’(stream) - p95 ≤ 30 sek

`risk. case_mgmt. v1’(SQL) - tergov tarixi SCD2

CRM/Personalization

`crm. triggers. v1’(stream) - segmentli triggerlar

`profile. features. online. v1’(KV/SQL) - onlayn-fichlar (TTL)

KYC/Compliance

`kyc. status. v1’(SQL) - PII himoyalangan, row-level policies

`responsible_gaming. events. v1’(stream) - limitlar/signallar

11) Platforma jarayonlari va artefaktlari

Katalog: domen/maydon/PII belgilari boʻyicha qidirish, sxemalar va misollarni koʻrib chiqish.
Shablon generatorlari: yangi mahsulot uchun cookiecutter (pasport, CI, DQ-testlar, SLO dashbord).
Policy-as-Code: eksport, PII, sharing qoidalari.
Kuzatish darajasi: tayyor dashbordlar: Freshness, DQ xatolari, Cost, Lineage, Stream lag.
Runbooks: yangilik hodisalari/DQ/sxemalar, avariya deprekeyti, qaytish versiyalari.

12) Data Mesh ga migratsiya (yo’l xaritasi)

1. Joriy maʼlumotlar inventarizatsiyasi → domenlar boʻyicha guruhlash.
2. Uchuvchi 2-3 domen (Payments, Games, Risk) - pasportli mahsulotlar sifatida rasmiylashtirish.
3. Katalog va standartlar: sxemalar, metriklar, PII/mahalliylashtirish, DQ.
4. Self-serve: payplayn namunalari, CI/CD, SLO monitoringi.
5. Monolit vitrinalarni domennalarga kesish; eski interfeyslarni «ikki relsli» qo’llab-quvvatlash.
6. Federativ kengash - muntazam sessiyalar, o’zgartirishlar kontraktining taftishi.
7. CRM/Affiliates/Marketingga, so’ngra sherik sheriklarga ko’paytirish.

13) Joriy etish chek-varaqasi

Domenlar aniqlangan; egalari va aloqa kanallari tayinlangan.
Katalog ishga tushirildi; har bir mahsulotning pasporti e’lon qilingan.
Sxemalar - kontraktlar repozitoriyasida; CI moslashuvchanlikni/DQ testini oʻtkazadi.
SLO/SLA deklaratsiyalangan; Freshness/DQ/Cost dashbordlari mavjud.
PII/mahalliylashtirish siyosati - kod; audit kiritilgan.
FinOps: budjetlar, alertlar, «domenlar bo’yicha qiymat» hisoboti.
Version/deprekeyt jarayoni - hujjatlashtirilgan va avtomatlashtirilgan.
Runbooks hodisalari - mavjud va mashq qilingan (game-day).

14) Antipatternlar

«Data Mesh deb oʻzgartirildi, lekin hamma narsa markaziy maʼlumotlar buyrugʻi orqali» - tor boʻyni bartaraf etilmaydi.
Yagona metrik lugʻatning yoʻqligi → GGR/NGR domenlar orasida farq qiladi.
Kontraktlar va muvofiqlik testlari bo’lmagan sxemalar → «buzuvchi» relizlar.
Hech qanday Self-serve → har bir jadval qoʻlda yaratiladi, yuqori time-to-data.
Kross-mintaqaviy sharingda PII/mahalliylashtirishni e’tiborsiz qoldirish.
Egasiz mikroproduktlar/SLO - «tashlandiq» ma’lumotlar.

15) KPI muvaffaqiyati Data Mesh

Time-to-Data: g’oyadan ma’lumotlar mahsulotigacha (median ↓).
Qayta foydalanish: isteʼmolchi domenlar soni.
Sifat: muvaffaqiyatli DQ tekshiruvlari ulushi, million hodisada nuqsonlar.
Ishonchlilik: SLOning yangilik/foydalanish imkoniyatiga muvofiqligi.
Qiymati: $/soʻrov/foydalanuvchi, ulushi small files, utilizatsiya compute.
Oʻzgarish tezligi: haftasiga sxema/vitrin relizlari.

Yakunlar

Data Mesh - bu nafaqat texnologiya, balki boshqariladigan domen federatsiyasi, bu yerda maʼlumotlar oʻz egalari, SLO, kontraktlar va sifat metrlari boʻlgan mahsulotlardir. iGaming’da bunday yondashuv tor og’izlarni olib tashlaydi, integratsiyani tezlashtiradi (antifrod, to’lovlar, CRM), metriklarning shaffofligini yaxshilaydi (GGR/NGR/LTV) va xarajatlarni nazorat qiladi. Kuchli self-serve platformasini quring, federal standartlar va «mahsulot sifatida ma’lumotlar» madaniyatini kiriting va sizning tahliliy ekotizimingiz biznes bilan birga - sifat, tezlik va muvofiqlikni yo’qotmasdan kengaytiriladi.