Data Mesh: Federal data modeli

(Bölüm: Tehnologiýalar we infrastruktura)

Gysgaça gysgaça

Data Mesh - maglumatlar domen buýruklarynyň önümleri hökmünde seredilýän guramaçylyk we tehniki model, platformanyň esasy roly bolsa öz-özüne hyzmat etmegi, standartlary we laýyklygy üpjün etmekdir. "iGaming" üçin bu: "Payments" toparynyň "Deposit Events" we "Net Deposits Mart", "Risk" - "Fraud Signals", "Games" - "Bet Events" we "Leaderboards" -lara eýelik edýändigini aňladýar, merkezi platforma bolsa katalogy, shema-şertnamalary, elýeterlilikleri, hil gözegçiligini berýär, finops we akym gurallary/ELT.

1) Data Mesh ýörelgeleri

1. Domen jogapkärçiligi: Her domen (Payments, Risk, Games, KYC/Compliance, CRM, Affiliate) öz maglumat toplumlaryna we olaryň durmuş sikline eýelik edýär.
2. Önüm hökmünde maglumatlar: her toplumyň eýesi, beýany, SLO, SLA elýeterliligi, resminamalary, wersiýasy, seslenme we ýol kartasy bar.
3. Öz-serve platformasy: ingest/transform/serve adaty paýlaýynlary, şablonlar, howpsuzlyk, katalog we gözegçilik.
4. Federal dolandyryş: şemalaryň, metrikleriň, PII/lokalizasiýanyň we hiliň umumy standartlary - merkezde; durmuşa geçirmek we ewolýusiýa - domenlerde.

2) Iş modeli we rollary

Domain Data Product Owner (DPO): prioritetizasiýa, SLO, maglumat önüminiň gowulaşmalarynyň belligi.
Domain Data Engineer/Analytics Engineer: shemalar, paýlaýjylar, DQ synaglary, wersiýalaşdyrmak.
Domain Steward: meýdan semantikasy, metrik sözlüklere we PII klassifikasiýa laýyklygy.
Platform Team: katalog, IAM/RBAC, Policy-as-Code, tablisa formatlary (Delta/Iceberg/Hudi), orkestr, gözegçilik, finops.
Federated Governance Board: standartlary (shemalary, metrikleri, howpsuzlygy) tassyklaýar, kross-domen jedellerini çözýär.

3) "Data Product" - pasport we artefaktlar

• Contract (shema, görnüşler, ewolýusiýa, gabat gelmek).
• Giriş API (SQL/tablisa, topic/stream, faýl/şer).
• SLA/SLO (täzelik, elýeterlilik, hil).
• DQ-synaglar (özboluşlylyk, diapazonlar, baglanyşyk bitewiligi).
• Resminamalar (meýdanlaryň beýany, soraglaryň mysallary, owner, aragatnaşyk).
• Wersionirlemek (semantic versioning shema, deprekeýt syýasaty).
• Syýasatlar (PII, lokalizasiýa, retention/TTL, hukuklar).

Pasport şablony (YAML, mysal)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) Özara ukyplylyk we standartlar

Shemalar/şertnamalar: Euro/Protobuf/JSON-Schema + Schema Registry; back-compat syýasaty, täze esasy wersiýasy bolmazdan döwýän üýtgeşmeleri gadagan etmek.
Semantik gatlak: GGR, NGR, Net Deposits, LTV, kogortlar - kod hökmünde (dbt metrics/semantic layer).
Kesgitleýjiler: global 'player _ id', 'tenant _ id', 'bet _ id', ýurtlaryň/walýutalaryň/üpjün edijileriň bitewi gollanmalary.
Meta maglumatlar: hökmany sütünler 'ingest _ ts', 'schema _ version', 'trace _ id', 'source', 'region'.
Giriş: SQL (lakehouse/OLAP), akym (Kafka/Pulsar), tablisalary/snapshotlary paýlaşmak; alyş-çalyş formaty - Parquet/Delta/Iceberg.

5) Tehnologiki standart (wendorlara agnostik)

Ingest: Outbox/CDC из OLTP → Kafka → Lakehouse (Bronze).
Transform: ELT/dbt в Silver/Gold; "MERGE", SCD, material penjireler.
Serve: OLAP (ClickHouse/BigQuery/Snowflake), RT-движки (Pinot/Druid) для near-real-time.
Katalog/Lineage: ýekeje katalog, awto-dokumentasiýa, garaşlylyk grafasy.
Syn edilişi: täzelik metrikleri/SLO, DQ-assert, akym laglary, bahasy.
Syýasatlar: IAM/RBAC/ABAC, şifrlemek, lokalizasiýa (maglumatlary zolakly ugrukdyrmak).

6) Maglumat önümleri üçin SLO/SLA

• Freshness: Bets Events (p95) ≤ 5 мин; Fraud Signals ≤ 30 sek; Net Deposits Mart ≤ 15 minut.
• Availability: ≥ 99. Okamak interfeýsleri üçin% 9.
• Quality: dublikatlar ≤ 0. 01%, boş hökmany meýdanlaryň paýy ≤ 0. 1%, walýutalaryň yzygiderliligi 100%.
• Cost SLO: vitrin skanerleriniň bahasy ≤ N $/gün, small files ratio <10%.

7) Howpsuzlyk, PII we lokalizasiýa

Klassifikasiýa: PII/duýgur maliýe/operasiýa.
Tehniki çäreler: at-rest/in-transit şifrlemek; PII tokenizasiýasy; sütünleri gizlemek; row-level 'tenant _ id' boýunça süzgüçler.
Lokalizasiýa: domen önümleri rugsat berlen sebitlerde çap edilýär (EU/TR/LATAM); serhetaşa paýlaşmak - diňe PII bolmadyk agregatlar.
Audit: kim çap etdi/okady; shemanyň görnüşi; hukuklary güýçlendirmek baradaky haýyşlar - ylalaşyk arkaly.

8) FinOps we gymmaty dolandyrmak

Domen boýunça býudjetler: compute çäkleri, artykmaç çykdajy töwekgelçiligi.
Ammar: saklaýyş synplary + TTL (Bürünç gysga, Kümüş orta, Altyn uzyn/agregatlar).
Soraglary optimizirlemek: partiýa/klaster, materiallaşdyrylan görkezmeler, BI netijeleriniň keşi.
Small files: compaction/OPTIMIZE syýasaty; maksatly faýl ululygy 128-1024 MB.

9) Durmuş sikli we ewolýusiýa

Wersiýa: 'domain. product. v{major}`; minor meýdanlar - back-compat.
Deprekeýt: sarp edijilere habar bermek, "iki rels" döwri, köne wersiýalara awtomatiki alertler.
Shemalaryň üýtgemegi: Şertnamalaryň howdanyna Pull Request; CI-laýyklyk synaglary; kataloga awto çap etmek.
Seslenme: önüm kanaly (issue tracker), sarp edijileriň NPS, hadysalara jogap wagty.

10) iGaming üçin takyklamak - domenleriň we önümleriň kartasy

Payments

`payments. psp. webhooks. v1` (stream)

`mart_net_deposits_daily. v1 '(SQL) - SLO täzelik ≤ 15 min; PII-free

Games

`bets. events. v1 '(akym/SQL) - p95 ≤ 5 min

`mart_ggr_daily. v1 '(SQL/MV) - ýurtlar/oýunlar boýunça agregatlar

Risk/Anti-fraud

`risk. signals. v1 '(akym) - p95 ≤ 30 sek

`risk. case_mgmt. v1 '(SQL) - Derňew taryhynyň SCD2

CRM/Personalization

`crm. triggers. v1 '(stream) - segment triggerleri

`profile. features. online. v1 '(KV/SQL) - onlaýn ýeňişler (TTL)

KYC/Compliance

`kyc. status. v1 '(SQL) - PII goralýar, row-level policies

`responsible_gaming. events. v1 '(stream) - çäkler/signallar

11) Platformanyň prosesleri we artefaktlary

Katalog: domen/meýdanlar/PII bellikleri boýunça gözlemek, shemalary we mysallary öňünden görmek.
Şablon generatorlary: täze önüm üçin cookiecutter (pasport, CI, DQ-synaglar, SLO dashbord).
Policy-as-Code: eksport, PII, sebitleriň arasynda sharing düzgünleri.
Syn edilişi: taýýar daşbordlar: Freshness, DQ-ýalňyşlyklar, Cost, Lineage, Stream lag.
Runbooks: täzelik hadysalary/DQ/shemalary, gyssagly deprekate, wersiýalary yzyna gaýtarmak.

12) Data Mesh göçmek (ýol kartasy)

1. Häzirki datasetleriň sanawyny düzmek → domen boýunça toparlara bölmek.
2. 2-3 domeniň piloty (Payments, Games, Risk) - pasportly önüm hökmünde resmileşdiriň.
3. Katalog we standartlar: shemalar, metrikler, PII/lokalizasiýa, DQ.
4. Self-serve: paypline şablonlary, CI/CD, SLO gözegçiligi.
5. Monolit penjireleri domen penjirelerine kesmek; "iki relsli" köne interfeýsleri goldamak.
6. Federatiw geňeş - yzygiderli sessiýalar, üýtgetmeleriň şertnamasyny gözden geçirmek.
7. CRM/Affiliates/Marketing, soňra - hyzmatdaş şerleri boýunça masştab etmek.

13) Girizmegiň çek-sanawy

Domenler kesgitlenildi; eýeleri we aragatnaşyk kanallary bellendi.
Katalog açyldy; Her önümiň pasporty çap edildi.
Shemalar - şertnamalaryň howdanynda; CI/DQ laýyklygyny barlaýar.
SLO/SLA deklarirlenen; "Freshness/DQ/Cost" dashbordlary elýeterlidir.
PII/lokalizasiýa syýasaty - kod; audit girizildi.
FinOps: býudjetler, alertler, "domen bahasy" hasabaty.
Wersiýalaşdyrmak/bölmek prosesi - resminamalaşdyryldy we awtomatlaşdyryldy.
Runbooks hadysalar - elýeterli we tälim (game-day).

14) Antipatternler

"Data Mesh adyny üýtgetdiler, ýöne hemme zat merkezi maglumat buýrugy arkaly" - dar agzy ýok edilmeýär.
Bir metrik sözlügiň ýoklugy → GGR/NGR domenleriň arasynda tapawutlanýar.
Şertnamalar we laýyklyk synaglary bolmadyk shemalar → "döwýän" goýberişler.
No Self-serve → her tablisa el bilen döredilýär, ýokary time-to-data.
Sebitleýin paýlaşylanda PII/lokalizasiýany äsgermezlik etmek.
Eýesiz mikro önümler/SLO - "taşlanan" maglumatlar.

15) KPI üstünlik Data Mesh

Time-to-Data: ideýadan elýeterli maglumat önümine çenli (median ↓).
Gaýtadan ulanmak: bir önüm üçin sarp ediji domenleriň sany.
Hil: üstünlikli DQ barlaglarynyň paýy, million hadysada kemçilikler.
Ygtybarlylyk: SLO-nyň täzelige/elýeterlilige laýyklygy.
Bahasy: $/haýyş/ulanyjy, small files paýy, compute.
Üýtgeşmeleriň tizligi: hepdede shemalaryň/vitrinleriň çykarylmagy.

Netijeler

Data Mesh diňe bir tehnologiýa däl, eýsem domen federasiýasy tarapyndan dolandyrylýar, bu ýerde maglumatlar öz eýeleri, SLO, şertnamalary we hil metrikleri bolan önümlerdir. iGaming-de bu çemeleşme dar bokurdaklary aýyrýar, integrasiýany çaltlaşdyrýar (antifrod, tölegler, CRM), metrikleriň aç-açanlygyny ýokarlandyrýar (GGR/NGR/LTV) we çykdajylara gözegçilik edýär. Güýçli self-serve platformasyny guruň, federal standartlary we "önüm hökmünde maglumatlar" medeniýetini giriziň we analitik ekosistemaňyz, hiliňizi, tizligiňizi we laýyklygyňyzy ýitirmezden, işewürlik bilen bilelikde giňeldilýär.