Data Mesh: федеративті деректер үлгісі

(Бөлім: Технологиялар және Инфрақұрылым)

Қысқаша түйіндеме

Data Mesh - бұл ұйымдастырушылық және техникалық модель, онда деректер домендік командалардың өнімдері ретінде қаралады, ал платформаның негізгі рөлі - өзіне-өзі қызмет көрсетуді, стандарттар мен комплаенсті қамтамасыз ету. iGaming үшін бұл: Payments командасы «Deposit Events» және «Net Deposits Mart», Risk командасы - «Fraud Signals», Games - «Bet Events» және «Leaderboards» иеленеді, ал орталық платформа каталогты, схемалық келісімшарттарды, қолжетімділіктерді, сапа мониторингін, финопс және стриминг құралдары/ELT.

1) Data Mesh қағидаттары

1. Домендік жауапкершілік: әрбір домен (Payments, Risk, Games, KYC/Compliance, CRM, Affiliate) өзінің деректер жиынтығын және олардың өмірлік циклін иеленеді.
2. Өнім ретінде деректер: әрбір жиынтықтың иесі, сипаттамасы, SLO, SLA қолжетімділігі, құжаттамасы, нұсқасы, кері байланыс және жол картасы бар.
3. Self-serve платформасы: ingest/transform/serve стандартты пайплайндары, үлгілер, әдепкі қауіпсіздік, каталог және бақылау.
4. Федеративтік басқару: схемалардың, метрикалардың, PII/оқшаулаудың және сапаның жалпы стандарттары - орталықта; іске асыру және эволюция - домендерде.

2) Операциялық модель және рөлдер

Domain Data Product Owner (DPO): басымдық, SLO, деректер өнімін жақсарту бэклогы.
Domain Data Engineer/Analytics Engineer: схемалар, пайплайндар, DQ тестілері, нұсқалау.
Domain Steward: өріс семантикасы, метрика сөздігі мен PII-жіктелімге сәйкестігі.
Platform Team: каталог, IAM/RBAC, Policy-as-Code, кесте форматтары (Delta/Iceberg/Hudi), оркестрлеу, бақылау, финопс.
Federated Governance Board: стандарттарды (схемаларды, метриканы, қауіпсіздікті) бекітеді, кросс-домендік дауларды шешеді.

3) «Data Product» - паспорт және артефактілер

• Contract (схема, типтер, эволюция, үйлесімділік).
• Қатынау API (SQL/кесте, topic/stream, файл/шэр).
• SLA/SLO (жаңалық, қол жетімділік, сапа).
• DQ-тесттер (бірегейлік, диапазондар, сілтемелік тұтастық).
• Құжаттама (өрістердің сипаттамасы, сұрау мысалдары, owner, контакт).
• Нұсқалау (semantic versioning схемасы, депрекейт саясаты).
• Саясат (PII, локализация, retention/TTL, құқықтар).

Паспорт үлгісі (YAML, мысал)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) Интероперабельділік және стандарттар

Схемалар/келісімшарттар: Euro/Protobuf/JSON-Schema + Schema Registry; back-compat саясаты, жаңа мажорлық нұсқасыз бұзатын өзгерістерге тыйым салу.
Семантикалық қабат: GGR, NGR, Net Deposits, LTV бірыңғай анықтамалары, когорттар - код ретінде (dbt metrics/semantic layer).
Идентификаторлар: жаһандық 'player _ id', 'tenant _ id', 'bet _ id', елдердің/валюталардың/провайдерлердің біріздендірілген анықтамалықтары.
Метадеректер: 'ingest _ ts', 'schema _ version', 'trace _ id', 'source', 'region' міндетті бағандары.
Қолжетімділік: SQL (lakehouse/OLAP), стрим (Kafka/Pulsar), кестелер/снапшоттар шарингі; алмасу пішімі - Parquet/Delta/Iceberg.

5) Технологиялық эталон (вендорларға агностикалық)

Ingest: Outbox/CDC из OLTP → Kafka → Lakehouse (Bronze).
Transform: ELT/dbt в Silver/Gold; «MERGE», SCD, материалдық витриналар.
Serve: OLAP (ClickHouse/BigQuery/Snowflake), RT-движки (Pinot/Druid) для near-real-time.
Каталог/Lineage: бірыңғай каталог, авто-құжаттама, тәуелділік бағандары.
Байқалуы: жаңару метрикасы/SLO, DQ-ассерт, ағын лагдары, құны.
Саясат: IAM/RBAC/ABAC, шифрлау, оқшаулау (деректерді аймақтық бағыттау).

6) Деректер өнімдеріне арналған SLO/SLA

• Freshness: Bets Events (p95) ≤ 5 мин; Fraud Signals ≤ 30 сек; Net Deposits Mart ≤ 15 мин.
• Availability: ≥ 99. 9% оқу интерфейстері үшін.
• Quality: көшірме ≤ 0. 01%, бос міндетті өрістердің үлесі ≤ 0. 1%, валюта консистенттілігі 100%.
• Cost SLO: витринаның скан құны ≤ N $/күн, small files ratio <10%.

7) Қауіпсіздік, PII және оқшаулау

Жіктелуі: PII/сезімтал қаржылар/операциялық.
Техникалық шаралар: at-rest/in-transit шифрлау; PII токенизациялау; бағандарды бүркемелеу; 'tenant _ id' бойынша row-level сүзгілері.
Оқшаулау: домендік өнімдер рұқсат етілген өңірлерде жарияланады (EU/TR/LATAM); трансшекаралық шаринг - PII жоқ агрегаттар ғана.
Аудит: кім жариялады/оқыды; схеманың нұсқасы; құқықтардың күшеюіне сұрау салу - келісу арқылы жүзеге асырылады.

8) ФинОПС және құнын басқару

Домендер бойынша бюджеттер: compute лимиттері, артық шығын тәуекелдері.
Сақтау орны: сақтау сыныптары + TTL (Bronze қысқа, Silver орташа, Gold ұзын/агрегаттар).
Сұратуларды оңтайландыру: партия/кластерлеу, материалдандырылған көріністер, BI нәтижелерінің кэші.
Small files: compaction/OPTIMIZE саясаты; мақсатты файл өлшемі 128-1024 МБ.

9) Өмірлік цикл және эволюция

Нұсқалау: 'domain. product. v{major}`; шағын өрістер - back-compat.
Депрекейт: тұтынушыларды хабардар ету, «екі рельсті» кезең, ескі нұсқаларға автоматты алерталар.
Схемалардың өзгеруі: келісімшарттар репозиторийіндегі Pull Request; CI-үйлесімділік тестілері; каталогқа автопубликациялау.
Кері байланыс: өнім арнасы (issue tracker), тұтынушылардың NPS, инциденттерге жауап беру уақыты.

10) Нақтылау үшін iGaming - домендер мен өнімдердің картасы

Payments

`payments. psp. webhooks. v1` (stream)

`mart_net_deposits_daily. v1 '(SQL) - жас SLO ≤ 15 мин; PII-free

Games

`bets. events. v1 '(stream/SQL) - p95 ≤ 5 мин

`mart_ggr_daily. v1 '(SQL/MV) - елдер/ойындар бойынша агрегаттар

Risk/Anti-fraud

`risk. signals. v1 '(stream) - p95 ≤ 30 сек

`risk. case_mgmt. v1 '(SQL) - тергеу тарихының SCD2

CRM/Personalization

`crm. triggers. v1 '(stream) - сегменттік триггерлер

`profile. features. online. v1 '(KV/SQL) - онлайн-фичи (TTL)

KYC/Compliance

`kyc. status. v1 '(SQL) - PII қорғалған, row-level policies

`responsible_gaming. events. v1 '(stream) - лимиттер/сигналдар

11) Платформаның процестері мен артефактілері

Каталог: домен/өрістер/PII белгілер бойынша іздеу, схемалар мен мысалдарды алдын ала қарау.
Шаблон генераторлары: жаңа өнім үшін cookiecutter (паспорт, CI, DQ-тесттер, SLO дашборды).
Policy-as-Code: экспорт, PII, аймақтар арасындағы шаринг ережелері.
Бақылау қабілеті: дайын дашбордтар: Freshness, DQ-қателер, Cost, Lineage, Stream lag.
Runbooks: жаңалық/DQ/схемалар инциденттері, апаттық депрекейт, нұсқаларды қайтару.

12) Data Mesh-ке көшу (жол картасы)

1. Ағымдағы есептеулерді түгендеу → домендер бойынша топтау.
2. Ұшқыш 2-3 домен (Payments, Games, Risk) - паспорттары бар өнімдер ретінде ресімдеу.
3. Каталог және стандарттар: схемалар, метрика, PII/локализация, DQ.
4. Self-serve: пайплайн үлгілері, CI/CD, SLO мониторингі.
5. Монолитті витриналарды домналық витриналарға кесу; ескі интерфейстерді «екі рельсті» қолдау.
6. Федеративтік кеңес - тұрақты сессиялар, өзгерістер келісімшартын қарау.
7. Масштабтау CRM/Аффилиаттар/Маркетинг, содан кейін - серіктес шерлерде.

13) Енгізу чек-парағы

Домендер анықталған; иелері мен байланыс арналары тағайындалған.
Каталог жегілді; әрбір өнімнің паспорты жарияланды.
Схемалар - келісімшарттардың репозиторийінде; CI/DQ үйлесімділігін тестілейді.
SLO/SLA декларацияланған; Freshness/DQ/Cost дашбордтары қол жетімді.
PII/оқшаулау саясаты - кодпен; аудит енгізілген.
ФинОпс: бюджеттер, конкурстар, «домендер бойынша құны» есебі.
Нұсқалау/депрекейт процесі - құжатталған және автоматтандырылған.
Runbooks оқиғалар - қол жетімді және жаттығылған (game-day).

14) Антипаттерндер

«Data Mesh деп өзгертілді, бірақ барлығы орталық деректер пәрмені арқылы» - тар мойын жойылмайды.
Метриканың бірыңғай сөздігінің жоқтығы → GGR/NGR домендер арасында ерекшеленеді.
Келісімшарттар мен үйлесімділік тестілері жоқ схемалар → «сындыратын» релиздер.
Жоқ Self-serve → әрбір кесте қолмен жасалады, жоғары time-to-data.
Кросс-өңірлік шаринг кезінде PII/локализацияны елемеу.
Иесіз микроөнімдер/SLO - «қараусыз қалған» деректер.

15) KPI жетістік Data Mesh

Time-to-Data: идеядан қол жетімді деректер өніміне дейін (медиана ↓).
Қайта пайдалану: бір өнімге тұтынушы домендер саны.
Сапасы: сәтті DQ-тексерулердің үлесі, млн оқиғадағы ақаулар.
Сенімділік: SLO-ның жаңалық/қол жетімділікке сәйкестігі.
Құны: $/сұрау/пайдаланушы, small files үлесі, compute кәдеге жарату.
Өзгерістер жылдамдығы: аптасына схемалар/витриналар релизі.

Data Mesh - бұл тек технология ғана емес, сонымен қатар домендер федерациясы, онда деректер - өз иелері, SLO, келісімшарттар және сапа өлшемдері бар өнімдер. iGaming-те мұндай тәсіл тар мойындарды алып тастайды, интеграцияны жеделдетеді (антифрод, төлемдер, CRM), метрикалардың ашықтығын жақсартады (GGR/NGR/LTV) және құнын бақылайды. Күшті self-serve платформасын құрыңыз, федеративті стандарттар мен «өнім ретінде деректер» мәдениетін енгізіңіз және сіздің аналитикалық экожүйеңіз бизнеспен бірге - сапаны, жылдамдықты және комплаенсті жоғалтпастан кеңейтіледі.