Veri Kafesi: federe veri modeli

(Bölüm: Teknoloji ve Altyapı)

Kısa Özet

Data Mesh, verilerin etki alanı ekiplerinin ürünleri olarak değerlendirildiği organizasyonel ve teknik bir modeldir ve platformun merkezi rolü self servis, standartlar ve uyumluluk sağlamaktır. ICaming için bu şu anlama gelir: Ödemeler ekibi "Para Yatırma Etkinlikleri've" Net Para Yatırma Mart "sahibi, Risk ekibi" Dolandırıcılık Sinyalleri "sahibi, Oyunlar" Bahis Etkinlikleri've "Liderlik Tabloları" sahibi ve merkezi platform bir katalog, sözleşme şemaları, erişimler, kalite izleme, finops ve araçlar akışı/ELT sağlar.

1) Veri Ağı ilkeleri

1. Etki alanı sorumluluğu: Her etki alanı (Ödemeler, Risk, Oyunlar, KYC/Uyumluluk, CRM, Ortaklık) veri setlerine ve yaşam döngülerine sahiptir.
2. Ürün olarak veri: Her setin bir sahibi, açıklaması, SLO'su, erişim SLA'sı, belgeleri, sürümü, geri bildirimi ve yol haritası vardır.
3. Self servis platform: standart boru hatları yutmak/dönüştürmek/hizmet, şablonlar, varsayılan güvenlik, dizin ve gözlemlenebilirlik.
4. Federe yönetim: şemaların, metriklerin, PII/yerelleştirme ve kalitenin ortak standartları - merkezde; Uygulama ve evrim - alanlarda.

2) Çalışma modeli ve roller

Etki Alanı Veri Ürünü Sahibi (DPO): önceliklendirme, SLO, veri ürünü iyileştirmelerinin birikimi.
Alan Veri Mühendisi/Analitik Mühendisi: şemalar, boru hatları, DQ testleri, sürüm oluşturma.
Domain Steward: alan semantiği, metrik sözlüğüne yazışma ve PII sınıflandırması.
Platform Takımı: katalog, IAM/RBAC, Kod Olarak Politika, tablo formatları (Delta/Iceberg/Hudi), orkestrasyon, gözlemlenebilirlik, finops.
Federated Governance Board: standartları onaylar (şemalar, metrikler, güvenlik), etki alanları arası anlaşmazlıkları çözer.

3) "Veri Ürünü" - pasaport ve eserler

• Sözleşme (şema, türler, evrim, uyumluluk).
• Erişim API'si (SQL/tablo, konu/akış, dosya/paylaşım).
• SLA/SLO (tazelik, kullanılabilirlik, kalite).
• DQ testleri (benzersizlik, aralıklar, referans bütünlüğü).
• Dokümantasyon (alanların açıklaması, istek örnekleri, sahip, kişi).
• Sürüm oluşturma (semantik sürüm oluşturma şemaları, amortisman politikası).
• Politikalar (PII, yerelleştirme, saklama/TTL, haklar).

Pasaport şablonu (YAML, örnek)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) Birlikte çalışabilirlik ve standartlar

Şemalar/sözleşmeler: Avro/Protobuf/JSON-Schema + Schema Registry; Back-compat politikası, yeni bir ana sürüm olmadan hiçbir kırılma değişikliği yok.
Anlamsal katman: GGR, NGR, Net Deposits, LTV, kohortların birleşik tanımları - kod olarak (dbt metrics/semantic layer).
Tanımlayıcılar: global 'player _ id', 'tenant _ id', 'bet _ id', birleşik ülke/para birimi/sağlayıcı dizinleri.
Meta veriler: Gerekli sütunlar 'ingest _ ts', 'schema _ version', 'trace _ id', 'source', 'region'.
Erişim: SQL (lakehouse/OLAP), stream (Kafka/Pulsar), tablo/anlık görüntü paylaşımı; Değişim formatı Parquet/Delta/Iceberg şeklindedir.

5) Proses referans standardı (satıcılara agnostik)

Ingest: Outbox/CDC из OLTP ^ Kafka ^ Lakehouse (Bronz).
Dönüştürme: ELT/dbt в Gümüş/Altın; Artımlı 'MERGE', SCD, malzeme vitrinleri.
Hizmet: OLAP (ClickHouse/BigQuery/Snowflake), RT- движки (Pinot/Druid) для neredeyse gerçek zamanlı.
Katalog/Lineage: tek bir katalog, otomatik dokümantasyon, bağımlılık grafiği.
Gözlemlenebilirlik: tazelik/SLO metrikleri, DQ-assert, akış gecikmeleri, maliyet.
Politikalar: IAM/RBAC/ABAC, şifreleme, yerelleştirme (bölge veri yönlendirme).

6) Veri ürünleri için SLO/SLA

• Tazelik: Bahisler Olaylar (p95) ≤ 5 мин; Dolandırıcılık Sinyalleri ≤ 30 sn; Net Mevduat Mart ≤ 15 dk.
• Kullanılabilirlik: ≥ 99. Okuma arayüzleri için %9.
• Kalite: 0 ≤ kopyalar. %01, boş zorunlu alanların payı ≤ 0. %1, para birimi tutarlılığı %100.
• Maliyet SLO: pencere taramalarının maliyeti ≤ N $/gün, küçük dosya oranı <%10.

7) Güvenlik, PII ve yerelleştirme

Sınıflandırma: PII/hassas finansal/operasyonel.
Teknik önlemler: şifreleme at-rest/in-transit; PII tokenization; Sütunları maskelemek; 'tenant _ id'tarafından satır düzeyinde filtreler.
Yerelleştirme: domain ürünleri yetkili bölgelerde yayınlanır (EU/TR/LATAM); Sınır ötesi paylaşım - yalnızca PII içermeyen birimler.
Denetim: Kim yayınladı/okudu; Şema sürüm hakları yükseltme istekleri - onay yoluyla.

8) FinOps ve Değer Yönetimi

Etki alanına göre bütçeler: hesaplama limitleri, aşırı harcama uyarıları.
Depolama: depolama sınıfları + TTL (Bronz kısa, Gümüş orta, Altın uzun/agrega).
Sorgu optimizasyonu: bölümler/kümeleme, materyalize görünümler, BI sonuç önbelleği.
Küçük dosyalar: sıkıştırma/OPTIMIZE politikaları; Hedef dosya boyutu 128-1024 MB'dir.

9) Yaşam döngüsü ve evrim

Sürüm oluşturma: 'domain. ürün. v {major} '; küçük alanlar - back-compat.
Kullanımdan kaldırma: tüketici bildirimi, "iki raylı" dönem, eski sürümlere otomatik uyarılar.
Şema değişiklikleri: Pull Request to contract repository; CI uyumluluk testleri; Kataloğa Otomatik Yayınla.
Geribildirim: ürün kanalı (sorun izleyici), tüketici NPS, olay yanıt süresi.

10) iGaming için somutlaştırma - etki alanı ve ürün haritası

Ödemeler

'ödemeler. psp. webhooks. v1 '(akış)

'mart _ net _ deposits _ daily. v1 '(SQL) - SLO tazeliği ≤ 15 dakika; PII'siz

Oyunlar

'bahisleri. olaylar. v1 '(stream/SQL) - p95 ≤ 5 dk

'mart _ gr _ günlük. v1 '(SQL/MV) - ülkeye/oyuna göre kümeler

Risk/Anti-dolandırıcılık

'risk. Sinyaller. v1 '(akış) - p95 ≤ 30 sn

'Risk. case_mgmt. v1 '(SQL) - SCD2 Araştırma Geçmişi

CRM/Kişiselleştirme

'crm. Tetikleyiciler. v1 '(akış) - segment tetikleyicileri

'propile. özellikleri. Çevrimiçi. v1 '(KV/SQL) - çevrimiçi özellikler (TTL)

KYC/Uyumluluk

'kyc. durum. v1 '(SQL) - PII korumalı, satır düzeyi politikaları

'responsible _ gaming. olaylar. v1 '(akış) - limitler/sinyaller

11) Platform süreçleri ve eserler

Dizin: etki alanına/alanlara/PII etiketlerine göre arama, diyagramların ve örneklerin önizlemesi.
Şablon jeneratörleri: Yeni bir ürün için cookiecutter (pasaport, CI, DQ testleri, SLO panosu).
Kod Olarak Politika: ihracat kuralları, PII, bölgeler arasında paylaşım.
Gözlemlenebilirlik: Hazır panolar: Tazelik, DQ hataları, Maliyet, Lineage, Stream lag.
Runbooks: tazelik/DQ/şemalar, acil durum kullanımdan kalkma, sürümlerin geri alınması olayları.

12) Veri Kafesine Geçiş (yol haritası)

1. Mevcut veri kümelerinin envanteri - etki alanına göre gruplandırma.
2. Pilot 2-3 alan adı (Ödemeler, Oyunlar, Risk) - pasaportlu ürünler olarak yayınlanır.
3. Katalog ve standartlar: şemalar, metrikler, PII/yerelleştirme, DQ.
4. Self servis: boru hattı şablonları, CI/CD, SLO izleme.
5. Monolitik vitrinleri yüksek fırına kesmek; Eski arayüzler için "iki raylı" destek.
6. Federated Council - düzenli oturumlar, gözden geçirme sözleşmesi değişiklikleri.
7. CRM/İştirakler/Pazarlama'ya, ardından İş Ortağı Paylaşımı'na ölçeklendirin.

13) Uygulama kontrol listesi

Tanımlanan alanlar; sahipler ve iletişim kanalları atanır.
Dizin başladı; Her ürünün pasaportu yayınlanır.
Şemalar - sözleşme deposunda; CI uyumluluğu/DQ'yu test eder.
SLO/SLA açıkladı; Tazelik/DQ/Maliyet panoları mevcuttur.
PII/yerelleştirme politikaları - kod; denetim etkinleştirildi.
FinOps: bütçeler, uyarılar, etki alanına göre maliyet raporu.
Sürüm oluşturma/para yatırma işlemi - belgelenmiş ve otomatik.
Olayların Runbooks - mevcut ve eğitimli (oyun günü).

14) Antipatterns

"Yeniden adlandırılmış Data Mesh, ancak hepsi merkezi veri komutu aracılığıyla" - dar boyun ortadan kaldırılmaz.
Tek bir metrik sözlüğünün olmaması - GGR/NGR alanlar arasında farklılık gösterir.
Sözleşmeler ve uyumluluk testleri olmayan şemalar - "kırma" sürümleri.
Self-serve yok - her tablo manuel olarak oluşturulur, yüksek veri süresi.
Bölgeler arası paylaşımda PII/yerelleştirmeyi göz ardı etme.
Sahipsiz mikro ürünler/SLO - "terk edilmiş" veriler.

15) Veri Mesh Başarı KPI

Zaman-Veri: fikirden mevcut veri ürününe (medyan ↓).
Yeniden kullanım: Ürün başına tüketici etki alanı sayısı.
Kalite: Başarılı DQ kontrollerinin payı, milyon olay başına kusurlar.
Güvenilirlik: Tazelik/kullanılabilirlik ile SLO uyumluluğu.
Maliyet: $/request/user, küçük dosyaların paylaşımı, bilgi işlem bertarafı.
Değişim oranı: Haftada devre/vitrin bültenleri.

Özet

Data Mesh sadece bir teknoloji değil, aynı zamanda verilerin sahipleri, SLO'ları, sözleşmeleri ve kalite metrikleri ile ürünler olduğu yönetilen bir alan adı federasyonudur. Bu yaklaşım, iGaming'de dar boyunları kaldırır, entegrasyonu hızlandırır (sahtekarlıkla mücadele, ödemeler, CRM), metriklerin şeffaflığını artırır (GGR/NGR/LTV) ve maliyeti kontrol eder. Güçlü bir self-servis platformu oluşturun, federe standartları ve bir ürün olarak veri kültürünü tanıtın ve analitik ekosisteminiz kalite, hız veya uyumluluğu kaybetmeden işle ölçeklenir.