Analitik verilerin senkronizasyonu

1) Ekosistemin neden analitik senkronizasyona ihtiyacı var?

Ağ, operatörleri, stüdyoları/RGS'yi, bağlı kuruluşları, PSP/APM'yi, KYC/AML sağlayıcılarını ve medyayı bir araya getiriyor. Tek bir resmi görmek için (CR - FTD - ARPU/LTV, RG/uyumluluk, taşıma SLO, finans/RevShare), ekosistemin zincirler ve vitrinler arasında kanonik, zamanında ve kanıtlanabilir veri senkronizasyonuna ihtiyacı vardır - "iki gerçek" olmadan, açık bir değişim ve maliyet kontrolü geçmişi ile.

2) Ontoloji ve veri sözleşmeleri

Сущности: 'eventId', 'traceId', 'katılımcıId', 'rol' (operatör/stüdyo/bağlı kuruluş/psp/kyc/stream), 'yargı yetkisi', 'brandId', 'campaignId', 'apmRouteId', 'gameId', 'tableId', 'currency', 'schemaVersion', 'FormülSürüm'.

• 'click', 'session _ start', 'registration', 'kyc _ status', 'deposit', 'ftd', 'bet/spin', 'reward _ granted', 'withdraw', 'postback _ sent/received','rg _ guardiil _ hit ',' stream _ sli '.

• Şema Kayıt Defterindeki Şemalar (semver, alan uyumluluğu)
• Sahipleri, toplama pencereleri, tazelik ve bütünlük SLA'ları;
• Hata ilkesi (nullable/stubs), dizinler (para birimleri, yerel ayarlar, RTP profilleri).

Metrik Mağaza: Formül sürümleri (GGR/NetRev/CR/ARPU/LTV, K-faktörleri), sahipleri ve giriş tarihi - formül her zaman raporda başlatılır.

3) Zamansal semantik ve pencereler

Olay Zamanı vs İşlem Süresi: Toplamalar işlem süresine göre değil, olay zamanına göre olmalıdır.
Filigranlar: "geç" olayları izlemek için; Kabul politikası (örneğin, T + 24h).
Windows: kayar/takvim, aşırı yükleme sırasında yeniden hesaplama ile.
Metrik olarak gecikme: Her vitrin için 'ingest _ lag've' publish _ lag 'yayınlanır.

4) Taşıma ve senkronizasyon modları

1. CDC/streaming (gerçek zamanlı):

Etkinlik otobüsü (EDA), 'traceId/participantId'ile katılım;

Tüketici idempotency ve vücut karmaları yoluyla "tam olarak bir kez";

küratörlüğünde konular: ham olaylar, normalleştirilmiş, kümeler/kahinler.

2. Toplu/mikrobatch:

imleç sayfalama ile artımlı yüklemeler (geçici/günlük imleçleri);

Formatlar: Şeması olan Parke/Avro; parti manifestoları.

3. API/Webhooks:

İmleçler ve 'Idempotency-Key'ile'/vN/events';

Webhooks imzalı (JWS/HMAC), kayıt defterini tekrar oynatın, backoff + jitter.

4. Varlık-lavabo:

dizinler/yereller/oyunların katalogları sürümlü paketler olarak (karma, TTL).

5) Idempotence, dedup ve geç olaylar

Idempotency-Anahtar ve kritik yollarda vücut karma (ödemeler/postbacks).
Veri tekilleştirme: pencere ± 5 dakika/filigran; "Görülen" karmaların depolanması.
Geç olaylar: upsert/backcount politikası; Changelog vitrinleri.
İş anlamında tam olarak bir kez: "broker büyüsüne" ihtiyacımız yok, tüketici idempotansivitesine ve planların determinizmine ihtiyacımız var.

6) Atıfların ve formüllerin uzlaştırılması

Atıf: Kanallar/yetki alanlarına göre pencereli son isteğe bağlı dokunma kuralı, çapraz cihaz - yalnızca belirteçler aracılığıyla (ham PD olmadan).
Metrik formüller: Her girdi 'Version' formülüne başvurur; BÜYÜK değişiklikler 'data _ formula _ change' events olarak yayınlanır.
Kurallara göre geri doldurma: formülü değiştirirken, geçiş döneminde (dondurulmuş dönem) çift yayına (eski/yeni) izin verilir.

7) Veri Kalitesi: SLI/SLO ve Uygunluk Testleri

• Tazelik (publish_lag p95),
• Tamlık (olayların oranı vs referans),
• Benzersizlik (kopya oranı),
• Tutarlılık (para birimi/yerel/ID),
• Doğruluk (checksums/oracles),
• Zaman doğrusallığı (koridordaki geç olaylar).

• publish_lag p95 ≤ 1-5 s (çalışma panelleri), ≤ 15 dakika (fin. Birimler);
• Bütünlük ≥ 99. T + 15 dakikada %5, ≥ 99. T + 24 saatte %9;
• Yinelenen ≤ 0. 1‰; Kahin uyuşmazlığı ≤ 0. 1–0. 3%.

Uygunluk testleri: şemalar, zorunlu alanlar, dizinler, webhook imzaları, boşluksuz imleç yüklemeleri.

8) Soy, denetim ve oracles

Lineage: Vitrin/panodan birincil setlere (şemalar/sürümler/sahipler).
WORM denetimi: değişmez şema/formül/anahtar/istisna günlükleri.
Oracles (imzalı özetler): GGR/NetRev/SLO/RG ile 'formülSürüm', 'hash (girdiler)', 'kid', 'traceId' - faturalar ve itirazlar için bir gerçek kaynağı.
Deneme "iz paketleri": P1/P2 olaylar için SLA 60-90 s.

9) Gizlilik, yerelleştirme ve güvenlik

PII-minimizasyon: 'playerId'nin tokenizasyonu, günlüklerde/vitrinlerde kişisel verilerin yasaklanması, sadece güvenli bölgelerde detokenizasyon.
Yerelleştirme: yetki alanlarının haritaları (veri sınıflarını depoladığımız/işlediğimiz yerler).
Sıfır Güven: mTLS, kısa ömürlü belirteçler, çıkış-izin-listesi, anahtar rotasyon/JWKS.
ABAC/ReBAC/SoD: "onlarınkini gör ve kabul et" erişimi; "Ölçü ≠ etki ≠ değişim".

10) Mali uzlaşma ve uzlaşma

[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFee - Chargebacks - Tax/Levy - FraudLosses
]

• imleç yüklemeleri, "ors" (imzalı kümeler), sağlama toplamları;
• Fatura durumları, tutarsızlık eylemleri ve SLA'ların ayrıştırılması;
• FX kuralları, NET7/14/30, tutar ve klau-bekler.

11) Senkronizasyon maliyet yönetimi

Kardinalite politikaları: Etiketlerde 'userId'/ham URL'nin yasaklanması; 'routeId/campaignId' izni verildi.
Altörnekleme/yuvarlama: 1с→1м→5м; RAW verileri kısa yaşar, agregalar daha uzun sürer.
İzlerin uyarlanabilir örneklemesi: hatalar/yavaş yollar/yeni sürümler için temel yüzde + öncelik.
SLO-first: Yalnızca çözümleri destekleyenleri toplayın (SLO/Finans/RG).

12) Senkronizasyon panoları

Veri Senkronizasyonuna Genel Bakış: publish_lag, bütünlük, kopyalar, geç oran, şema sürüklenmesi, uygunluk hataları.
Atıf Sağlığı: postback'lerin zamanlaması, dedup pencereleri, tartışmalı durumlar.
Finans/Oracle: agregalar ve kahinler arasındaki tutarsızlık, fatura durumları.
Yargı Haritası: konum/PD akışları, DPA/DPIA uyumluluğu.

13) Operasyonlar, Olaylar, RCA

Uyarılar: Tazelikte/tamlıkta yanma oranı, şemaların sürüklenmesi, kopyaların artması.

Savaş odası: Lastikler/web kitapları/CDC/vitrinler için hazır oyun kitapları; Toplama/formüller için durdurma düğmeleri

RCA "arama suçlu olmadan": faktgipotezaexperimentvyvoddeystviye; Ölüm sonrası SLO.

14) Anti-desenler

Metriklere/formüllere ve katılım tarihlerine göre "iki gerçek".
Yük altında tarihin ofset sayfalanması (yalnızca imleçler).
Günlüklerdeki/vitrinlerdeki ham kişisel veriler; tokenizasyon yok.
İmzalar ve idempotency olmadan Postback hayvanat bahçesi - çiftler/delikler.
Olay/İşlem Süresini toplamalarda karıştırma.
Filigran yok ve geç olay politikası yok.
Oracle yerine manüel mutabakat (Excel/manual uploads).
Etiketlerin sınırsız kardinalitesine sahip tek büyük masalar.

15) Kontrol listeleri

Tasarım

• Ontoloji, Şema Kayıt, sahipleri, referans kitapları.
• Donmuş dönem с MAJOR и Metrik Mağaza для 'formül' Sürümü.
• Zaman semantiği (olay zamanı, filigranlar), geç olay politikası.
• Taşıma: EDA/CDC, API/imzalı webhook'lar, imleçler, idempotency.
• Veri Kalitesi SLI/SLO, uygunluk testleri, uyarılar.
• Gizlilik/Yerelleştirme (DPIA/DPA), Sıfır Güven, ABAC/ReBAC/SoD.
• Oracles ve uzlaşma kuralları.

Başlat

• Sandbox ve Load/Chaos-Bus Çalışır/Vitrinler.
• Kanarya senkronizasyonu %1 - %5 - %25 - %50 - %100 korkuluklarla.
• Gösterge tabloları publish_lag/completeness/duplicates/drift.
• Formüllerin ve geçerli tarihlerin belgelenmesi; release-notes 'data _ formula _ change'.

Operasyon

• Haftalık DQ raporu; SLO/korkuluk revizyonu.
• Şemaların/formüllerin/erişimlerin aylık değişimleri.
• Broker/ingestors/storefronts için düzenli DR/xaoc.

16) Olgunluk yol haritası

V1 (Foundation): birleştirilmiş şemalar, temel CDC/batch, imleçler, DQ-SLI, manuel mutabakat.
V2 (Entegrasyon): Filigranlar ve geç olay politikası, oracles, senkronizasyon panoları, jitter ile otomatik retrays.
V3 (Otomasyon): tahmini tazelik/bütünlük izleme, akıllı mutabakat, otomatik yeniden endeksleme, uyarlanabilir örnekleme.
V4 (Ağa Bağlı Yönetişim): Zincirler arası oracle/kalite sinyali değişimi, DAO formül kuralları ve şeffaf hazineler.

17) Başarı metrikleri

Veri kalitesi: publish_lag p95, tamlık %, yinelenen ‰, geç %, şema kayma oranı.
Tekdüzelik: Sabit bir 'formül' olan raporların oranı, olaysız MAJOR sayısı.
Finans: oracles ile tutarsızlık, oto-uzlaşma payı, anlaşmazlık <X %.
İşlemler: MTTD/MTTR senkronizasyon olayları, otomatik durdurma/geri alma payları.
Uyumluluk: 0 PD sızıntısı, başarılı DPIA/DPA kontrolleri, WORM günlüklerinin %100 kullanılabilirliği.
Gözlemlenebilirlik ekonomisi: Rps/olay başına Maliyet-Senkronizasyonu, kardinalite uyumu.

Kısa özet

Analitik verilerin senkronizasyonu tabloları kopyalamak değil, bir güven ve zaman protokolüdür: şemalar ve formüller, filigranlar, imleçler ve idempotency ile olay zamanı, dedup ve geç olaylar, DQ-SLO ve oracles, gizlilik ve yerelleştirme. Bu çerçeveyi izleyerek, ekosistem, hızlı çözümler, dürüst hesaplamalar ve ölçeklenebilir ağ büyümesinin temeli olan birleşik, taze ve kanıtlanabilir analitik alır.