Analitik məlumatların sinxronizasiyası

1) Niyə ekosistem sinxronizasiya analitikası

Şəbəkə operatorları, studiyaları/RGS, filialları, PSP/APM, KYC/AML provayderlərini və medianı birləşdirir. Vahid mənzərəni görmək üçün (CR → FTD → ARPU/LTV huniləri, RG/complayens, SLO nəqliyyat, maliyyə/RevShare), ekosistemin zəncirlər və vitrinlər arasında kanonik, vaxtında və sübut edilə bilən məlumat sinxronizasiyasına ehtiyacı var - «iki həqiqət» olmadan, aydın dəyişiklik tarixi və dəyər nəzarəti.

2) Ontologiya və məlumat müqavilələri

Сущности: `eventId`, `traceId`, `participantId`, `role` (operator/studio/affiliate/psp/kyc/stream), `jurisdiction`, `brandId`, `campaignId`, `apmRouteId`, `gameId`, `tableId`, `currency`, `schemaVersion`, `formulaVersion`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit`, `ftd`, `bet/spin`, `reward_granted`, `withdrawal`, `postback_sent/received`, `rg_guardrail_hit`, `stream_sli`.

• sxemlər Schema registry (semver, sahələrin uyğunluğu);
• sahibləri, aqreqasiya pəncərələri, təzəlik və dolğunluq SLA;
• səhv siyasəti (nullable/tıxaclar), kataloqlar (valyutalar, lokallar, RTP profilləri).

Metric Store: Düsturların versiyaları (GGR/NetRev/CR/ARPU/LTV, K-amillər), onların sahibləri və giriş tarixi - düstur həmişə hesabatda tapılır.

3) Müvəqqəti semantika və pəncərələr

Event Time vs Processing Time: aqreqasiyalar emal deyil, hadisə zamanı əsaslanmalıdır.
Watermarks: «gec» hadisələrə nəzarət etmək; qəbul siyasəti (məsələn, T + 24h).
Pəncərələr: sürüşmə/təqvim, əlavə yükləmə zamanı yenidən hesablama.
Metrika kimi gecikmə: hər vitrin üçün 'ingest _ lag' və 'publish _ lag' dərc olunur.

4) Nəqliyyat və sinxronizasiya rejimləri

1. CDC/axın (real vaxt):

hadisə şini (EDA), 'traceId/participantId' üzrə partizan;

istehlakçıların idempotentliyi və cisimlərin heşləri vasitəsilə «mənada düz bir dəfə»;

nəzarət edilən topiklər: xam hadisələr, normallaşdırılmış, aqreqatlar/oracle.

2. Batch/mikrobatch:

kursor paqinasiyası ilə inkremental boşaltmalar (müvəqqəti/log-kursorlar);

formatları: Parquet/Avro sxemi ilə; partiyaların manifestləri.

3. API/vebhuk:

'/vN/events 'kursorları və' Idempotency-Key ';

webhucks imzalanmış (JWS/HMAC), təkrar oyun reyestri, backoff + jitter.

4. Asset-sink:

kataloqlar/yerli/oyun kataloqları kimi versiyalı bandlalar (hash, TTL).

5) İdempotentlik, dedup və gec hadisələr

Idempotency-Key və kritik yollarda bədən hash (ödənişlər/postbeklər).
Deduplication: pəncərə ± 5 dəqiqə/watermark; «görünən» heşlərin saxlanması.
Gec hadisələr: upsert/reverse sayma siyasəti; changelog vitrinlər.
Biznes mənasında Exactly-once: «broker sehri» tələb etmirik, istehlakçıların idempotentliyini və sxemlərin müəyyən edilməsini tələb edirik.

6) Atributların və düsturların uyğunlaşdırılması

Atributiya: kanal/yurisdiksiya pəncərələri ilə son eligible touch qaydası, xaç cihazı - yalnız tokenlər vasitəsilə (xam PD olmadan).
Metrik düsturlar: Hər yazı 'formulaVersion' -a istinad edir; MAJOR dəyişiklikləri 'data _ formula _ change' hadisələri kimi dərc olunur.
Qaydalara görə Backfill: formula dəyişdikdə keçid dövründə (frozen-period) ikiqat (old/new) dərc etməyə icazə verilir.

7) Data Quality: SLI/SLO və konformans testləri

• Təravət (publish_lag p95),
• Tamlıq (hadisələrin nisbəti vs etalon),
• Unikallıq (dublikatların payı),
• Uyğunluq (valyuta/lokal/ID),
• Dəqiqlik (nəzarət məbləğləri/oracle),
• Zaman xətti (dəhlizdə gec hadisələr).

• publish_lag p95 ≤ 1-5 s (əməliyyat panelləri), ≤ 15 dəq (fin. aqreqatlar);
• dolğunluq ≥ 99. 5% T + 15 dəq, ≥ 99. 9% T + 24h;
• təkrarlanan ≤ 0. 1‰; oracle fərqi ≤ 0. 1–0. 3%.

Conformance testləri: sxemlər, məcburi sahələr, kataloqlar, vebhuk imzaları, kursor boşaltmaları.

8) Lineage, audit və oracle

Lineage: vitrin/daşborddan ilkin dəstlərə (sxemlər/versiyalar/sahiblər).
WORM-audit: sxemlərin/formulların/açarların/istisnaların dəyişməz jurnalları.
Oracles (imzalanmış hesabatlar): GGR/NetRev/SLO/RG ilə 'formulaVersion', 'hash (inputs)', 'kid', 'traceId' invoys və apellyasiya üçün həqiqət mənbəyidir.
Sınaq «Trace paketləri»: SLA 60-90 P1/P2 hadisələr üçün.

9) Gizlilik, lokalizasiya və təhlükəsizlik

PII-minimallaşdırma: 'playerId' tokenizasiyası, log/vitrinlərdə PD-nin qadağan edilməsi, yalnız seyf zonalarda detokenizasiya.
Lokalizasiya: yurisdiksiya xəritələri (harada məlumat siniflərini saxlayırıq/emal edirik).
Zero Trust: mTLS, qısa ömürlü tokenlər, egress-allow-list, açar rotasiyası/JWKS.
ABAC/ReBAC/SoD: giriş «öz və razılaşdırılmış görürəm»; «Ölçürəm ≠ təsir edirəm ≠ dəyişirəm».

10) Maliyyə reconciliation və hesablaşmalar

[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFees - Chargebacks - Tax/Levy - FraudLosses
]

• kursor boşaltmaları, «orlar» (imzalanmış aqreqatlar), nəzarət məbləğləri;
• invoys statusu, uyğunsuzluq aktları və SLA təhlili;
• FX qaydaları, NET7/14/30, hold və klau-back.

11) Sinxronizasiya xərclərinin idarə edilməsi

Kardinallıq siyasəti: etiketlərdə 'userId '/xam URL qadağası; icazə verilir 'routeId/campaignId'.
Downsampling/roll-ups: 1с→1м→5м; RAW məlumatları qısa, aqreqatlar daha uzun yaşayır.
Adaptive sampling tracks: əsas faiz + səhvlər üçün prioritet/yavaş yollar/yeni versiyalar.
SLO-first: Yalnız həlləri dəstəkləyən şeyləri (SLO/Finance/RG) toplayırıq.

12) Sinxronizasiya Dashboard

Data Sync Overview: publish_lag, completeness, duplicates, late ratio, schema drift, konformans səhvləri.
Attribution Health: postbekov vaxtında, dedup pəncərələri, mübahisəli hallarda.
Finance/Oracle: aqreqatların oracle ilə uyğunsuzluğu, invoys statusu.
Jurisdiction Map: lokalizasiya/PDn axını, DPA/DPIA riayət.

13) Əməliyyatlar, hadisələr, RCA

Alertlər: təzəlik/dolğunluğa görə burn-rate, sxemlərin sürüklənməsi, təkrarların artması.
War-room: şin/vebhuk/CDC/vitrin üçün hazır playbook; aqreqasiyalar/formulalar üçün stop düymələri.
RCA «günahkar axtarışsız»: fakt → fərziyyə → eksperiment → nəticə → hərəkət; post-mortem SLO.

14) Anti-nümunələr

Metriklərə/formulalara və giriş tarixlərinə görə «iki həqiqət».
Yükləmə altında tarixin offset-paginasiyası (yalnız kursorlar).
Log/vitrinlərdə xam PD; tokenizasiyanın olmaması.
Zoopark postbekov imzasız və idempotentlik → dubl/dəliklər.
Aqreqasiyalarda Event/Processing Time qarışdırılması.
Heç bir watermarks və gec hadisələr siyasəti.
Oracle əvəzinə əl ilə koordinasiya (Excel/əl boşaltma).
Etiketlərin qeyri-məhdud kardinallığı ilə vahid böyük cədvəllər.

15) Çek vərəqləri

Dizayn

• Ontologiya, Schema Registry, sahibləri, referans.
• Metric Store с `formulaVersion` и frozen-period для MAJOR.
• Müvəqqəti semantika (event time, watermarks), gec hadisələr siyasəti.
• Nəqliyyat: EDA/CDC, abunə ilə API/webhucks, kursorlar, idempotentlik.
• Data Quality SLI/SLO, conformance testləri, risklər.
• Privacy/Localization (DPIA/DPA), Zero Trust, ABAC/ReBAC/SoD.
• Oracle və reconciliation qaydaları.

Başlanğıc

• Qum qutusu və yük/xaos-aşan şinlər/vitrinlər.
• Kanarya sinxronizasiyası 1% → 5% → 25% → 50% → 100% guardrails ilə.
• Daşbordlar publish_lag/completeness/duplicates/drift.
• Giriş düsturları və tarixlərinin sənədləşdirilməsi; release-notes `data_formula_change`.

Əməliyyat

• Həftəlik DQ hesabatı; SLO/guardrails yenidən baxılması.
• Aylıq sxemlər/düsturlar/girişlər.
• Broker/Ingestorlar/vitrinlər üçün müntəzəm DR/xaoc.

16) Yetkinlik yol xəritəsi

v1 (Fond): vahid sxemlər, əsas CDC/batch, kursorlar, DQ-SLI, əl reconciliation.
v2 (Integration): watermarks və gec hadisələr siyasəti, oracle, sinxronizasiya dashboard, jitter ilə auto retrai.
v3 (Automation): qabaqcadan təravət/tamlıq monitorinqi, smart-reconciliation, avtomatik yenidən indeksləşdirmə, adaptiv sampling.
v4 (Networked Governance): oracle/keyfiyyət siqnalları, DAO düstur qaydaları və şəffaf xəzinələr arasında zəncir mübadiləsi.

17) Uğur metrikası

Məlumat keyfiyyəti: publish_lag p95, completeness%, duplicate ‰, late%, schema drift rate.
Vahid: «formulaVersion» qeydə alınmış hesabatların payı, hadisəsiz MAJOR sayı.
Maliyyə: oracle fərqi, avto-reconciliation payı, mübahisəli <X%.
Əməliyyatlar: MTTD/MTTR sinxronizasiya hadisələri, auto-stop/rollback payı.
Komplayens: 0 PD sızması, uğurlu DPIA/DPA yoxlamaları, WORM-loqların mövcudluğu 100%.
Müşahidə iqtisadiyyatı: rps/event-də Cost-to-Sync, kardinallığa riayət.

Qısa xülasə

Analitik məlumatların sinxronlaşdırılması cədvəllərin kopyalanması deyil, etimad və vaxt protokoludur: sxem və düsturların kanonikası, su markaları ilə event-time, kursorlar və idempotentlik, dedup və gec hadisələr, DQ-SLO və oracle, məxfilik və lokalizasiya. Bu çərçivədən sonra ekosistem vahid, təzə və sübut edilə bilən analitikanı əldə edir - sürətli həllər, dürüst hesablamalar və şəbəkənin genişlənə bilən böyüməsi üçün əsas.