Analitik maglumatlary sinhronlamak

1) Näme üçin ekosistema analitikany sinhronlaşdyrýar?

Tor operatorlary, studiýalary/RGS, affiliatlary, PSP/APM, KYC/AML-üpjün edijileri we metbugaty birleşdirýär. Bir suraty görmek üçin (huniler CR → FTD → ARPU/LTV, RG/complayens, SLO transport, finans/RevShare) ekosistemanyň zynjyrlaryň we penjireleriň arasynda kanoniki, öz wagtynda we subut edilip bilinjek maglumatlary sinhronlaşdyrmagyna mätäç - "iki hakykat" bolmazdan, aç-açan üýtgeşmeleriň taryhy we bahanyň gözegçiligi.

2) Maglumatlaryň ontologiýasy we şertnamalary

Сущности: `eventId`, `traceId`, `participantId`, `role` (operator/studio/affiliate/psp/kyc/stream), `jurisdiction`, `brandId`, `campaignId`, `apmRouteId`, `gameId`, `tableId`, `currency`, `schemaVersion`, `formulaVersion`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit`, `ftd`, `bet/spin`, `reward_granted`, `withdrawal`, `postback_sent/received`, `rg_guardrail_hit`, `stream_sli`.

• Shema registriýasyndaky shemalar (semver, meýdanlaryň laýyklygy);
• eýeleri, agregasiýa penjireleri, täzelik we doly SLA;
• ýalňyşlyk syýasaty (nullable/tugmalar), gollanmalar (walýutalar, lokallar, RTP profilleri).

Metric Store: formulalaryň wersiýalary (GGR/NetRev/CR/ARPU/LTV, K-faktorlar), olaryň eýeleri we giriş senesi - formula hasabatda elmydama aýlanýar.

3) Wagtlaýyn semantika we penjireler

Event Time vs Processing Time: agregasiýalar gaýtadan işlemegiň däl-de, wakanyň wagtyna esaslanmalydyr.
Watermarks: "giç" wakalara gözegçilik etmek üçin; kabul etmek syýasaty (mysal üçin T + 24h).
Penjireler: süýşýän/senenama, goşmaça ýüklenende gaýtadan hasaplamak bilen.
Gijä galmak metrika ýaly: her vitrin üçin 'ingest _ lag' we 'publish _ lag' çap edilýär.

4) Ulag we sinhronlaşdyryş usullary

1. CDC/akym (hakyky wagt):

wakalaryň tekeri (EDA), 'traceId/participantId' boýunça partiýa ýerleşdirilmegi;

sarp edijileriň duýgurlygy we jisimleriň heşleri arkaly "manysy boýunça takyk bir gezek";

gözegçilik edilýän topikler: çig wakalar, kadaly, agregatlar/orakulalar.

2. Batch/mikrobatch:

kursor paginasiýasy bilen inkremental düşürmeler (wagtlaýyn/log-kursorlar);

Formatlar: Parquet/Euro shema bilen; partiýalaryň manifestleri.

3. API/webhuk:

'/vN/events 'kursorlary we' Idempotency-Key ';

webhuklar gol çekildi (JWS/HMAC), gaýtadan oýnamak sanawy, backoff + jitter.

4. Asset-sink:

gollanmalar/lokallar/oýun kataloglary wersiýaly bandlalar (heşler, TTL).

5) Idempotentlik, dedup we giç wakalar

Idempotency-Key we möhüm ýollarda beden heşi (tölegler/postbekler).
Duplikasiýa: penjire ± 5 minut/watermark boýunça; "görlen" heşleri saklamak.
Giç wakalar: upsert/tersine sanamak syýasaty; changelog vitrinleri.
Iş manysynda Exactly-once: "dellalyň jadysyny" talap etmeýäris, sarp edijileriň idempotentligini we shemalaryň kesgitlenmegini talap edýäris.

6) Atributy we formulalary utgaşdyrmak

Atributiýa: kanallar/ýurisdiksiýalar boýunça penjireler bilen last eligible touch düzgüni, kross-enjam - diňe bellikler arkaly (çig PD-siz).
Metrik formulalar: her ýazgy 'formulaVersion' -a salgylanýar; MAJOR-üýtgeşmeler 'data _ formula _ change' wakalary hökmünde çap edilýär.
Backfill: formula çalşylanda geçiş döwründe (frozen-period) goşa (old/new) neşir etmäge ýol berilýär.

7) Data Quality: SLI/SLO we konforans synaglary

• Täzelik (publish_lag p95),
• Doly (wakalaryň paýy vs standart),
• Özboluşlylygy (dublikatlaryň paýy),
• Ylalaşyk (walýuta/ýerli/ID),
• Takyklyk (gözegçilik pullary/orakulalar),
• Wagtyň çyzyklylygy (koridorda giçki wakalar).

• publish_lag p95 ≤ 1-5 s (operasiýa panelleri), ≤ 15 min (fin. agregatlar);
• dolulygy ≥ 99. T + 15 minutda 5%, 99 ≥. T + 24h-da 9%;
• dublikatlar ≤ 0. 1‰; orakul bilen gapma-garşylyk ≤ 0. 1–0. 3%.

Conformance-synaglar: shemalar, hökmany meýdanlar, gollar, webhuklaryň gollary, kursor boşatmalar.

8) Lineage, audit we orakulalar

Lineage: penjireden/daşborddan başlangyç toplumlara (shemalar/wersiýalar/eýeler).
WORM-audit: shemalaryň/formulalaryň/açarlaryň/kadadan çykmalaryň üýtgemeýän magazinesurnallary.
Orakulalar (gol çekilen habarlar): GGR/NetRev/SLO/RG c 'formulaVersion', 'hash (inputs)', 'kid', 'traceId' - invoyslar we şikaýatlar üçin hakykat çeşmesi.
Synag "söwda bukjalary": SLA 60-90 s P1/P2 hadysalar üçin.

9) Gizlinlik, lokalizasiýa we howpsuzlyk

PII-minimallaşdyrmak: 'playerId' tokenizasiýasy, loglarda/vitrinlerde PD-ni gadagan etmek, diňe seýf zolaklarynda detokenizasiýa.
Lokalizasiýa: ýurisdiksiýa kartalary (bu ýerde maglumat synplaryny saklaýarys/gaýtadan işleýäris).
Zero Trust: mTLS, gysga ömürli tokenler, egress-allow-list, açar aýlawy/JWKS.
ABAC/ReBAC/SoD: giriş "öz we ylalaşylan görýärin"; "ölçemek ≠ täsir etmek ≠ üýtgetmek".

10) Maliýe reconciliation we hasaplaşyklar

[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFees - Chargebacks - Tax/Levy - FraudLosses
]

• kursor düşürmeleri, "orlar" (gol çekilen agregatlar), gözegçilik pullary;
• inwoýslaryň ýagdaýlary, tapawutlar we SLA seljermesi;
• FX-düzgünler, NET7/14/30, holdlar we klau-bekler.

11) Sinhronlaşdyrmagyň bahasyny dolandyrmak

Kardinallyk syýasaty: 'userId '/çig URL-leri belliklerde gadagan etmek; 'routeId/campaignId' -e rugsat berildi.
Downsampling/roll-ups: 1с→1м→5м; RAW maglumatlary gysga, agregatlar has uzyn ýaşaýarlar.
Adaptive sampling tracks: esasy göterim + ýalňyşlyklar/haýal ýollar/täze wersiýalar üçin ileri tutulýan ugur.
SLO-first: Diňe çözgütleri goldaýan zatlary ýygnaýarys (SLO/finans/RG).

12) Sinhronlaşdyryş tagtalary

Data Sync Overview: publish_lag, completeness, duplicates, late ratio, schema drift, konform ýalňyşlyklary.
Attribution Health: postbekleriň öz wagtynda bolmagy, dedup penjireleri, jedelli ýagdaýlar.
Finance/Oracle: agregatlaryň orakulalar bilen tapawudy, invoýslaryň ýagdaýy.
Jurisdiction Map: lokalizasiýa/PD akymlary, DPA/DPIA berjaý edilýär.

13) Amallar, hadysalar, RCA

Alertler: täzelik/dolulyk boýunça burn-rate, shemalaryň süýşmegi, dublikatlaryň köpelmegi.
War-room: teker/webhook/CDC/vitrin üçin taýýar pleýbuklar; agregasiýalar/formulalar üçin durma düwmeleri.
RCA "günäkärleri gözlemezden": hakykat → gipoteza → synag → netije → hereket; post-mortem SLO.

14) Anti-patternler

Metrikler/formulalar we giriş senesi boýunça "iki hakykat".
Taryhyň ýüklenen ofset-paginasiýasy (diňe kursorlar).
Loglarda/penjirelerde çig PD; tokenizasiýanyň ýoklugy.
Postbekleriň haýwanat bagy gol çekmezden we idempotentlik → dubly/deşikler.
Agregatlarda "Event/Processing Time" -y garyşdyrmak.
Watermarks we soňky wakalar syýasaty ýok.
Orakulalaryň ýerine el bilen ylalaşmak (Excel/el bilen düşürmek).
Nyşanlaryň çäksiz kardinallygy bolan ýeke-täk uly tablisalar.

15) Çek-listler

Dizaýn

• Ontologiýa, Schema registry, eýeler, gollanmalar.
• Metric Store с `formulaVersion` и frozen-period для MAJOR.
• Wagtlaýyn semantika (waka wagty, watermarks), giç wakalar syýasaty.
• Ulag: EDA/CDC, API/webhuklar, kursorlar, idempotentlik.
• Data Quality SLI/SLO, conformance-synaglar, aladalar.
• Privacy/Localization (DPIA/DPA), Zero Trust, ABAC/ReBAC/SoD.
• Oracles we reconciliation düzgünleri.

Başlamak

• Sandyk gutusy we ýüklemek/bulam-bujarlyk/vitrinler.
• Kanar sinhronizasiýasy 1% → 5% → 25% → 50% → 100% guardrails bilen.
• Daşbordlar publish_lag/completeness/duplicates/drift.
• Giriş formulalarynyň we seneleriniň resminamalaşdyrylmagy; release-notes `data_formula_change`.

Ulanyş

• Hepdelik DQ hasabaty; SLO/guardrails.
• Shemalaryň/formulalaryň/girişleriň aýlyk alyş-çalyş sahypalary.
• Broker/ingestorlar/vitrinler üçin yzygiderli DR/xaoc.

16) Kämillik ýaşyna ýetmegiň ýol kartasy

v1 (Foundation): ýeke shemalar, esasy CDC/batch, kursorlar, DQ-SLI, el bilen reconciliation.
v2 (Integration): watermarks we giç wakalar syýasaty, orakulalar, sinhronizasiýa dashbordlary, jitter bilen awto-retra.
v3 (Automation): täzeligiň/dolulygyň öňünden aýdylýan gözegçiligi, smart-reconciliation, awto-gaýtadan indeksasiýa, uýgunlaşýan sampling.
v4 (Networked Governance): orakulalaryň/hil signallarynyň zynjyrara alyş-çalşygy, formulalaryň DAO düzgünleri we aç-açan gazna.

17) Üstünligiň metrikleri

Maglumatlaryň hili: publish_lag p95, completeness%, duplicate ‰, late%, schema drift rate.
Birmeňzeşlik: hasaba alnan 'formulaVersion' hasabatlarynyň paýy, wakasyz MAJOR sany.
Maliýe: orakulalar bilen tapawut, awto-reconciliation paýy, jedellilik <X%.
Amallar: MTTD/MTTR sinhronizasiýa hadysalary, awto-stop/rollbekleriň paýy.
Komplayens: 0 PD syzmagy, üstünlikli DPIA/DPA barlaglary, WORM ýazgylarynyň elýeterliligi 100%.
Gözegçilik ykdysadyýeti: rps/event-de Cost-to-Sync, kardinallygy berjaý etmek.

Gysgaça gysgaça

Analitik maglumatlary sinhronlamak tablisalary göçürmek däl-de, ynam we wagt protokolydyr: shemalaryň we formulalaryň kanonikasy, watermarks bilen waka-wagt, kursorlar we idempotentlik, dedup we giç wakalar, DQ-SLO we orakulalar, gizlinlik we lokalizasiýa. Bu çarçuwa eýerip, ekosistema çalt çözgütler, dogruçyl hasaplamalar we toruň giňeldilen ösüşi üçin ýeke-täk, täze we subut edilýän analitikany alýar.