Tahliliy maʼlumotlarni sinxronlashtirish

1) Nega ekotizim analitikani sinxronlashtirishi kerak

Tarmoq operatorlar, studiyalar/RGS, affiliatlar, PSP/APM, KYC/AML provayderlari va mediani birlashtiradi. Yagona rasmni (CR → FTD → ARPU/LTV, RG/komplayens, SLO transport, moliya/RevShare) ko’rish uchun ekotizim ma’lumotlarni zanjir va vitrinalar o’rtasida kanonik, o’z vaqtida va isbotlanadigan sinxronlashtirishni talab qiladi o’zgarishlar tarixi va qiymatni nazorat qilish.

2) Ma’lumotlar ontologiyasi va kontraktlari

Сущности: `eventId`, `traceId`, `participantId`, `role` (operator/studio/affiliate/psp/kyc/stream), `jurisdiction`, `brandId`, `campaignId`, `apmRouteId`, `gameId`, `tableId`, `currency`, `schemaVersion`, `formulaVersion`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit`, `ftd`, `bet/spin`, `reward_granted`, `withdrawal`, `postback_sent/received`, `rg_guardrail_hit`, `stream_sli`.

• Schema Registry sxemalari (semver, maydonlarning mosligi);
• egalari, agregatsiya oynalari, yangi va to’liq SLA;
• xato siyosati (nullable/flags), ma’lumotnomalar (valyutalar, lokallar, RTP-profillar).

Metric Store: formulalarning versiyalari (GGR/NetRev/CR/ARPU/LTV, K-omillar), ularning egalari va kirish sanasi - formulalar hisobotda doimo tepiladi.

3) Vaqtinchalik semantika va derazalar

Event Time vs Processing Time: agregatsiyalar qayta ishlash emas, balki voqea vaqtiga tayanishi kerak.
Watermarks: «kech» hodisalarni nazorat qilish uchun; qo’shimcha qabul qilish siyosati (masalan, T + 24h).
Oynalar: sirpanadigan/kalendar oynalar, qo’shimcha yuklashda qayta hisoblab chiqiladi.
Kechikish metrika sifatida: har bir vitrin uchun’ingest _ lag’va’publish _ lag’nashr etiladi.

4) Transport va sinxronlashtirish rejimlari

1. CDC/striming (real-taym):

voqealar shinasi (EDA),’traceId/participantId’bo’yicha partiyalashtirish;

iste’molchilarning idempotentligi va jismlarning xeshlari orqali «aniq ma’noda bir marta»;

nazorat qilinadigan topiklar: xom hodisalar, normallashtirilgan, agregatlar/oraqullar.

2. Batch/mikrobatch:

kursor paginatsiyali inkremental tushirishlar (vaqtinchalik/log-kursorlar);

sxemali Parquet/Euro formatlari; partiyalar manifestlari.

3. API/vebxuklar:

’/vN/events’kursorlari va’Idempotency-Key’;

vebxuklar imzolangan (JWS/HMAC), qayta o’yinlar reyestri, backoff + jitter.

4. Asset-sink:

ma’lumotnomalar/lokallar/o’yinlar kataloglari versiyalangan bandlalar (xeshlar, TTL) sifatida.

5) Idempotentlik, dedup va kechki voqealar

Idempotency-Key va tananing tanqidiy yo’llardagi xeshi (to’lovlar/postbeklar).
Deduplikatsiya: darcha ± 5 daqiqa/watermark; «ko’rilgan» xeshlarni saqlash.
Kech voqealar: upsert/qayta hisoblash siyosati; changelog vitrin.
Exactly-once biznes ma’nosida: biz «broker sehrini» talab qilmaymiz, iste’molchilarning idempotentligini va sxemalarning aniqlanishini talab qilamiz.

6) Atributiya va formulalarni kelishish

Atributsiya: last eligible touch qoidasi kanallar/yurisdiksiyalar bo’yicha oynalar bilan, kross-devays - faqat tokenlar orqali (xom PDnsiz).
Metrik formulalar: har bir yozuv «formulaVersion» ga havola qilinadi; MAJOR oʻzgarishlari’data _ formula _ change’hodisalari sifatida eʼlon qilinadi.
Qoidalar bo’yicha Backfill: formulani o’zgartirishda o’tish davrida (frozen-period) ikki marta (old/new) e’lon qilishga yo’l qo’yiladi.

7) Data Quality: SLI/SLO va konformans testlari

• Yangilik (publish_lag p95),
• To’liqlik (voqealar ulushi vs etalon),
• Noyobligi (dublikatlar ulushi),
• Muvofiqlik (valyuta/lokal/ID),
• Aniqlik (nazorat summalari/orakulalar),
• Vaqt chiziqligi (kechki koridor hodisalari).

• publish_lag p95 ≤ 1-5 s (operatsion panellar), ≤ 15 min (fin. agregatlar);
• to’liqligi ≥ 99. 5% T + 15 min, ≥ 99. T + 24h da 9%;
• dublikatlar ≤ 0. 1‰; orakul bilan tafovut ≤ 0. 1–0. 3%.

Conformance-testlar: sxemalar, majburiy maydonlar, ma’lumotnomalar, vebxuk imzolari, kursor yuklamalari.

8) Lineage, audit va orakulalar

Lineage: vitrinadan/dashborddan boshlang’ich to’plamlarga (sxemalar/versiyalar/egalar).
WORM-audit: sxemalar/formulalar/kalitlar/istisnolarning o’zgarmas jurnallari.
Orakulalar (imzolangan ma’lumotlar): GGR/NetRev/SLO/RG s’formulaVersion’,’hash (inputs)’,’kid’,’traceId’- invoyslar va apellyatsiyalar uchun haqiqat manbai.
Sinov «treys-paketlar»: SLA 60-90 s P1/P2 hodisalar uchun.

9) Maxfiylik, mahalliylashtirish va xavfsizlik

PII-minimallashtirish:’playerId’tokenlashtirish, loglarda/vitrinalarda PDni taqiqlash, faqat seyf-zonalarda detokenizatsiya qilish.
Mahalliylashtirish: yurisdiksiya xaritalari (ma’lumotlar sinflarini qayerda saqlaymiz/qayta ishlaymiz).
Zero Trust: mTLS, qisqa yashaydigan tokenlar, egress-allow-list, kalitlar rotatsiyasi/JWKS.
ABAC/ReBAC/SoD: kirish «o’zim ko’raman va kelishilgan»; «o’lchayman ≠ ta’sir qilaman ≠ o’zgartiraman».

10) Moliyaviy reconciliation va hisob-kitoblar

[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFees - Chargebacks - Tax/Levy - FraudLosses
]

• kursor yuklamalari, «orlar» (imzolangan agregatlar), nazorat summalari;
• invoyslarning maqomlari, tafovutlar va SLA tahlil dalolatnomalari;
• FX-qoidalar, NET7/14/30, xoldlar va klau-beklar.

11) Sinxronlashtirish qiymatini boshqarish

Kardinallik siyosati: yorliqlarda’userId ’/xom URLni taqiqlash; ’routeId/campaignId’ ga ruxsat berildi.
Downsampling/roll-ups: 1с→1м→5м; RAW ma’lumotlari qisqa, agregatlar esa uzoqroq yashaydi.
Adaptive sampling trassirovkalari: asosiy foiz + xatolar/sekin yoʻllar/yangi versiyalar uchun ustuvorlik.
SLO-first: Biz faqat yechimlarni qo’llab-quvvatlaydigan narsalarni (SLO/moliya/RG) yig’aymiz.

12) Sinxronlashtirish dashbordlari

Data Sync Overview: publish_lag, completeness, duplicates, late ratio, schema drift, konformans xatolari.
Attribution Health: postbeklar o’z vaqtida, dedup derazalari, bahsli holatlar.
Finance/Oracle: agregatlar va orakulalar o’rtasidagi tafovut, invoyslar maqomi.
Jurisdiction Map: lokalizatsiya/PDn oqimlari, DPA/DPIAga rioya qilish.

13) Operatsiyalar, hodisalar, RCA

Alertlar: yangilik/to’liqlik bo’yicha burn-rate, sxemalar dreyfi, dublikatlar ko’tarilishi.
War-room: shina/vebxuk/CDC/vitrin uchun tayyor pleybuklar; agregatsiyalar/formulalar uchun stop-tugmalar.
RCA «aybdorlarni qidirmasdan»: fakt → gipoteza → eksperiment → xulosa → harakat; post-mortem SLO.

14) Anti-patternlar

Metrik/formulalar va kirish sanalari bo’yicha «ikki haqiqat».
Tarixni yuk ostida offset-paginatsiya qilish (faqat kursorlar).
Log/vitrinalarda xom PDn; tokenizatsiya yo’qligi.
Postbeklar hayvonot bog’i imzosiz va idempotentsiz → dubli/tuynuk.
Agregatsiyalarda Event/Processing Time aralashmasi.
Watermarks va kech voqealar siyosati mavjud emas.
Orakulalar o’rniga qo’lda kelishish (Excel/qo’lda tushirish).
Yorliqlarning cheksiz kardinalligi bilan yagona katta jadvallar.

15) Chek-varaqlar

Loyihalash

• Ontologiya, Schema registry, egalari, ma’lumotnomalar.
• Metric Store с `formulaVersion` и frozen-period для MAJOR.
• Vaqtinchalik semantika (event time, watermarks), kech voqealar siyosati.
• Transport: EDA/CDC, imzo bilan API/vebxuklar, kursorlar, idempotentlik.
• Data Quality SLI/SLO, conformance-testlar, alertlar.
• Privacy/Localization (DPIA/DPA), Zero Trust, ABAC/ReBAC/SoD.
• Oracles va reconciliation qoidalari.

Ishga tushirish

• Qum qutisi va yuklash/xaos-yugurish shinalari/vitrinalar.
• Kanar sinxronlashuvi 1% → 5% → 25% → 50% → 100% guardrails bilan.
• Dashbordlar publish_lag/completeness/duplicates/drift.
• Formulalar va kirish sanalari hujjatlari; release-notes `data_formula_change`.

Ekspluatatsiya qilish

• DQning haftalik hisoboti; SLO/guardrails.
• Sxemalar/formulalar/kirishlarning oylik cheynjloglari.
• Broker/ingestorlar/vitrinalar uchun muntazam DR/xaoc.

16) Kamolotning yo’l xaritasi

v1 (Foundation): yagona sxemalar, bazaviy CDC/batch, kursorlar, DQ-SLI, qo’lda reconciliation.
v2 (Integration): watermarks va kech voqealar siyosati, orakulalar, sinxronizatsiya dashbordlari, jitter bilan auto-retraylar.
v3 (Automation): taxminiy yangilik/to’liqlik monitoringi, smart-reconciliation, avto-qayta indeksatsiya, moslashuvchan sampling.
v4 (Networked Governance): sifat orakulalari/signallarini zanjirlararo almashish, formulalarning DAO qoidalari va shaffof g’aznachilik.

17) Muvaffaqiyat metrikasi

Maʼlumot sifati: publish_lag p95, completeness%, duplicate ‰, late%, schema drift rate.
Bir xilligi: qayd etilgan’formulaVersion’hisobotlari ulushi, hodisasiz MAJOR soni.
Moliya: orakulalar bilan tafovut, avto-reconciliation ulushi, bahslilik <X%.
Operatsiyalar: MTTD/MTTR sinxronizatsiya hodisalari, avto-stoplar/rolbeklar ulushi.
Komplayens: 0 PDn sizib chiqishi, muvaffaqiyatli DPIA/DPA tekshiruvlari, WORM-log’larning mavjudligi 100%.
Kuzatish iqtisodiyoti: rps/event da Cost-to-Sync, kardinallikka rioya qilish.

Qisqacha xulosa

Tahliliy ma’lumotlarni sinxronlashtirish jadvallarni ko’chirish emas, balki ishonch va vaqt protokoli: sxemalar va formulalar kanonikasi, watermarks bilan event-time, kursorlar va idempotentlik, dedup va kechki voqealar, DQ-SLO va orakulalar, maxfiylik va mahalliylashtirish. Ushbu asosga amal qilib, ekotizim yagona, yangi va isbotlanadigan tahlilga ega bo’ladi - tezkor yechimlar, halol hisob-kitoblar va tarmoqning ko’lamli o’sishi uchun asos.