Sincronizar dados analíticos

1) Por que o ecossistema sincroniza analistas

A rede reúne operadoras, estúdios/RGS, afiliados, PSP/APM, KYC/AML provedores e mídia. Para ver um único quadro (vórtices CR→FTD→ARPU/LTV, RG/complance, transporte SLO, finanças/RevShare), o ecossistema precisa de sincronização canônica, oportuna e comprovada de dados entre correntes e vitrines - sem «duas verdades», com um histórico claro de mudanças e controle de custo.

2) Ontologia e contratos de dados

Сущности: `eventId`, `traceId`, `participantId`, `role` (operator/studio/affiliate/psp/kyc/stream), `jurisdiction`, `brandId`, `campaignId`, `apmRouteId`, `gameId`, `tableId`, `currency`, `schemaVersion`, `formulaVersion`.

• `click`, `session_start`, `registration`, `kyc_status`, `deposit`, `ftd`, `bet/spin`, `reward_granted`, `withdrawal`, `postback_sent/received`, `rg_guardrail_hit`, `stream_sli`.

• esquemas em Schema Registry (semver, compatibilidade de campos);
• proprietários, janelas de agregação, SLA frescura e cumplicidade;
• políticas de erro (nullable/braços), guias (moedas, locais, perfis RTP).

Metric Store: versões de fórmulas (GGR/NetRev/CR/ARPU/LTV, fatores K), seus donos e data de entrada - a fórmula é sempre apontada no relatório.

3) Semânticos e janelas temporárias

Event Time vs Processing Time: As agregações devem se basear na hora do evento e não no processamento.
Watermarks: para controlar eventos «tardios»; política de suprimento (por exemplo, T + 24h).
Janelas: Deslizantes/Calendários, com reencaminhados.
Atraso como métrica: é publicado 'ingest _ lag' e 'publish _ lag' para cada vitrine.

4) Transporte e modos de sincronização

1. CDC/streaming (real-tempo):

pneu de evento (EDA), particionamento por 'traceId/participantId';

«exatamente uma vez no sentido», através da idimpotência dos consumidores e do hash dos corpos;

tópicos supervisionados: eventos crus, normalizados, unidades/oráculos.

2. Batch/microatch:

descarregamentos incorporativos com paginação de cursor (cursores temporários/logs);

formatos: Parquet/Avro com esquema; manifestos de partidos.

3. API/webhooks:

'/ vN/events 'com os cursores e' Idempotency-Key ';

webhooks estão assinados (JWS/HMAC), registro de revezamento, backoff + jitter.

4. Asset-sink:

guias/locais/catálogos de jogos como bandles versionizados (hash, TTL).

5) Idempotidade, dedução e eventos tardios

Idempotency-Key e hash corporal em caminhos críticos (pagamentos/pós).
Deduplicação: janela de £5 minutos/watermark; armazenamento de hashes visíveis.
Eventos tardios: política upsert/reversão; changelog vitrines.
Exactly-once em termos empresariais: não exigem a «magia do corretor», exigem a idempotação dos consumidores e a determinação dos circuitos.

6) Alinhamento de atribuições e fórmulas

Atribuição: regra last eligível touch com janelas em canais/jurisdições, cruzado-device somente através de tokens (sem PDN cru).
Fórmulas de métricas: cada entrada refere-se a 'formulaVersion'; As alterações MAJOR são publicadas como eventos 'data _ fórmula _ mudança'.
Backfill de acordo com as regras: quando você muda de fórmula, você pode publicar duplamente (old/new) durante o período de transição (frozen-period).

7) Data Quality: SLI/SLO e testes de conformidade

• Frescor (publish _ lag p95),
• Abrangência (proporção de eventos vs referência),
• Exclusividade (proporção de duplicados),
• Coerência (moeda/local/ID),
• Precisão (somas de controle/oráculos),
• Linetividade do tempo (eventos tardios no corredor).

• publish _ lag p95 ≤ 1-5 c (painéis operacionais), ≤ 15 min (fim. unidades);
• A totalidade da ≥ 99. 5% em T + 15 min, ≥ 99. 9% em T + 24h;
• Duplicado ≤ 0. 1‰; separação com o Orakul ≤ 0. 1–0. 3%.

Testes de Conformance: esquemas, campos obrigatórios, guias, assinaturas de webhooks, descargas de cursor sem omissões.

8) Lineage, auditoria e oráculos

Lineage: da vitrine/dashbord aos conjuntos primários (circuitos/versões/proprietários).
Auditoria WORM: registros imutáveis de esquemas/fórmulas/chaves/exceções.
Orakoulos (resumos assinados): GGR/NetRev/SLO/RG com 'formulaVersion', 'hash', 'kid', 'traceId' é uma fonte de verdade para as faltas e apelações.
Pacotes de teste «trace»: SLA 60-90 s para P1/P2 incidentes.

9) Privacidade, localização e segurança

PII-Minimização: Tocenização 'playerId', proibição de PDN em logs/vitrines, detecção apenas em áreas de cofre.
Localização: mapas de jurisdição (onde armazenamos/processamos classes de dados).
Zero Trust: mTLS, tokens curtos, egress-allow-list, rotação de chaves/JWKS.
ABAC/ReBAC/SoD: O acesso «vejo o meu e o acordado»; «medindo ≠ influenciando ≠ mudando».

10) Reconciação financeira e cálculos

[
NetRev = GGR - BonusCost - Jackpot/PoolShare - PaymentFees - Chargebacks - Tax/Levy - FraudLosses
]

• embarques de cadeira, «oros» (unidades assinadas), valores de controle;
• estatais de faturas, atos de divergência e SLA de análise;
• Regras FX, NET7/14/30, colinas e clau.

11) Gerenciamento de custo de sincronização

Políticas de radicalidade: proibição de 'userId '/URL cru nas editoras; «routeId/campaignId» é permitido.
Downsampling/roll-ups: 1с→1м→5м; Os dados RAW são curtos, as unidades duram mais.
Adaptativo sampling traçado: porcentagem básica + prioridade para erros/caminhos lentos/novas versões.
SLO-first: Coletamos apenas o que suporta as soluções (SLO/finanças/RG).

12) Dashboards de sincronização

Data Sync Overview: publish _ lag, completeness, duplicates, late ratio, schema drivt, erros de conformidade.
Atribute Health: A pontualidade do pós-beck, janelas de deadup, malas disputadas.
Finance/Oracle: discrepância de unidades com oráculos, estatais de faturas.
Jurisdicção Map: localização/fluxo de PDN, cumprimento de DPA/DPIA.

13) Operações, incidentes, RCA

Alerts: burn-rate de frescura/cumplicidade, à deriva dos circuitos, duplicação.
War-room: playbooks prontos para pneus/webhooks/CDC/vitrines; botões parados para agregações/fórmulas.
RCA «sem encontrar culpados»: fakt→gipoteza→eksperiment→vyvod→deystviye; post-mortem SLO.

14) Anti-pattern

Duas verdades em métricas/fórmulas e datas de entrada.
Offset-paginação histórico sob carga (apenas cursores).
PDN cru em logs/vitrines; falta de tocenização.
Zoológico pós-beck sem assinaturas e idempotidade → duplos/buracos.
Mistura Event/Processing Time em agregações.
Não há watermarks e política de eventos tardios.
Alinhamento manual (Excel/download manual) em vez de oráculos.
Um conjunto de grandes tabelas com uma variabilidade ilimitada de editoras.

15) Folhas de cheque

Projeto

• Ontologia, Schema Registry, proprietários, guias.
• Metric Store с `formulaVersion` и frozen-period для MAJOR.
• Semânticos temporários (event time, watermarks), política de eventos tardios.
• Transporte: EDA/CDC, API/webhooks com assinaturas, cursores, idempotidade.
• Data Quality SLI/SLO, testes de conformance, alertas.
• Privacy/Localization (DPIA/DPA), Zero Trust, ABAC/ReBAC/SoD.
• Oráculas e regras de reconciação.

Iniciar

• Caixa de areia e pneus/vitrines de carga/caos.
• Sincronização canária de 1%→5%→25%→50%→100% com guard.
• Dashboard publish _ lag/completeness/duplicates/drivt.
• Documentação de fórmulas e datas de adesão; release-notes `data_formula_change`.

Exploração

• Relatório semanal de DQ; revisão do SLO/guardrails.
• Chainjlogs mensais de diagramas/fórmulas/acessibilidade.
• Regular DR./xaoc para corretor/ingestores/vitrines.

16) Mapa de estrada da maturidade

v1 (Foundation): esquemas unificados, CDC/batch básico, cursores, DQ-SLI, recepção manual.
v2 (Integration): watermarks e política de eventos tardios, oráculos, dashboards de sincronização, auto-retrai com jitter.
v3 (Automation): monitoramento preditivo de frescura/completura, smart-recordation, reindexação automática, sampling adaptável.
v4 (Networked Governance): intercâmbio de oráculos/sinais de qualidade, regras DAO de fórmulas e tesouraria transparente.

17) Métricas de sucesso

Qualidade de dados: publish _ lag p95, completeness%, duplicate ‰, late%, schema drivt rate.
Uniformidade: proporção de relatórios com «formulaVersion» registado, número MAIOR sem incidentes.
Finanças: discrepância com oráculos, participação auto-recepção, controvérsia <X%.
Operações: MTTD/MTTR incidentes de sincronização, proporção de carros-estopes/rollbeek.
Compilação: 0 vazamentos de PDN, verificações DPIA/DPA bem-sucedidas, 100% de disponibilidade de logs WORM.

Resumo breve

A sincronização de dados analíticos não é uma cópia de tabelas, mas um protocolo de confiança e tempo: canônicos de circuitos e fórmulas, event-time com watermarks, cursores e idempotação, deadup e eventos tardios, DQ-SLO e oráculos, privacidade e localização. Seguindo este esqueleto, o ecossistema recebe uma análise única, recente e comprovável, base para soluções rápidas, cálculos honestos e crescimento escalável da rede.