Modelos à deriva e atualização de dados

1) Por que isso é importante

Em iGaming de distribuição de tráfego, pagamentos e comportamento de jogo mudam rapidamente (sazonalidade, provedores, promoções, regulação). Sem controle da deriva do sistema, os erros expectados crescem, como perdas na Net Revenue, falsas intervenções RG/AML, aumento do abate bónus. O objetivo é detectar a deriva cedo, diagnosticar a causa, atualizar os dados e modelos de forma segura.

2) Taxonomia à deriva (o que pode «nadar»)

Covariate drivt (X): fici (por exemplo, proporção de celular/ASN, mix de provedores) mudou.
Label/Outcome drivt (Y): a base de eventos mudou (chargeback-rate, click/convert-rate).

3) Sinais e liminares (orientações)

PSI (Population Stability Index): 0. 10–0. 20 avisos,> 0. 20 é um evento à deriva.
Divergência KL/JS: crescimento para liminares a partir de fichas/escores essenciais.
KS para escores (nas editoras): aumento da discrepância de CDF.
ECE:> 0. 05 aviso,> 0. 07 - Ação.
Expected-cost @ threshold: crescimento de X% para o modelo básico.
Coverage e Missing-rate: queda de cobertura <99%, crescimento de missing/timeout> limiar.
Sliice-métricas: PR-AUC/ECE/expected-cost sobre mercados/valores; desencadeadores de queda> Y%.

Escolha da janela: rápido - 1h/6h/24h (deslizante), relatado - D + 1/D + 7 (registro de gravações detidas).

4) Janelas e editoras (atrasos)

Seleções proxy rápidas click, depósito 7d, mala RG concluída - para avaliação precoce.
Selos detidos: chargeback (45-90d), churn/LTV - para validação retrospectiva e correção de liminares/calibragem.
As-of disciplina, nem em fitas, nem em editoras, «eventos do futuro».

5) Diagnóstico de causas primárias (folha de cheque RCA)

1. Dados: PSI/KL por top fichs, missing/lag, schema diffs, novas categorias.
2. Fonte: alertas de fornecedores (PSP/provedor de jogos), erros de API/timeout.
3. Sazonalidade/promoções: pico de missões/torneios, alterações RTP/catálogo.
4. Região/Residência: mudança de tráfego nos mercados, novas regras KYC/RG.
5. Técnica: degradação do fich-cachê, lento CDC, tempestade de small files.
6. Guias/taxas de câmbio/calendário: obsoletos? (FX/feriados).
7. Justiça: falha na qualidade em slides específicos.

6) Playbook de ação à deriva

6. 1 Covariate/Feature drift

Rápido: Atualizar a calibragem (Platt/Isotonic D + 1), e construir um limite para expected-cost.
Médio prazo: Refeitura parcial (unidades/janelas sustentáveis), atualizar TE/WOE com time-aware CM.
A longo prazo: retrain com novas amostras/janelas, se necessário, rever a arquitetura do fic.

6. 2 Label/Outcome drift

Recalcular liminares por editoras recentes (D + 1, D + 7), calibrar pena.
Fixar guardrales (limitar agressões até estabilização).

6. 3 Concept drift

Shadow-treinamento nova versão em dados recentes → canary → um rollout completo.
Considerar a descomposição de domínios (modelos individuais por segmento/mercado).

6. 4 Schema/Operational drift

Incluir dupla gravação v1/v2 circuitos, teste de equivalência online/offline.
Consertar as fontes, ligar o cachê/folbacks, compensar os saltos de backfill.

6. 5 Fairness drift

Liminares de slides temporários/calibragem, targeted retrain/rebalance fichic, auditoria de variáveis proxy.

6. 6 Escaladas

Kill-switch (guarda breach) → um fallback seguro/versão anterior.
Rollback one-click a 5xx/latency/expected-cost.

7) Política de atualização de dados

7. 1 Encartes e CDC

Watermarks/regulação de replicação estável; MERGE/UPSERT idêntico.

7. 2 Backfill/Reprocessing

Backfill: dogão por faixa (com quotas e janelas).
Reprocessing: reajuste quando a lógica for alterada ou corrigida.
Метки: `logic_version`, `reprocessed_at`, `reason`; relatório de impacto (métricas/custo).

7. 3 Time-travel/WORM

TABELAS ACID (Delta/Iceberg/Hudi), arquivos de relatórios/lançamentos WORM.
«Como estava na data»: Reprodutividade dos relatórios regulatórios.

7. 4 Guias/FX/Calendários

Atualizações automáticas, assinatura, versões e verificação de frescura (SLO em latency e age).

8) Métricas e alertas (conjunto mínimo)

Dados: PSI/KL por top fichs, missing-rate, função-fetch latency.
Qualidade: PR-AUC/KS (em proxy), ECE, expected-cost @ thr.
Operações: p95/p99 latency, 5xx, coverage, autoscaling, vale/request.
Fairness: painel de slides (mercados/dispositivos/provedores).
Contratos: schema-violações, online/offline equalence teste.

9) Procedimentos de atualização do modelo

1. Shadow: novo modelo em cópias de consulta, comparação latency/quality/cost.
2. Canary: 5-10% → 25% → 50% → 100% para SLO verde.
3. Limiar/calibragem: Contamos com D + 1; liminares - config no registo.
4. Documentação: cartão de modelo (dados, janelas, métricas, riscos, fairness).
5. Arquivo: lançamento WORM (peso, calibração, revistas de testes, relatórios à deriva).

10) Exemplos (fatias)

10. 1 PSI em ideias SQL (bining pré-preparado)

sql
-- ref_dist(bin, p_ref), prod_dist(bin, p_prod) для фичи amount_base
SELECT SUM((p_prod - p_ref) LN((p_prod + 1e-9)/(p_ref + 1e-9))) AS psi
FROM (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_prod
FROM prod_binned GROUP BY bin
) p
JOIN (
SELECT bin, COUNT()/SUM(COUNT()) OVER() AS p_ref
FROM ref_binned GROUP BY bin
) r USING (bin);

10. 2 Correção da liminar expected-cost (pseudocode)

python thr_grid = np. linspace(0. 01, 0. 99, 99)
costs = [expected_cost(y_true, y_prob >= t, c_fp, c_fn) for t in thr_grid]
thr_best = thr_grid[int(np. argmin(costs))]

10. 3 Equivalência online/offline fic

python diff = np. abs(f_online. values - f_offline. values)
assert np. quantile(diff, 0. 95) < MAX_ABS_DIFF_95

10. 4 Backfill com carga limitada (ideia de orquestração)

yaml job: backfill_gold_ggr limits: {concurrency: 1, max_partitions_per_run: 4}
guards:
- window: "02:00-06:00"
- markets: ["EEA","UK"]
- budget: "compute_hours<=50"

11) Testes e controle de alterações

Contratos de circuito/fique: consumer-driven tests, dupla gravação v1/v2.
Testes de regressão de métricas: não piorar PR-AUC/ECE/expected-cost além da tolerância.
Testes de equivalência online/offline na amostra de referência.
Testes Chaos: falha do fich-cachê, temporizações de fontes, tráfego burst.

12) Fairness e complacência

Relatórios slice (disparate impact, equalized odds), liminares de slides/calibragem.
PII-Minimização, Residência (EEA/UK/BR), DSAR/PTBF, Legal Hold.
Auditoria de soluções: "policy _ id", "threshold', razões das intervenções, logs WORM.

13) Custo e desempenho

Cost dashboards: cost/request, cost/feature, state-size стрима, IO/scan/GB для batch.
Otimização: materialização de fiques pesados offline, dinheiro de janelas quentes, INT8/FP16 em qualidade igual.
Quotas: limites para backfill/replay, orçamento para retrain por mercado/comando.

14) RACI

R (Resolvível): MLOps (monitoramento/registro/saques), Data Eng (dados/CDC/backfill/contratos), Data Science (diagnóstico/calibragem/retrain/fairness).
A (Accountable): Head of Data / CDO.
C (Consulted): Compliance/DPO (PII/RG/AML/DSAR), Security (KMS/auditoria), SRE (SLO/valor), Finance (orçamentos/ROY).
I (Informed): Produto/Marketing/Operações/Suporte.

15) Mapa de trânsito

1. PSI/KL em top phiches e score, ECE, expected-cost em proxy.

2. Dashboards coverage/missing/função-lag, alertas e runbook 'i.

3. Procedimentos de recalibração (D + 1) e liminares; caminho shadow para novos modelos.

4. Contratos de circuito/fic e teste de equivalência online/offline.

• Painel RCA, monitoramento slice/fairness, plano backfill com quotas.
• Controle automático calibragem/liminares, simulador de liminares (what-if).
• Arquivo WORM relatórios à deriva e lançamentos.

• Auto-retrain sobre eventos à deriva (canarinho), política multi-regional.
• Quotas de custo/chargeback, chaos-/doutor-ensinamentos, documentação automática.

16) Folha de cheque antes de vender

• SLI/SLO e alertas estão configurados (PSI/ECE/expected-cost/coverage/latency/5xx).
• Contratos de circuito/fic e dupla gravação v1/v2 - verde.
• Os procedimentos de recalibration/threshold-update são documentados e automatizados.
• Shadow/canary com one-click rollback testado.
• Backfill/reprocessing com quotas e janelas - prontas; O arquivo WORM está ativado.
• Painéis Slice/fairness e donos de segmentos são designados.
• As políticas PII/DSAR/PTBF/Legal Hold foram cumpridas; a auditoria está ativada.
• O custo está sob controle (custo/request, custo/função), e o dinheiro/TTL está configurado.

17) Anti-pattern e riscos

Viram um PSI alto - imediatamente retrain «cego», sem RCA e calibragem.
Não contam as editoras detidas, as conclusões falsas, a «pilhagem de liminares» todos os dias.
Falta de teste de equivalência online/offline → «realidade dupla».
Omissão fairness: falhas de mercado/dispositivos permanecem invisíveis.
Backfill sem quotas/janelas → impacto de valor e SLA.
O limiar é fixo «para sempre» → o crescimento expected-cost na sazonalidade.

18) Total

Controlar à deriva não é um retrain descartável, mas sim um processo: observabilidade → diagnóstico → ação de risco mínimo (calibragem/limiar) → retrain/refichering seguro → controle de custo e auditoria. Com essa disciplina, os modelos permanecem precisos, éticos e complicados, mesmo quando o comportamento dos jogadores, provedores e mercado muda.