Batch vs Stream: quando

Por que escolher?

Qualquer sistema de dados é equilibrado entre a frescura (latency), o custo, a complexidade do suporte e a confiabilidade.
Batch - «porções» periódicas de dados de alta largura de banda e baixo custo por gravação.
Stream: processamento contínuo de eventos com um mínimo de atraso e estado de memória/estoques locais.

Resumo sobre modelos

Batch

Origem: arquivos/tabelas/tabuleiros.
Agendamento (hora/dia) ou condição (novo arquivo de parquete).
Pontos fortes: simplicidade, determinismo, contexto completo de dados, grandes cálculos baratos.
Fraco: sem «online», alta latência, «janelas» sem sinais de tempo real.

Stream

Fonte: corretores (Kafka/NATS/Pulsar), CDC, filas.
O trigger é um evento.
Forte: baixa retenção, reatividade, integração natural com o produto.
Fracos: dificuldade de tempo (event vs processing), ordem/duplicação, condição, operação.

Solução: matriz de seleção

Regra 80/20: Se a SLA permite atrasos de minutos/horas e não há jatos, pegue no batch. Se a reação é crítica «aqui e agora» ou precisa de vitrines vivas - stream (muitas vezes + batch noturno extra para conciliação).

Cenários típicos

• Relatórios diários, sessões de billing, treinamento ML, grandes joões, dedução de todo o conjunto.
• Modelo medalhão (bronze/silver/gold) com validações profundas.
• Batestes em massa e cruzamento de vitrines.

• Antifrod/monitoramento, alertas SRE, real-time balanço/missões, recomendações «agora».
• Integração de evento como fato (EDC), atualização de visualizações materializadas (CQRS).
• Microsserviços, notificações, webhooks, reações a eventos de negócios.

• O fluxo forma vitrines operacionais e sinais; o batch noturno faz um ajuste, um conjunto e contagens históricas baratas.

Arquiteturas

Lambda (Stream + Batch)

Stream para incorporação e online; Batch para a totalidade e correções.
Vantagens: flexibilidade e SLA. Contras: dupla lógica, duplicação de código.

Kappa (все — Stream + Replay)

Um único logo como fonte da verdade; batch-recontagem = replay.
Uma base de códigos, uma semântica única. Contras: mais difícil de operar, exigências de armazenamento.

Hybrid-Pragmatic

«operacionalização» de streaming + batch-jobs periódicos para joins pesados/ML/correções.
Na prática, é a opção mais comum.

Hora, ordem, janelas (para Stream)

Baseie-se em event time, não em processing time.
Gere watermark e 'allowed _ lateness'; suporte retrações/upserts para eventos recentes.
Particione as chaves das máquinas, planeje as chaves quentes.

Confiabilidade e semântica de efeitos

Batch

Transações de BD ou substituição atômica de partituras/tabelas.
Idempotidade - via deterministic-computação e overwrite/insert-overwrite.

Stream

At-least-once + idumpotentes sinks (upsert/merge, versões das unidades).
A transação «leu-gravou-registrou-a-posição» para o EOS sobre o efeito.
Tabelas de dedução por 'event _ id '/' operation _ id'.

Arquivos e formatos

Batch

Data Lake (Parquet/Delta/Iceberg), OLAP (ClickHouse/BigQuery), armazenamento de objetos.
Tabelas ACID para replace atomic, time travel.

Stream

Logi/tópicos em corretores, state stores (RocksDB/embedded), KV/Redis, OLTP para projeções.
Registro de esquema (Avro/JSON/Proto), modos de compatibilidade.

Custo e SLO

Batch: paga com «maços» - é vantajoso com grandes quantidades, mas atrasa ≥ agendamento.
Stream: Recursos contínuos, custo de pico a alto QPS; Mas o SLA está em segundos.
Leia p95/p99 latency, liga de passagem, custo em u.e./evento e suporte TCO.

Testes

Conjunto golden, invariantes property-based, geração de entradas sujas.
Batch: determinação, reiniciação idumpotente, comparação de resumos antes/depois.
Stream: out-of-order/duplicados, fault-inhation entre o efeito e a fixação do ofset, testes replay.

Hopsability

Batch: longa duração, proporção de feeds/retrações, frescor de vitrines, scan-cost.
Stream: liga de tempo/mensagens, watermark, late-rate, tamanho state/frequência checkpoint, taxa DLQ.
Em todo lugar: 'trace _ id', 'event _ id', versões de circuitos/linhas de montagem.

Segurança e dados

PII/PCI - Minimizar, criptografar at-rest/in-flight, marcar campos em esquemas ('x-pii').
Para Stream - proteção state/checkpoint 'ov, LCA em topics.
GDPR/direito ao esquecimento: em Stream - cripto-apagado/redação em projeções; O Batch é um repasse de partituras.

Estratégias de transição

Batch → Stream: Comece por publicar eventos (Outbox/CDC) e levante uma pequena vitrine real-time sem tocar no conjunto existente.
Stream → Batch: Adicione os pacotes diários para relatórios/conciliação e para reduzir a carga de trabalho dos sinks de streaming.

Anti-pattern

Tudo na Stream pela moda, é caro e difícil sem necessidade real.
«Um batch noturno gigante» para os requisitos <5 minutos.
Usar processing time para métricas de negócios.
CDC crus como eventos públicos, conectividade severa, dor na evolução.
Não há idempotidade em sinks → efeitos duplos em restarte.

Folha de seleção de cheque

• SLO de frescura: quantos segundos/minutos/horas é permitido?
• Estabilidade de entrada: Há algum out-of-order/duplicado?
• São necessárias reações online/vitrines?
• Custo: rântaim 24/7 vs «janela programada».
• O método de correção é retract/upsert ou recontagem noturna.
• Comando e maturidade operacional (on-call).
• Requisitos para «exatamente um efeito».
• Políticas PII/Reticência/direito ao esquecimento.

Pattern de arbitragem

• Stream: EDC → projeção (KV/Redis, OLTP) para UI, upsert idempotante.
• Batch: um conjunto nightly em OLAP, reconciação, fici ML.

• Stream: janelas de sessão, regras CEP, alertas <1-5 s.
• Batch: reaproveitamento de modelos, validação off-line.

• Stream: desencadeadores, segmentos em tempo real.
• Batch: arquivos, modelos LTV, relatórios.

FAQ

É possível obter um «quase real-time» no batch?
Sim: Microbiatchi/oblíquo (a cada 1 a 5 minutos) é um compromisso, mas sem complexidades de janelas/late-events.

Precisa de uma abordagem Lambda em todo o lado?
Não. Se o fluxo encerra todas as tarefas e você é capaz de fazer replay - Kappa mais fácil no longa. Senão, um híbrido.

Como contar o valor?
Some compute + armazenamento + ops. Para Stream, adicione o preço de inatividade «24/7» e noites de emergência; para Batch - preço de «atraso» de dados.

Resultado

Escolha o Batch quando o custo baixo, a simplicidade e as cópias periódicas são importantes; Stream - quando a reatividade é crítica e fresca. Na prática, vence o híbrido, o fluxo para a internet e sinais, o batch para a totalidade e os repasses históricos baratos. O importante é definir o SLO, garantir a idempotidade/observabilidade e projetar o caminho das correções com antecedência.