Batch vs Stream：什么时候
为什么要选择
任何数据系统都可以在新鲜度（latency），成本，支持复杂性和可靠性之间平衡。
Batch是具有高带宽和低记录成本的周期性"部分"数据。
Stream-以最小延迟和内存/本地堆栈状态连续处理事件。
简而言之
Batch
来源：文件/表/snapshots。
触发器：时间表（小时/日）或条件（新镶木板文件）。
优点：简单,确定性,完整的数据上下文,便宜的大重新计算。
弱点：没有"在线"，高潜伏期，没有实时信号的"窗口"。
Stream
资料来源：经纪人（Kafka/NATS/Pulsar），CDC，队列。
触发器：事件。
强：低延迟、反应性、与产品的自然整合。
弱点：时间复杂性（事件vs处理），顺序/双打，状态，操作。
解决方桉： 选择矩阵
第80/20条规则：如果SLA允许一分钟/一小时的延迟，并且没有喷气式飞机-请进行击球。如果"这里和现在"的反应是关键的，或者需要现场展示-流（通常+额外的夜间测试以进行对账）。
示例脚本
Batch-什么时候更好：- 每日报告、计费期、ML培训、大型琼斯、"全套"重复数据消除。
- 具有深层验证的奖章模型（青铜/银/金）。
- 大规模的翻新和重新装配店面。
- 反亲和力/监视，SRE变量，实时平衡/任务，建议"现在"。
- 事件即事实集成（EDC），实例化视图更新（CQRS）。
- 微服务：notization，webhooks，响应业务事件。
- 流形成操作展示柜和信号；夜间击球进行对账、保险箱和廉价的历史重新计票。
体系结构
Lambda (Stream + Batch)
用于填充和在线的流；Batch用于完整性和校正。
优点：灵活性和SLA。缺点：双重逻辑，代码复制。
Kappa (все — Stream + Replay)
单一日志作为真理的来源；batch重新计票=replay。
优点：一个代码库，一个语义。缺点：更难操作,逻辑存储要求。
Hybrid-Pragmatic
流式"操作员"+重型joins/ML/校正的周期性击球乔巴。
在实践中，最常见的选择。
时间，顺序，窗口（用于Stream）
依靠活动时间，不依靠处理时间。
管理watermark和"allowed_lateness"；支持后期事件的retractions/upserts。
通过单元密钥参与,规划"热键"。
效果的可靠性和语义
Batch
DB交易或批次/表的原子替换。
相等性-通过deterministic计算和overwrite/insert-overwrite。
Stream
At-least-once+等效夹具（upsert/merge，聚合版本）。
EOS的事务性"读写位置"。
"event_id"/"operation_id"上的重复数据消除表。
存储和格式
Batch
数据湖（Parquet/Delta/Iceberg），OLAP（ClickHouse/BigQuery），对象存储。
atomic replace, time travel的ACID表。
Stream
经纪人中的徽标/主题，state stores（RocksDB/embedded），KV/Redis，用于投影的OLTP。
图形注册表（Avro/JSON/Proto），兼容性模式。
成本和SLO
Batch：用"捆绑"支付-大量盈利，但延迟≥时间表。
流：恒定的随机资源，高额的QPS的峰值成本；但SLA是几秒钟。
计数p95/p99 latency,直通差,成本在./事件和支持TCO。
测试
通用： 金集,基于属性的不变量,产生脏输入.
Batch：确定性，等效重启，"前/之后"拱顶比较。
Stream： out-of-order/Replication,在效果和正交锁定之间进行故障检测,replay测试。
天文可用性
Batch：慢跑时间，fails/retrais份额，店面新鲜，扫描成本。
流：时间/消息时差，watermark，后期，状态大小/频率checkpoint，DLQ投注。
无处不在："trace_id"，"event_id"，电路/流水线版本。
安全性和数据
PII/PCI-最小化,加密at-rest/in-flight,在电路中标记字段（"x-pii"）。
对于Stream-保护state/checkpoint's（每个拓扑的ACL）。
GDPR/遗忘权：在Stream中-投影中的加密擦除/编辑；在Batch-重新计算各方。
过渡战略
Batch → Stream：从发布事件（Outbox/CDC）开始，在不触摸现有穹顶的情况下举起一个小小的实时展示。
Stream → Batch：添加每日汇总表，以报告/对账并减轻流媒体包装的负担。
反模式
为了时尚，"一切都在Stream"：没有真正的需要就昂贵而困难。
"一个巨大的夜间击球"，要求<5分钟。
将处理时间用于业务指标。
原始CDC作为公共事件：僵硬的连通性，进化中的疼痛。
Sinks中没有幂等性→重新开始时会产生双重影响。
选择支票清单
- SLO新鲜度：允许多少秒/分钟/小时?
- 输入稳定性：是否存在订单外部/副本?
- 是否需要在线反应/店面？
- 费用：rantime 24/7 vs"时间表窗口"。
- 校正方法：retract/upsert或夜间重新计票。
- 命令和操作成熟度（可观察性，呼叫上）。
- "恰好是一个效应"的要求。
- PII政策/复审/遗忘权。
参考模式
操作展示（Hybrid）：- Stream：用于UI的EDC →投影（KV/Redis，OLTP），等效的upsert。
- Batch：OLAP，reconciliation，ML-fici中的夜间穹顶。
- 流：会话窗口，CEP规则，alerta <1-5 s。
- Batch：模型再培训，离线验证。
- 流：触发器，实时片段。
- Batch：得分，LTV模型，报告。
FAQ
是否可以在击球上获得"近乎真实的时间"？
是的：微管/触发乔巴（每1-5分钟）是折衷方案，但没有窗口/后期事件的复杂性。
到处都需要Lambda方法吗？
没有。如果线程关闭了所有任务，并且您知道如何重播-Kappa更容易长。否则-混合动力车。
如何计算成本？
总结compute+storage+ops。对于Stream，请添加"24/7"停机时间和紧急夜晚的价格；对于Batch，是数据"延迟"的价格。
结果
在低成本，简单性和周期性拱顶很重要时选择Batch；Stream-当反应性和新鲜度至关重要时。在实践中，溷合体获胜：流-用于在线和信号，战斗-用于完整性和廉价的历史重新计算。最重要的是设置SLO，提供可观察性/可观察性，并提前设计校正路径。