Batch vs Stream：什麼時候
為什麼要選擇
任何數據系統都可以在新鮮度（latency），成本，支持復雜性和可靠性之間平衡。
Batch是具有高帶寬和低記錄成本的周期性「部分」數據。
Stream-以最小延遲和內存/本地堆棧狀態連續處理事件。
簡而言之
Batch
來源：文件/表/snapshots。
觸發器：時間表（小時/日）或條件（新鑲木板文件）。
優點：簡單,確定性,完整的數據上下文,便宜的大重新計算。
弱點：沒有「在線」，高潛伏期，沒有實時信號的「窗口」。
Stream
資料來源：經紀人（Kafka/NATS/Pulsar），CDC，隊列。
觸發器：事件。
強：低延遲、反應性、與產品的自然整合。
弱點：時間復雜性（事件vs處理），順序/雙打，狀態，操作。
解決方案： 選擇矩陣
第80/20條規則：如果SLA允許一分鐘/一小時的延遲，並且沒有噴氣式飛機-請進行擊球。如果「這裏和現在」的反應是關鍵的，或者需要現場展示-流（通常+額外的夜間測試以進行對賬）。
示例腳本
Batch-什麼時候更好：- 每日報告、計費期、ML培訓、大型瓊斯、「全套」重復數據消除。
- 具有深層驗證的獎章模型（青銅/銀/金）。
- 大規模的翻新和重新裝配店面。
- 反親和力/監視，SRE變量，實時平衡/任務，建議「現在」。
- 事件即事實集成（EDC），實例化視圖更新（CQRS）。
- 微服務：notization，webhooks，響應業務事件。
- 流形成操作展示櫃和信號；夜間擊球進行對賬、保險箱和廉價的歷史重新計票。
體系結構
Lambda (Stream + Batch)
用於填充和在線的流；Batch用於完整性和校正。
優點：靈活性和SLA。缺點：雙重邏輯，代碼復制。
Kappa (все — Stream + Replay)
單一日誌作為真理的來源；batch重新計票=replay。
優點：一個代碼庫，一個語義。缺點：更難操作,邏輯存儲要求。
Hybrid-Pragmatic
流式「操作員」+重型joins/ML/校正的周期性擊球喬巴。
在實踐中，最常見的選擇。
時間，順序，窗口（用於Stream）
依靠活動時間，不依靠處理時間。
管理watermark和「allowed_lateness」；支持後期事件的retractions/upserts。
通過單元密鑰參與,規劃「熱鍵」。
效果的可靠性和語義
Batch
DB交易或批次/表的原子替換。
相等性-通過deterministic計算和overwrite/insert-overwrite。
Stream
At-least-once+等效夾具（upsert/merge，聚合版本）。
EOS的事務性「讀寫位置」。
「event_id」/「operation_id」上的重復數據消除表。
存儲和格式
Batch
數據湖（Parquet/Delta/Iceberg），OLAP（ClickHouse/BigQuery），對象存儲。
atomic replace, time travel的ACID表。
Stream
經紀人中的徽標/主題，state stores（RocksDB/embedded），KV/Redis，用於投影的OLTP。
圖形註冊表（Avro/JSON/Proto），兼容性模式。
成本和SLO
Batch：用「捆綁」支付-大量盈利，但延遲≥時間表。
流：恒定的隨機資源，高額的QPS的峰值成本；但SLA是幾秒鐘。
計數p95/p99 latency,直通差,成本在./事件和支持TCO。
測試
通用： 金集,基於屬性的不變量,產生臟輸入.
Batch：確定性，等效重啟，「前/之後」拱頂比較。
Stream： out-of-order/Replication,在效果和正交鎖定之間進行故障檢測,replay測試。
天文可用性
Batch：慢跑時間，fails/retrais份額，店面新鮮，掃描成本。
流：時間/消息時差，watermark，後期，狀態大小/頻率checkpoint，DLQ投註。
無處不在：「trace_id」，「event_id」，電路/流水線版本。
安全性和數據
PII/PCI-最小化,加密at-rest/in-flight,在電路中標記字段（「x-pii」）。
對於Stream-保護state/checkpoint's（每個拓撲的ACL）。
GDPR/遺忘權：在Stream中-投影中的加密擦除/編輯；在Batch-重新計算各方。
過渡戰略
Batch → Stream：從發布事件（Outbox/CDC）開始，在不觸摸現有穹頂的情況下舉起一個小小的實時展示。
Stream → Batch：添加每日匯總表，以報告/對賬並減輕流媒體包裝的負擔。
反模式
為了時尚，「一切都在Stream」：沒有真正的需要就昂貴而困難。
「一個巨大的夜間擊球」，要求<5分鐘。
將處理時間用於業務指標。
原始CDC作為公共事件：僵硬的連通性，進化中的疼痛。
Sinks中沒有冪等性→重新開始時會產生雙重影響。
選擇支票清單
- SLO新鮮度：允許多少秒/分鐘/小時?
- 輸入穩定性：是否存在訂單外部/副本?
- 是否需要在線反應/店面？
- 費用：rantime 24/7 vs「時間表窗口」。
- 校正方法：retract/upsert或夜間重新計票。
- 命令和操作成熟度（可觀察性，呼叫上）。
- 「恰好是一個效應」的要求。
- PII政策/復審/遺忘權。
參考模式
操作展示（Hybrid）：- Stream：用於UI的EDC →投影（KV/Redis，OLTP），等效的upsert。
- Batch：OLAP，reconciliation，ML-fici中的夜間穹頂。
- 流：會話窗口，CEP規則，alerta <1-5 s。
- Batch：模型再培訓，離線驗證。
- 流：觸發器，實時片段。
- Batch：得分，LTV模型，報告。
FAQ
是否可以在擊球上獲得「近乎真實的時間」？
是的：微管/觸發喬巴（每1-5分鐘）是折衷方案，但沒有窗口/後期事件的復雜性。
到處都需要Lambda方法嗎？
沒有。如果線程關閉了所有任務，並且您知道如何重播-Kappa更容易長。否則-混合動力車。
如何計算成本？
總結compute+storage+ops。對於Stream，請添加「24/7」停機時間和緊急夜晚的價格；對於Batch，是數據「延遲」的價格。
結果
在低成本，簡單性和周期性拱頂很重要時選擇Batch；Stream-當反應性和新鮮度至關重要時。在實踐中，混合體獲勝：流-用於在線和信號，戰鬥-用於完整性和廉價的歷史重新計算。最重要的是設置SLO，提供可觀察性/可觀察性，並提前設計校正路徑。