Multipart出口和大型卸貨

1）什麼時候需要「大」出口和重要的事情

• 數據一致性（snapshot/時間點）。
• 跨範圍（並行寫入/閱讀，流序列化）。
• 可再生性（可恢復）和部分交付。
• 完整性（checksum）和可驗證性（清單）。
• 安全/PII（掩碼、加密、訪問控制）。
• 成本管理（壓縮，超時，CDN，TTL）。

2）數據格式： 優點/缺點

CSV-緊湊，快速書寫/閱讀；缺點：屏蔽，類型丟失。適用於表格報告。
JSON Lines（JSONL）-逐行逐行，方便流媒體和部分采樣；缺點：體積。
Parquet/Avro是柱狀/方案格式，壓縮和預編碼推桿；非常適合分析和大數據。
混合：JSONL用於API下載→離線轉換為Parquet。

壓縮：「gzip」/「zstd」（更好）。對於非常大的體積-分割歸檔（每部分~ 128-512 MB）。

3）一致性： 如何獲得「快照」

DB：REPEATABLE READ/SNAPSHOT事務隔離；對於線程-復制邏輯插槽或「watermark」標記（最大值為「updated_at」/版本）。
事件來源：導出到雜誌的外部。
切片：「完全」出口+「三角洲」（自「水廠」以來的變化隨後的卸載）。

4）分成部分（multipart/chunking）

4.1種「multipart」

Upload（到我們）：multipart/form-data（小文件）,S3 Multipart Upload （MPU）/GCS Resumable（大文件）。
下載（來自我們）：HTTP Range（「bytes=start-end」），「multipart/byteranges」（單一響應中的多個範圍），「zip of parts」，對象堆棧中的目錄。

4.2分區策略

按尺寸（例如，每部分256 MB）。
按鍵/日期（通過「tenant_id」，「YYYY/MM/DD」混合）。
表/實體（每個類型的單個文件）。

平衡：64-512 MB部分並行下載良好,不會過熱內存。

5）導出API體系結構（異步模型）

1. 「POST/exports」 →排隊任務（元數據：格式、過濾器、加密、壽命）。

2.Workers構建snapshot，流式傳輸數據並將零件寫入對象存儲。

3.生成帶有零件列表，尺寸，checksum和方案版本的清單（JSON）。

4.' GET/exports/{id}"返回到部分/簽名URL的狀態和鏈接（和）。

5. `GET /exports/{id}/manifest.json'是用於驗證/劑量的真理機器。

json
{
"export_id": "exp_2025_10_31_001",
"created_at": "2025-10-31T14:23:00Z",
"schema": "orders_v3",
"format": "parquet+zstd",
"parts": [
{"name":"part-00000. parquet. zst","size":268435456,"sha256":"...","url":"...","range":"bytes=0-268435455"},
{"name":"part-00001. parquet. zst","size":241172480,"sha256":"...","url":"..."}
],
"total_bytes": 509607936,
"encryption": {"type":"AES-256-GCM","key_id":"kms/keys/exp"},
"watermark": {"type":"updated_at","value":"2025-10-31T00:00:00Z"}
}

6）可再生卸載（可恢復）

HTTP Range：客戶端趕上文件的「尾巴」：「Range： bytes=241172480-」。
有幾個範圍：「Range：bytes=0-999.2000-2999」 →答案「Content-Type：multipart/byteranges」。
客戶策略：每部分平行的「竊賊」，每個部分的「sha 256」驗證，帶有指數後退的後退。
CDN：支持範圍,關閉大響應緩沖。

7）大下載我們（resumable upload）

S3 Multipart Upload：客戶端加載零件（5-5000）,服務器組裝「CompleteMultipartUpload」。
GCS恢復：一個會話,偏移-客戶端可以繼續使用「內容範圍」。
TUS（協議）是HTTP之上的獨立可再生應用程序。

B2B模式：我們將預簽名URL直接將零件升級到堆棧,並將元數據升級到我們的API。

8）壓縮、加密、完整性

壓制：「zstd」是首選的（優於評分/速度）。分別壓縮每個部分（恢復/緩存更方便）。

• 在電線上：TLS 1。2+.
• 靜止：服務器側KMS （SSE-KMS）或客戶端側（AES-256-GCM）和密鑰包裝（key wrapping）。
• 切勿將「原始」密鑰放入宣言中。
• Checksum：整個集合的最小部分+通用部分SHA-256。在ack之前檢查客戶端。

9）外圍集成： NGINX/CDN

nginx server {
listen 443 ssl http2;
server_name downloads. example. com;

location /exports/ {
proxy_buffering off;
proxy_request_buffering off;
proxy_read_timeout 3600s;
add_header Accept-Ranges bytes;
proxy_pass http://export-backend;
}
}

• `Content-Disposition: attachment;filename="export_2025-10-31_part-00000.parquet.zst"`
• 「ETag」/「If-Range」用於正確補丁。
• 「Cache-Control」（例如「private，max-age=3600」）用於個人卸載。

10）安全和合規性

認證/授權：僅向所有者/角色簽發導出；帶有短TTL的臨時鏈接（簽名前）。
PII：掩飾/化名；宣言中只有技術領域。
GDPR/地方監管機構：根據TTL刪除出口,審核下載,禁止無根據的跨區域發行。
Rate limiting&quotas：限制同時出口的數量和每天/月的總量（每噸）。
反剪貼畫：SAR/機器人過濾器,引用,限制範圍（最大並行部件）。

11）可觀察性和操作

• `export_jobs_total{status}` (queued/running/succeeded/failed/expired)
• `export_bytes_total`, `export_part_duration_ms{p50,p95,p99}`
• `download_range_requests_total`, `resumes_total`, `checksum_fail_total`
• `storage_cost_estimate` и `egress_bytes_cdn`

• 誰創建了導出，過濾器，水上市場，下載列表（IP/UA/時間）。
• 零件散列和客戶端對賬（確認）。

• 分階段演唱：snapshot → serialize → upload part → finalize。

12）生產力和成本

並行性：同時生成多個部分（N制造商），但限制I/O。
內存：流序列化（叠代器、DB遊標、Chanks 4-16 MB）。
Dedup：對於經常重復的出口，按過濾器/哈希計算的智能部件卡。
CDN：對「一般」公共工具包有利；對於個人-謹慎（安全/PII）。

13）接口示例

13.1導出創建（REST）

http
POST /exports
Content-Type: application/json
Authorization: Bearer <token>

{
"format": "parquet+zstd",
"filters": {"date_from":"2025-10-01","date_to":"2025-10-31","tenant":"acme"},
"split_size_mb": 256,
"encryption": {"mode":"server-side-kms","key_id":"kms/keys/exp"}
}

json
{
"id":"exp_2025_10_31_001",
"status":"queued",
"estimated_parts": 12,
"manifest_url": "/exports/exp_2025_10_31_001/manifest. json"
}

13.2使用Range發行零件

http
GET /exports/exp_.../part-00003. parquet. zst
Range: bytes=1048576-

13.3偽代碼制造商

pseudo snapshot = db. begin_snapshot()
for shard in plan_shards(snapshot):
part_stream = encode_stream(shard. rows, format="parquet", compress="zstd")
url = object_store. upload_stream(part_stream, part_name, encryption=KMS)
manifest. add(part_name, size, sha256, url)
write_manifest(manifest)

14）三角洲出口模式

按每小時「updated_at> watermark」每小時一次全部導出N（每天/每周）+delta。
在消費者方面：按順序應用三角洲，驗證「版本」/「seq」。
將最後一個水庫存放在消費者和清單中。

15）反模式

查詢中導出的生成（同步）是taymout和OOM。
一個不分解的巨型文件是無法恢復/並行註入。
缺少checksum和宣言-無法證明完整性。
發出關於個人數據的永久公共鏈接。
SSE/CDN緩沖區或禁用的Range-打破「分載」。
導出「臟」數據（不帶snapshot/隔離）。

16）實施支票

• 格式和壓縮：CSV/JSONL/Parquet +'zstd/gzip'。
• 一致性：事務性snapshot或watermark/offset。
• 分布：64-512 MB部分，並行生成和下載。
• 宣言：零件清單，尺寸，SHA-256，方案版本，水廠。
• 恢復：HTTP Range,支持「multipart/byteranges」,客戶端轉發。
• 安全性：預簽名URL, TTL,加密（KMS/AEAD）, PII掩碼。
• 限額/配額：每次限額、每日數量、活躍人數。
• 可觀察性：喬布/零件度量，下載審核，checksum-fail上的差分。
• 費用：用於公共套件的CDN，TTL和堆棧中的自動清潔。
• Runbooks/Game Days：網絡斷路器、堆棧不可用、DB過熱、KMS故障。

17）遊戲日（花花公子）

下載時網絡斷裂：客戶必須繼續使用「範圍」。
一件裝載失敗：重新裝配零件而不重新裝配所有出口。
制造商倒臺：喬巴從最後一次未經證實的投擲中恢復過來。
KMS：安全降解（暫停生成,不釋放未加密）。
數據增長× 2：檢查生成時間，重新分配並發，不要殺死DB。

18）結果

可靠的大上載是異步體系結構+分成部分+恢復+可驗證的完整性。制作snapshot，並行編寫部分，使用checksum發布宣言，支持HTTP Range和短壽命鏈接。考慮安全性、限制和可觀察性-千兆字節出口將不再是團隊和用戶的夜間噩夢。