保留和保留策略

1）原則

1.Purpose & Minimization.我們存儲的正好和處理目標所需的正好一樣多。
2.Policy as Code.重新定義是可執行的策略而不是PDF。
3.Defense in Depth.TTL/ILM+加密+審計+法律保留。
4.Reversibility & Proof.刪除是可驗證的：動作日誌、加密切片、合規報告。
5.Cost & Carbon Aware.還原考慮了$/GB 月份和碳存儲足跡/egress。

2）數據分類和「重新映射」

• 運營（OLTP）：訂單，付款，會話。
• 分析（DWH/日期）：事件，日誌事實，切片。
• 個人（PII/財務/健康）：需要特殊的時間表和實體的權利。
• 技術：徽標，度量，步道，CI工件。
• 文件/媒體：WORM/存檔/legasi。

對於每個班級，設置為：所有者，目標，法律框架，時限，保護級別，當前和目標存儲。

3） ILM： 數據生命周期

1.Ingest（熱門）→ NVMe/SSD,高請求頻率。

2.Warm →不太可能讀取，壓縮和柱形格式。

3.Cold/Archive →對象/磁帶,長期訪問。

4.Purge/Delete →保證刪除（副本/備份）。

yaml dataset: events_main owner: analytics purpose: "product analytics"
classification: "pseudonymized"
lifecycle:
- phase: hot; duration: 7d; storage: nvme; format: row
- phase: warm; duration: 90d; storage: ssd; format: parquet; compress: zstd
- phase: cold; duration: 365d; storage: object; glacier: true
- phase: purge; duration: 0d privacy:
pii: false dp_delete_window: 30d # SLA on personal deletions if ligaments appear

4）策略作為代碼（有用的素描）

4.1 Admission Policy （強制性標簽/TTL）

yaml policy: require-retention-tags deny_if_missing: [owner, purpose, classification, retention]
default_retention:
logs:  "30d"
traces: "7d"
metrics:"90d"

4.2 Gate in CI/CD （Rego）-禁止在沒有重建的情況下進行降級

rego package policy. retention deny[msg] {
some d input. datasets[d].retention == ""
msg:= sprintf("Retention missing for dataset %s", [d])
}

4.3 S3/對象（lifecycle片段）

yaml
Rules:
- ID: logs-ttl
Filter: { Prefix: "logs/" }
Transitions:
- { Days: 7, StorageClass: STANDARD_IA }
- { Days: 30, StorageClass: GLACIER }
Expiration: { Days: 180 }
NoncurrentVersionExpiration: { NoncurrentDays: 30 }

5）在線程和隊列中保留

Kafka:

`retention.ms`/`retention.bytes'是窗口重建。
Compaction (`cleanup.policy=compact"）-存儲密鑰的最後一個值。
Tiered Storage-將「尾巴」帶入冷射擊場。
DLQ是單獨的還原和TTL。

properties cleanup. policy=delete,compact retention. ms = 604800000 # 7d for tail removal
min. cleanable. dirty. ratio=0. 5 segment. ms=86400000

• 在業務恢復/重新計算窗口≈定義關鍵拓撲的重構。
• 對於事件，計費/審計-單獨的長續集或WORM。

6）數據庫和重建

• 按日期/範圍分組，detach和drop舊分組。
• 日期字段是TTL查詢的索引。
• 較舊版本的節奏表（系統版本）+polysi purge。

sql
-- Monthly instalments
CREATE TABLE audit_events (id bigserial, occurred_at timestamptz, payload jsonb) PARTITION BY RANGE (occurred_at);
-- Cleaning over 365 days
DELETE FROM audit_events WHERE occurred_at < now() - interval '365 days';
VACUUM (FULL, ANALYZE) audit_events;

NoSQL/Time-series:

關鍵級TTL（MongoDB TTL索引，Redis 「EXPIRE」，Cassandra TTL）。
用於度量的Downsampling（原始7d → aggregat 90 d →長365 d）。
TSDB中的Retention Policy（帶有滯後/聚合功能的Influx/ClickHouse材料化視圖）。

7） Logi, Metrics, Tracks

Logs：限制字段,掩蓋PD, TTL 7-30d, archive 90-180 d。

度量： 原始高頻為7-14 d；downsample (5m/1h) — 90–365д.

Traces： tail-sampling和存儲「有趣」（錯誤/尾巴）更長。

yaml observability:
logs:  { ttl: "30d", archive: "90d", pii_mask: true }
metrics: { raw: "14d", rollup_5m: "90d", rollup_1h: "365d" }
traces: { sample: "tail-10%", ttl: "7d", error_ttl: "30d" }

8）刪除： 類型和保證

邏輯（軟刪除）：記錄標記；方便恢復，不符合「處置權」。
物理（hard-delete）：實際刪除數據/版本/復制副本。
加密（crypto-erasure）：刪除/替換加密密鑰,之後數據無法恢復。
級聯：端到端去除推導（腰果，索引，分析）。

request → locate subject data (index by subject_id) → revoke tokens & unsubscribe jobs → delete in OLTP → purge caches → enqueue erasure in DWH/lakes → crypto-shred keys (per-tenant/per-dataset) → emit audit proof (receipt)

9）刪除權，法律保留和eDiscovery

刪除/更正權：執行SLA（例如≤30天），跟蹤動作，收據。
法律保留：在法律要求下,凍結指定集/密鑰的刪除；優先於TTL的政策。
eDiscovery：數據目錄,全文/歸因文物搜索,以一致的格式導出。

yaml legal_hold:
dataset: payments scope: ["txn_id:123", "user:42"]
from: "2025-10-31"
until: "2026-03-31"
reason: "regulatory investigation"

10）Bacaps vs Archives vs WORM

Backaps-從損失/損壞中恢復；短續集，快速RTO。
存檔是用於審計/分析的長期存儲，價格便宜，訪問時間長。
WORM-不變的合規媒體（財務/報告）；「write-once, read-many」策略。

• 不要指望備用是「世紀檔案」。
• 恢復排練（DR天），時間和完整性報告。
• 帶有還原、加密和密鑰的備份目錄與存儲區分開。

11）私有化和匿名

別名化：通過密鑰表延遲綁定PII（允許按密鑰進行加密擦除）。
匿名：不可逆轉的技術（k匿名，噪音，概括）；記錄方法、重新識別風險和保質期。

12）合規監測和報告

控制面板：具有有效還原的dataset的比例,ILM相位的體積,刪除錯誤。
Alerts：在熱破折號中超過目標音量,「失速」刪除,到期的Legal Hold。
報告：每月刪除審計（請求數量，平均期限，失敗），加密搶購打印。

13）集成到流程中： 門和咆哮

設計門：新的dataset不經過咆哮沒有「主人/purpose/retention」。
釋放門：在沒有所有者/理由的情況下增加重建的遷移-被阻止。
成本門：熱量/熱量超過預算-觸發ILM收緊。
安全門：禁止在不偽裝和TTL的情況下將PD包含在邏輯/跟蹤中。

14）反模式

「我們永遠保持一切-突然會有用。」

未在策略中指定的應用程序中硬編碼的TTL。
無偽裝/TTL/刪除日誌和跟蹤中的 PD。
刪除不完整（保留在緩存/DWH/備用中）。
缺少Legal Hold-正在調查的數據擦除。
單個通用加密密鑰都是不可能的「加密擦除」。
零觀察力：「我們相信他們已經刪除」，但沒有證據。

15）建築師支票清單

1.對於每個Dataset,是否都有所有者、購買者、分類者、保留者、存儲層級?

2.ILM/TTL策略被聲明為代碼並自動應用?

3.PD偽裝成日誌/預告片；是否禁止在「白色」套裝之外使用？

4.有個人刪除程序（SLA,審計,收據）?

5.Crypto-erasure是可能的（per-tenant/per-dataset keys, KMS/rotation）?

6.備用： 時間表,加密,恢復測試,單個密鑰?

7.Legal Hold/eDiscovery： 支持,優越TTL,維護活動日誌?

8.Kafka/隊列： 設置為還原/compaction/tiering, DLQ有不同的策略嗎?

9.重構合規性指標和Alerta以及按長篇大論調整的卷?

10.SDLC中的Review和Gate是否會阻止沒有重建的文物？

16）迷你食譜

16.1 ClickHouse：「切斷尾巴」超過180天

sql
ALTER TABLE events DELETE WHERE event_date < today() - 180;
OPTIMIZE TABLE events FINAL;

16.2 Redis: TTL и lazy-purge

bash
SET session:123 value EX 3600
CONFIG SET maxmemory-policy allkeys-lru

16.3 Tail-sampling for Trail

yaml tail_sampling:
policies:
- name: keep-errors-and-slow latency_threshold_ms: 500 status_codes: ["5xx"]
rate_limit_per_min: 5000 default_ttl: "7d"

16.4 Crypto-erasure（想法）

keys:
dataset: users_pii key_id: kms://pii/users/tenant-42 erase(user_id=42):
rotate_or_destroy (key_id) # inability to restore former purge_indexes blocks ("user _ id = 42")
audit("crypto-erasure", user_id)

結論

存儲策略是您的數據平臺的「骨架」：它們描述了不同數據類別的生活，它們在每個時刻的位置，隨著時間的推移變得多便宜，以及何時消失而沒有痕跡-合法，透明和可驗證。將重新定義為代碼，將ILM連接到安全和成本，啟用可觀察性和網關-並且您將獲得一個既有效，又可兼容且可以增長的系統。