存儲策略
1)為什麼需要保留策略
存儲策略定義了存儲每種數據類型、存儲位置、響應者以及數據被刪除或匿名的時間以及原因。沒有它們,就不可能遵守報告的私有性,最小化和可重復性,尤其是在具有敏感PII/財務,監管和調查的iGaming中。
目標是:- 遵守法律/許可證以及與提供商/PSP的合同。
- 盡量減少泄漏和罰款的風險。
- 可預測的存儲成本和平臺性能。
- 支持DSAR、法律保留、審計和忠誠流程。
2)基本原則
1.目標存儲(purpose limitation):截止日期與特定的處理目標相關聯。
2.最小化:不保留「以防萬一」;目標結束時-刪除/匿名。
3.透明度和可證明性:每個記錄都必須具有所有者,類別,期限和基礎。
4.分離介質:具有不同時間和字段集的prod/stage/沙箱。
5.策略即代碼:策略作為存儲庫+CI驗證中的配置。
6.Defense in Depth:存儲+備份+審核日誌+法律保持一致。
3)分類和法律依據
類:Public/Internal/Confidential/Restricted(PII/財務)標記:「pii」,「financial」,「tokenized」,「backup」,「legal_hold」,「wip」,「dsar_subject」。
法律依據(示例):- 法律義務/許可(例如,報告和AML)。
- 合同執行(交易/付款)。
- 合法利益(安全,防凍劑)-評估平衡。
- 同意(營銷/個性化)-具有單獨的截止日期和召回。
4)保留時間矩陣(iGaming參考)
5)法律保持和凍結
Legal Hold 暫時取消與調查/爭議相關的工具包的刪除/TTL。
真相來源-法律保留註冊表:所有者,日期,基礎,數據範圍,撤回日期。
撤回-通過批準的程序;所有延遲的刪除都作為延遲的喬巴運行。
6)DSAR和「刪除權」
存儲對象令牌(而不是PII)以按圖搜索。
支持刪除、別名和匿名之間的區別。
不要刪除法律要求保存的記錄-標記處理限制;解釋對象。
在備用中-刪除活動層中將來的旋轉+標記「主體已擦除」。
7)Bacaps,檔案館和WORM
3-2-1:三份副本,兩種介質/雲類型,一種離線/空插。
獨立於提供商的KMS/HSM密鑰加密。
WORM用於審計/監管報告。
Bapp輪換策略:除非有強制性的例外情況,否則bapp的保留期限不得超過活動數據的保留期限。
計劃恢復測試。
8)跨境和地理位置
Geo scoping:數據和加密密鑰綁定到區域/許可證。
復制尊重本地保留時間和傳輸限制。
與提供商/PSP/KYC的合同必須反映存儲位置和時間表。
9)存儲架構和自動化
圖層:- Raw/Bronze(最低期限,如果可能沒有PII)。
- Silver(用TTL和掩蓋來清除事實)。
- 黃金(長壽命單元/店面)。
- 功能商店/模型註冊表(不帶PII的轉換和時間旅行)。
- 對象/表格/主題中的生命周期政策/TTL。
- 策略作為代碼:YAML/JSON帶有「purpose」,「retention_period」,「post_expiry_action」,「legal_hold_override」。
- CI-linter:如果新集沒有「retention_policy」,則阻止PR。
- Scheduler:每日檢查「明天/周到期」。
- Deletion jobs:軟刪除→依賴性檢查→硬刪除/加密。
10)刪除,匿名,化名
硬刪除-物理刪除(考慮級聯和線性)。
Soft delete-標簽「deleted_at」,隱藏和後續硬刪除計劃。
Crypto-erase-刪除數據不可用的密鑰。
匿名化是一種不可逆轉的轉變。允許存儲聚合。
別名-用令牌代替;強制性密鑰/pepper策略和禁止在「清潔區域」之外的可逆性。
11)度量標準和SLO
Retention Coverage:具有批準策略的集合百分比。
延時:按時執行刪除的比例。
Logs中的Zero-PII:掩蓋日誌。
法律保留Accuracy:註冊表與實際凍結匹配。
Backup Restore-Rate:成功的測試恢復。
DSAR SLA:平均查詢運行時間(按類型)。
Cost vs Retention: 聚合/TTL節省。
12) RACI(示例)
政策和標準:CDO/DPO(A),政府理事會(R/A),法律(C),安全(C)。
目錄和標簽:Data Stewards (R)、Domain Owners (A)、Platform (C)。
自動化/TTL:Platform/SRE(R),Sec(C)。
Legal Hold/DSAR:DPO/Legal(A/R),Domains(C)。
審計和備份:SecOps/SRE(R),內部審計(C)。
13)模板(準備使用)
13.1存儲策略(草圖)
區域:列出域和異常。
理由:法律責任/合同/同意/合法利益。
時間:「dataset → period → action」表。
法律保留:啟用/刪除過程。
DSAR:搜索/刪除/限制順序。
Backaps/WORM:時機、密鑰、恢復測試。
控制:度量,每年咆哮,政策所有者。
13.2套裝卡與退貨
Dataset: `payments.transactions`
班級: 受限制(財務)
依據: 法律責任/會計
截止日期: 操作日期起N年
後期動作: 匿名聚合,硬刪除零件
Legal Hold override: да
負責人: Owner/Steward,DPO
標簽/合同: 「pii」,「tokenized」,「retention: N」,合同鏈接
13.3 YAML策略(策略即代碼,片段)
yaml dataset: payments. transactions purpose: accounting_and_aml class: restricted retention_period: P{N}Y # ISO 8601 duration post_expiry_action: anonymize_then_delete legal_hold_override: true geo_scope: EU backups:
retention_period: P{N}Y worm: true audit:
enabled: true destination: worm://audit/payments
13.4啟動支票清單
- 每個dataset都有卡片和YAML政策
- 包括存儲庫中的TTL/lifecycle規則
- 目錄顯示時間表/基礎/所有者
- 定制到期和On Deletion報告
- Legal Hold註冊表與存儲標誌同步
- 在後備箱中進行「table top」 DSAR腳本/刪除
14)實施路線圖
0-30天(MVP)
1.集合清單和分類;指定所有者。
2.在合同/目錄中添加「保留」字段;獲得頂級卡片。
3.為日誌和原始層啟用TTL/lifecycle;博客中禁止PII。
4.法律保留註冊表和流程;基本Coverage/On Time Deletion報告。
30-90天
1.推出基於策略的代碼(YAML)和CI linter;沒有「保留」的公關單元。
2.實施後期匿名/化名;自動化deletion jobs。
3.使後備人員遵守時間表;啟用WORM進行審核。
4.將DSAR與重建和令牌化聯系起來;SLA報告。
3-6個月
1.集合和鍵的地理本地化;跨境政策。
2.高級存儲成本和TTL效應分析。
3.與Legal/Domena的季度截止日期評論;外部審計。
4.擴展至合作夥伴/提供商(續約合同要求)。
15)反模式
「我們永遠保持一切」-沒有理由和刪除計劃。
不一致:資產被刪除,在備用中永久刪除。
缺少Legal Hold:擦除證據。
所有域的統一時限「為了簡單」。
DSAR在衍生店面/滅火器中無需實際刪除。
帶有prod-PII副本和無限期的沙箱。
16)相關部分
數據管理,訪問控制,數據令牌,安全和加密,數據來源和路徑,審計和驗證,法律保留和DSAR,保密ML。
底線
存儲策略將「混亂的倉庫」變成一個托管的檔案:每個字段都知道自己的時機,基礎和命運。對於iGaming來說,這是合規性,經濟性和對數據的信任的基礎:您存儲足夠但不是多余的,能夠快速刪除和證明,同時不會破壞報告,ML和操作過程。