存储策略
1)为什么需要保留策略
存储策略定义了存储每种数据类型、存储位置、响应者以及数据被删除或匿名的时间以及原因。没有它们,就不可能遵守报告的私有性,最小化和可重复性,尤其是在具有敏感PII/财务,监管和调查的iGaming中。
目标是:- 遵守法律/许可证以及与提供商/PSP的合同。
- 尽量减少泄漏和罚款的风险。
- 可预测的存储成本和平台性能。
- 支持DSAR、法律保留、审计和忠诚流程。
2)基本原则
1.目标存储(purpose limitation):截止日期与特定的处理目标相关联。
2.最小化:不保留"以防万一";目标结束时-删除/匿名。
3.透明度和可证明性:每个记录都必须具有所有者,类别,期限和基础。
4.分离介质:具有不同时间和字段集的prod/stage/沙箱。
5.策略即代码:策略作为存储库+CI验证中的配置。
6.Defense in Depth:存储+备份+审核日志+法律保持一致。
3)分类和法律依据
类:Public/Internal/Confidential/Restricted(PII/财务)标记:"pii","financial","tokenized","backup","legal_hold","wip","dsar_subject"。
法律依据(示例):- 法律义务/许可(例如,报告和AML)。
- 合同执行(交易/付款)。
- 合法利益(安全,防冻剂)-评估平衡。
- 同意(营销/个性化)-具有单独的截止日期和召回。
4)保留时间矩阵(iGaming参考)
5)法律保持和冻结
Legal Hold 暂时取消与调查/争议相关的工具包的删除/TTL。
真相来源-法律保留注册表:所有者,日期,基础,数据范围,撤回日期。
撤回-通过批准的程序;所有延迟的删除都作为延迟的乔巴运行。
6)DSAR和"删除权"
存储对象令牌(而不是PII)以按图搜索。
支持删除、别名和匿名之间的区别。
不要删除法律要求保存的记录-标记处理限制;解释对象。
在备用中-删除活动层中将来的旋转+标记"主体已擦除"。
7)Bacaps,档案馆和WORM
3-2-1:三份副本,两种介质/云类型,一种离线/空插。
独立于提供商的KMS/HSM密钥加密。
WORM用于审计/监管报告。
Bapp轮换策略:除非有强制性的例外情况,否则bapp的保留期限不得超过活动数据的保留期限。
计划恢复测试。
8)跨境和地理位置
Geo scoping:数据和加密密钥绑定到区域/许可证。
复制尊重本地保留时间和传输限制。
与提供商/PSP/KYC的合同必须反映存储位置和时间表。
9)存储架构和自动化
图层:- Raw/Bronze(最低期限,如果可能没有PII)。
- Silver(用TTL和掩盖来清除事实)。
- 黄金(长寿命单元/店面)。
- 功能商店/模型注册表(不带PII的转换和时间旅行)。
- 对象/表格/主题中的生命周期政策/TTL。
- 策略作为代码:YAML/JSON带有"purpose","retention_period","post_expiry_action","legal_hold_override"。
- CI-linter:如果新集没有"retention_policy",则阻止PR。
- Scheduler:每日检查"明天/周到期"。
- Deletion jobs:软删除→依赖性检查→硬删除/加密。
10)删除,匿名,化名
硬删除-物理删除(考虑级联和线性)。
Soft delete-标签"deleted_at",隐藏和后续硬删除计划。
Crypto-erase-删除数据不可用的密钥。
匿名化是一种不可逆转的转变。允许存储聚合。
别名-用令牌代替;强制性密钥/pepper策略和禁止在"清洁区域"之外的可逆性。
11)度量标准和SLO
Retention Coverage:具有批准策略的集合百分比。
延时:按时执行删除的比例。
Logs中的Zero-PII:掩盖日志。
法律保留Accuracy:注册表与实际冻结匹配。
Backup Restore-Rate:成功的测试恢复。
DSAR SLA:平均查询运行时间(按类型)。
Cost vs Retention: 聚合/TTL节省。
12) RACI(示例)
政策和标准:CDO/DPO(A),政府理事会(R/A),法律(C),安全(C)。
目录和标签:Data Stewards (R)、Domain Owners (A)、Platform (C)。
自动化/TTL:Platform/SRE(R),Sec(C)。
Legal Hold/DSAR:DPO/Legal(A/R),Domains(C)。
审计和备份:SecOps/SRE(R),内部审计(C)。
13)模板(准备使用)
13.1存储策略(草图)
区域:列出域和异常。
理由:法律责任/合同/同意/合法利益。
时间:"dataset → period → action"表。
法律保留:启用/删除过程。
DSAR:搜索/删除/限制顺序。
Backaps/WORM:时机、密钥、恢复测试。
控制:度量,每年咆哮,政策所有者。
13.2套装卡与退货
Dataset: `payments.transactions`
班级: 受限制(财务)
依据: 法律责任/会计
截止日期: 操作日期起N年
后期动作: 匿名聚合,硬删除零件
Legal Hold override: да
负责人: Owner/Steward,DPO
标签/合同: "pii","tokenized","retention: N",合同链接
13.3 YAML策略(策略即代码,片段)
yaml dataset: payments. transactions purpose: accounting_and_aml class: restricted retention_period: P{N}Y # ISO 8601 duration post_expiry_action: anonymize_then_delete legal_hold_override: true geo_scope: EU backups:
retention_period: P{N}Y worm: true audit:
enabled: true destination: worm://audit/payments
13.4启动支票清单
- 每个dataset都有卡片和YAML政策
- 包括存储库中的TTL/lifecycle规则
- 目录显示时间表/基础/所有者
- 定制到期和On Deletion报告
- Legal Hold注册表与存储标志同步
- 在后备箱中进行"table top" DSAR脚本/删除
14)实施路线图
0-30天(MVP)
1.集合清单和分类;指定所有者。
2.在合同/目录中添加"保留"字段;获得顶级卡片。
3.为日志和原始层启用TTL/lifecycle;博客中禁止PII。
4.法律保留注册表和流程;基本Coverage/On Time Deletion报告。
30-90天
1.推出基于策略的代码(YAML)和CI linter;没有"保留"的公关单元。
2.实施后期匿名/化名;自动化deletion jobs。
3.使后备人员遵守时间表;启用WORM进行审核。
4.将DSAR与重建和令牌化联系起来;SLA报告。
3-6个月
1.集合和键的地理本地化;跨境政策。
2.高级存储成本和TTL效应分析。
3.与Legal/Domena的季度截止日期评论;外部审计。
4.扩展至合作伙伴/提供商(续约合同要求)。
15)反模式
"我们永远保持一切"-没有理由和删除计划。
不一致:资产被删除,在备用中永久删除。
缺少Legal Hold:擦除证据。
所有域的统一时限"为了简单"。
DSAR在衍生店面/灭火器中无需实际删除。
带有prod-PII副本和无限期的沙箱。
16)相关部分
数据管理,访问控制,数据令牌,安全和加密,数据来源和路径,审计和验证,法律保留和DSAR,保密ML。
底线
存储策略将"混乱的仓库"变成一个托管的档案:每个字段都知道自己的时机,基础和命运。对于iGaming来说,这是合规性,经济性和对数据的信任的基础:您存储足够但不是多余的,能够快速删除和证明,同时不会破坏报告,ML和操作过程。