存储日志和事件的策略
1）目的和范围
目标：确保合法、安全和经济高效地存储记录/事件,支持调查、审计、AML/KYC报告以及平台的可持续性。
覆盖范围：所有环境（prod/stage/dev）,应用程序和微服务,反欺诈和支付,KUS/制裁, RG,基础设施（K8s/Cloud/CDN/WAF）,合作伙伴/供应商（PSP, KYC,反欺诈,分析师）。
2）博客类和最小字段组成
1.安全（SecOps/Identity）：身份验证、ATO/反欺诈信号、角色和策略更改、 PII访问。
Поля: `actor`, `subject`, `action`, `result`, `ip`, `device`, `geo`, `risk_score`, `trace_id`.
2.交易/付款：存款/收款,充电包,反欺诈规则。
Поля: `tx_id`, `amount`, `currency`, `psp`, `status`, `rule_hits[]`, `evidence_ref`.
3.CUS/制裁/RER：起始、结果、提供者/列表版本、解决方桉（true/false positive）。
4.操作/SRE：SLO度量，发行版，自动驾驶仪，事件，Alertes。
5.营销/CRM（可选）：同意/退房事件,活动（没有额外的PII）。
6.审核数据访问：使用PII读取/导出/删除集；DSAR/AML桉例链接。
3）保留时间和存储级别（Hot/Warm/Cold/WORM）
4）时间同步和可跟踪性
统一的时间基数：NTP/Chrony，存储'ts_utc'（UTC）+'ts_local'（用于报告）。
相关性：每个日志中都包含"trace_id"/"span_id"和"source_service"。
时区：报告/导出-明确表示TZ。
5）访问、加密和职责分工
加密： at rest（KMS；密码空间至少90天的密钥轮换）和公交（TLS 1。2+).
RBAC/ABAC：最低限度的访问；每个审阅登录的单独角色。
破玻璃：具有多因素授权和自动喷涂的临时访问。
细分：带有PII/财务的逻辑-单独的索引/垃圾箱，单独的密钥。
登录访问日志：所有读数/导出都是捕获和重读的。
6）隐私和掩饰
严格禁止编写：密码，令牌，PAN（完整），CVV/CVC，完整文档号，"原始"生物识别数据。
默认掩码：email → 'p@domain。com`;→电话"+XXX 123"；IBAN/PAN →令牌/最后四位数。
别名：用分析/营销逻辑中的持久令牌取代"user_id"。
Cookie/SDK：除非有法律依据，否则仅在获得同意（CMP）的情况下使用PII编写技术标识符。
DSAR兼容性：存储拨号源链接和选择性检索/删除功能。
7）数据质量（数据质量）和格式
电路编码：集中JSON电路/事件协议,转换。
验证：不为空/范围/regexs；被拒绝的事件-在带有原因标签的quarantine队列中。
重复数据消除：通过"（trace_id、ts, source）"；Retrae的idempotency水平。
丰富：严格确定性；geo/devays属性-指定字典版本。
8）体系结构和存储层
热门：索引存储/搜索集群（操作调查，SIEM）。
Warm：具有加速访问/冷索引的对象存储。
冷：对象/存档存储（冰川类/类似）,通过batch查询。
WORM/Legal Hold：不变的垃圾箱/政策还原和"合法保留"，无法在到期前删除/修改。
9）删除、归档和法律保留（SOP）
1.日常调度程序按时间表计算候选人。
2.活动事件/调查/法律保留检查。
3.归档：根据需要迁移到Cold/WORM。
4.删除：安全清理+日志（"dataset"、"range"、"actor"、"hash_before/after"）。
5.在战斗结束时在Compliance/Data中报告。
10）与合规性集成（GDPR/AML/PCI/ISO）
GDPR：RoPA中的最小化，目标/基础；DSAR可用性；72小时的通知依赖于审计日志。
AML：拥有制裁检查记录，STR/SAR链接；5-10年（国家）。
PCI DSS（如果适用）：禁止敏感身份验证数据；分离支付周界日志。
ISO 27001/ISMS：作为强制性文件的逻辑政策；年度审核和测试。
11）供应商和子处理器
DPA/SLA：指定保留时间，地理，TOM，导出格式，WORM/Legal Hold，事件响应时间。
审计：调查问卷，PII访问选择性记录，事件/通知测试。
Offbording：删除/退回日志、关闭行为、确认销毁副本/备份。
12）监控和Alertes
KRIs：验证失败率上升>X%, lagi ingestion> Y, ETL未修复<99%,尝试在窗口外访问。
KPI：≥ 95％的服务进行逻辑覆盖；管线故障的MTTD ≤ 15分钟；完成的Hot请求的比例≤ 2秒-≥ 95％。
SOAR：违反续集/访问/掩盖时自动滴答作响。
13) RACI
14）出口和报告
白色收件人和格式列表（CSV/Parquet/JSON）,默认情况下为非个性化。
每个存档的签名/散列，上载日志。
监管报告模板：制裁/RER，KYC，AML Alert，PII访问，事件摘要。
15）开发和运营要求
有意义地计算：关键行动/解决方桉,而非所有流量。
层级标准："DEBUG"在prod中被禁止；"INFO"用于商业活动；"WARN/ERROR"用于异常。
Redaction-middleware： 网关/SDK中的单个掩蔽层。
测试环境：合成数据或化名；禁止在dev中复制原始日志。
发行版本：CAB中的构造/掩码支票清单；用于高级拼写的特征标志。
16）支票单
16.1每周控制
- 时间同步不漂移
- ingestion错误<阈值
- 集合中没有直接的PII/秘密
- 可用性/角色相关
- ETL成功≥ 99%
16.2每月审计
- 重新检查/删除
- 意外出口样本（签名/散列）
- 复仇者（出入记录，事件）
- 更新图表/目录
16.3在删除/归档之前
- No Legal Hold/事件
- 导出相关工件（如果需要）
- 销毁议定书的形成
17）拼写事件（快速剧本）
在日志中检测到PII/秘密 →立即启用redaction规则、限制访问、启动密钥清除/旋转、评估比例（DPO/Legal）,如有必要,通知。
Pipline Logs故障→切换到缓冲区、SRE警报、重新启动输入、后太平间。
18）实施路线图
第1周至第2周：源清点，时间约定，基本重建矩阵，方案方式。
3-4周：引入掩码/修订版，将索引与PII，NTP/trace ID，WORM分开用于关键集。
第二个月：删除/存档自动化，KRIs/KPIs和Alerta，SOAR花花公子。
月3+：供应商审计，价值优化（tiering），季度评论时机和司法管辖区的要求。
TL;DR
单一逻辑策略=清晰的时间表矩阵+掩码和加密+RBAC和访问审核+WORM/Legal Hold+质量和时间同步。这减少了风险（GDPR/AML/PCI），降低了存储成本，并加快了调查速度。