存儲日誌和事件的策略
1）目的和範圍
目標：確保合法、安全和經濟高效地存儲記錄/事件,支持調查、審計、AML/KYC報告以及平臺的可持續性。
覆蓋範圍：所有環境（prod/stage/dev）,應用程序和微服務,反欺詐和支付,KUS/制裁, RG,基礎設施（K8s/Cloud/CDN/WAF）,合作夥伴/供應商（PSP, KYC,反欺詐,分析師）。
2）博客類和最小字段組成
1.安全（SecOps/Identity）：身份驗證、ATO/反欺詐信號、角色和策略更改、 PII訪問。
Поля: `actor`, `subject`, `action`, `result`, `ip`, `device`, `geo`, `risk_score`, `trace_id`.
2.交易/付款：存款/收款,充電包,反欺詐規則。
Поля: `tx_id`, `amount`, `currency`, `psp`, `status`, `rule_hits[]`, `evidence_ref`.
3.CUS/制裁/RER：起始、結果、提供者/列表版本、解決方案（true/false positive）。
4.操作/SRE：SLO度量，發行版，自動駕駛儀，事件，Alertes。
5.營銷/CRM（可選）：同意/退房事件,活動（沒有額外的PII）。
6.審核數據訪問：使用PII讀取/導出/刪除集；DSAR/AML案例鏈接。
3）保留時間和存儲級別（Hot/Warm/Cold/WORM）
4）時間同步和可跟蹤性
統一的時間基數：NTP/Chrony，存儲'ts_utc'（UTC）+'ts_local'（用於報告）。
相關性：每個日誌中都包含「trace_id」/「span_id」和「source_service」。
時區：報告/導出-明確表示TZ。
5）訪問、加密和職責分工
加密： at rest（KMS；密碼空間至少90天的密鑰輪換）和公交（TLS 1。2+).
RBAC/ABAC：最低限度的訪問；每個審閱登錄的單獨角色。
破玻璃：具有多因素授權和自動噴塗的臨時訪問。
細分：帶有PII/財務的邏輯-單獨的索引/垃圾箱，單獨的密鑰。
登錄訪問日誌：所有讀數/導出都是捕獲和重讀的。
6）隱私和掩飾
嚴格禁止編寫：密碼，令牌，PAN（完整），CVV/CVC，完整文檔號，「原始」生物識別數據。
默認掩碼：email → 'p@domain。com`;→電話「+XXX 123」；IBAN/PAN →令牌/最後四位數。
別名：用分析/營銷邏輯中的持久令牌取代「user_id」。
Cookie/SDK：除非有法律依據，否則僅在獲得同意（CMP）的情況下使用PII編寫技術標識符。
DSAR兼容性：存儲撥號源鏈接和選擇性檢索/刪除功能。
7）數據質量（數據質量）和格式
電路編碼：集中JSON電路/事件協議,轉換。
驗證：不為空/範圍/regexs；被拒絕的事件-在帶有原因標簽的quarantine隊列中。
重復數據消除：通過「（trace_id、ts, source）」；Retrae的idempotency水平。
豐富：嚴格確定性；geo/devays屬性-指定字典版本。
8）體系結構和存儲層
熱門：索引存儲/搜索集群（操作調查，SIEM）。
Warm：具有加速訪問/冷索引的對象存儲。
冷：對象/存檔存儲（冰川類/類似）,通過batch查詢。
WORM/Legal Hold：不變的垃圾箱/政策還原和「合法保留」，無法在到期前刪除/修改。
9）刪除、歸檔和法律保留（SOP）
1.日常調度程序按時間表計算候選人。
2.活動事件/調查/法律保留檢查。
3.歸檔：根據需要遷移到Cold/WORM。
4.刪除：安全清理+日誌（「dataset」、「range」、「actor」、「hash_before/after」）。
5.在戰鬥結束時在Compliance/Data中報告。
10）與合規性集成（GDPR/AML/PCI/ISO）
GDPR：RoPA中的最小化，目標/基礎；DSAR可用性；72小時的通知依賴於審計日誌。
AML：擁有制裁檢查記錄，STR/SAR鏈接；5-10年（國家）。
PCI DSS（如果適用）：禁止敏感身份驗證數據；分離支付周界日誌。
ISO 27001/ISMS：作為強制性文件的邏輯政策；年度審核和測試。
11）供應商和子處理器
DPA/SLA：指定保留時間，地理，TOM，導出格式，WORM/Legal Hold，事件響應時間。
審計：調查問卷，PII訪問選擇性記錄，事件/通知測試。
Offbording：刪除/退回日誌、關閉行為、確認銷毀副本/備份。
12）監控和Alertes
KRIs：驗證失敗率上升>X%, lagi ingestion> Y, ETL未修復<99%,嘗試在窗口外訪問。
KPI：≥ 95％的服務進行邏輯覆蓋；管線故障的MTTD ≤ 15分鐘；完成的Hot請求的比例≤ 2秒-≥ 95％。
SOAR：違反續集/訪問/掩蓋時自動滴答作響。
13) RACI
14）出口和報告
白色收件人和格式列表（CSV/Parquet/JSON）,默認情況下為非個性化。
每個存檔的簽名/散列，上載日誌。
監管報告模板：制裁/RER，KYC，AML Alert，PII訪問，事件摘要。
15）開發和運營要求
有意義地計算：關鍵行動/解決方案,而非所有流量。
層級標準：「DEBUG」在prod中被禁止；「INFO」用於商業活動；「WARN/ERROR」用於異常。
Redaction-middleware： 網關/SDK中的單個掩蔽層。
測試環境：合成數據或化名；禁止在dev中復制原始日誌。
發行版本：CAB中的構造/掩碼支票清單；用於高級拼寫的特征標誌。
16）支票單
16.1每周控制
- 時間同步不漂移
- ingestion錯誤<閾值
- 集合中沒有直接的PII/秘密
- 可用性/角色相關
- ETL成功≥ 99%
16.2每月審計
- 重新檢查/刪除
- 意外出口樣本（簽名/散列）
- 復仇者（出入記錄，事件）
- 更新圖表/目錄
16.3在刪除/歸檔之前
- No Legal Hold/事件
- 導出相關工件（如果需要）
- 銷毀議定書的形成
17）拼寫事件（快速劇本）
在日誌中檢測到PII/秘密 →立即啟用redaction規則、限制訪問、啟動密鑰清除/旋轉、評估比例（DPO/Legal）,如有必要,通知。
Pipline Logs故障→切換到緩沖區、SRE警報、重新啟動輸入、後太平間。
18）實施路線圖
第1周至第2周：源清點，時間約定，基本重建矩陣，方案方式。
3-4周：引入掩碼/修訂版，將索引與PII，NTP/trace ID，WORM分開用於關鍵集。
第二個月：刪除/存檔自動化，KRIs/KPIs和Alerta，SOAR花花公子。
月3+：供應商審計，價值優化（tiering），季度評論時機和司法管轄區的要求。
TL;DR
單一邏輯策略=清晰的時間表矩陣+掩碼和加密+RBAC和訪問審核+WORM/Legal Hold+質量和時間同步。這減少了風險（GDPR/AML/PCI），降低了存儲成本，並加快了調查速度。