审核和编写工具
1)为什么需要它
目标是:- 活动的可追溯性(何人/何时/何地/为什么)。
- 快速调查事件和伪装。
- 符合监管机构和客户的要求。
- 风险管理和事件中MTTR的减少。
- 支持风险模型,防冻剂,合成(KYC/AML/RTBF/Legal Hold)。
- 源涂层的完整性。
- 记录的不变性和完整性。
- 标准化事件图。
- 搜索可用性和相关性。
- 最大限度地减少个人数据和隐私控制。
2)工具景观
2.1个日志管理和索引
Сбор/агенты: Fluent Bit/Fluentd, Vector, Logstash, Filebeat/Winlogbeat, OpenTelemetry Collector.
存储和搜索: Elasticsearch/OpenSearch, Loki, ClickHouse, Splunk, Datadog Logs.
流媒体/轮胎:Kafka/Redpanda、NATS、Pulsar-用于缓冲和粉丝外出。
解析和归一化:Grok/regex,OTel处理器,Logstash管道。
2.2 SIEM/Detect & Respond
SIEM: Splunk Enterprise Security, Microsoft Sentinel, Elastic Security, QRadar.
UEBA/行为分析:SIEM,ML检测器的嵌入式模块。
SOAR/编排:Cortex/XSOAR,Tines,Shuffle-花花公子自动化。
2.3审计和不变性
Аудит подсистем: Linux auditd/ausearch, Windows Event Logs, DB-аудит (pgAudit, MySQL audit), Kubernetes Audit Logs, CloudTrail/CloudWatch/Azure Monitor/GCP Cloud Logging.
不可变存储:WORM罐(对象锁),S3冰川保险库锁,写单卷,带有加密脚本/哈希链的日志。
TSA/时间标记:绑定到NTP/PTP,在外部受信任的时间中定期锚定哈希。
2.4可观察性和跟踪性
度量/示踪剂:Prometheus+Tempo/Jaeger/OTel,对日志↔ trace_id/span_id跟踪的联合。
Dashbords和Alerts:Grafana/Kibana/Datadog。
3)事件来源(覆盖范围)
基础架构:OS(syslog,auditd),容器(Docker),编排(Kubernetes Events+Audit),网络设备,WAF/CDN,VPN,IAM。
应用程序和API:API网关,服务市政厅,Web服务器,后端,队列,调度程序,webhooks。
DB和存储:查询、DDL/DML、秘密/密钥访问、对象存储访问。
支付集成:PSP/收购,充电包,3 DS。
操作和过程:进入控制台/CI/CD 、管理面板、配置/fichflags更改、发行版。
安全性:IDS/IPS,EDR/AV,漏洞扫描仪,DLP。
定制事件:身份验证,登录尝试,KYC状态更改,存款/结算,投注/游戏(必要时匿名)。
4)数据图和标准
一个事件模型: "timestamp","event。category`, `event.action`, `user.id`, `subject.id`, `source.ip`, `http.request_id`, `trace.id`, `service.name`, `environment`, `severity`, `outcome`, `labels.`.
Стандарты схем: ECS (Elastic Common Schema), OCSF (Open Cybersecurity Schema Framework), OpenTelemetry Logs.
相关键是: 'trace_id','session_id','request_id','device_id','k8s。pod_uid`.
质量:强制性字段、验证、重复数据消除、"噪音"源采样。
5)建筑参考
1.在nods/代理上收集 →
2.Pre-processing(解析、PII修订、规范化)→
3.Sheena (Kafka)重生≥ 3-7天→
4.线程分支:- 在线存储(搜索/相关性,热存储7-30天)。
- 不可更改的归档(WORM/Glacier 1-7年进行审核)。
- SIEM(检测和事件)。
- 5.Dashbords/搜索(操作,安全,合规性)。
- 6.用于反应自动化的SOAR。
- Hot:SSD/索引,快速搜索(快速响应)。
- Warm:加压/不经常访问。
- 冷库(WORM):廉价的长期存储,但不变。
6)不变性、诚信、信任
WORM/lock对象:在策略期限内阻止删除和修改。
加密和哈希链条:在徽章/徽章上。
哈希锚定:定期在外部注册表或可信时间中发布哈希。
时间同步: NTP/PTP,漂移监测;录制时钟。source`.
更改控制:Retention/Legal Hold策略的四眼/双控件。
7)隐私和合规性
PII最小化:仅存储必要的字段,编辑/掩盖到ingest。
别名:'user。pseudo_id',mapping的存储是分开和有限的。
GDPR/DSAR/RTBF:源分类,可管理的逻辑删除/副本隐藏,合法存储义务的例外情况。
法律保留:"freeze"标签,在档案中暂停删除;Hold周围的动作日志。
标准制图:ISO 27001 A.8/12/15,SOC 2 CC7,PCI DSS Req。10、地方市场监管。
8)操作和流程
8.1 个花花公子/Runbooks
来源损失:如何揭示(heartbeats)、如何恢复(从总线复制)、如何补偿遗漏。
延迟增加:队列检查,缓存,索引,后压。
事件X调查:KQL/ES-query模板+带有跟踪上下文的捆绑。
Legal Hold:谁上演,如何拍摄,如何记录。
8.2 RACI(简称)
R(响应):监视团队,负责收集/交付;SecOps用于检测规则。
A(会计):政策和预算的CISO/行动负责人。
C(咨询):隐私的DPO/法律;图形的体系结构。
I (Informed): Sapport/产品/风险管理。
9)质量指标(SLO/KPI)
Coverage:连接的关键源%(目标≥ 99%)。
Ingest lag: p95延迟交付(<30秒)。
指数成功: 无解析错误事件比例(>99.9%).
Search latency: p95 <2秒到24 h窗口的典型请求。
丢弃率: 事件丢失<0。01%.
警报富达:按规则,假阳性比例精确。
Cost per GB:期内存储/指数成本。
10)保留策略(示例)
策略由Legal/DPO和本地法规指定。
11)检测和Alertes(骨骼)
规则(规则即代码):- 可疑身份验证(无法移动,TOR,频繁错误)。
- 特权/角色升级。
- 在发布时间表之外更改配置/秘密。
- 异常事务模式(AML/防冻信号)。
- 大量数据上载(DLP触发器)。
- 容错性:5xx冲击,后退退化,多次pod's重启。
- 丰富地理/IP声誉,绑定到发布/fichflags,绑定到轨道。
12)登录访问安全
RBAC和职责隔离:针对读者/分析师/管理人员的单独角色。
即时访问:时间令牌,审核所有"敏感"索引读取。
加密:transit (TLS), at rest (KMS/CMK),密钥隔离。
秘密和钥匙:轮换,限制使用PII导出事件。
13)实施路线图
MVP(4-6周):1.源目录+最小电路(ECS/OCSF)。
2.Nods+OTel Collector上的代理;集中式解析。
3.热存储(OpenSearch/Elasticsearch/Loki)+行车记录仪。
4.基本Alertes(身份验证,5xx,configs更改)。
5.对象存储(WORM)中的归档。
阶段2:- Kafka作为轮胎,继电器和retray队列。
- SIEM+第一个相关规则,SOAR花花公子。
- 加密蹦床,锚定哈希。
- 法律保留政策,DSAR/RTBF程序。
- UEBA/ML检测。
- 事件编目(数据目录),lineage。
- 成本优化:采样"嘈杂"的日志,tiering.
14)常见错误以及如何避免错误
无模式日志噪声:→引入必填字段和采样。
没有跟踪:→将trace_id嵌入到皮层服务和代理中。
一个逻辑的"整体":→按域和临界级别划分。
不变性:→启用WORM/Object Lock和签名。
博客中的秘密:→过滤器/编辑器,令牌扫描仪,咆哮。
15)发射支票清单
- 具有临界优先级的来源登记册。
- 单个电路和验证器(针对解析器的CI)。
- 代理策略(k8s, Beats/OTel)。
- Sheena和重建。
- 热/冷/存档存储+WORM。
- RBAC,加密,访问日志。
- 基本的Alerta和SOAR花花公子。
- Ops/Sec/Compliance的Dashbords。
- DSAR/RTBF/法律保留策略。
- KPI/SLO+存储预算。
16)事件示例(简化)
json
{
"timestamp": "2025-10-31T19:20:11.432Z",
"event": {"category":"authentication","action":"login","outcome":"failure"},
"user": {"id":"u_12345","pseudo_id":"p_abcd"},
"source": {"ip":"203.0.113.42"},
"http": {"request_id":"req-7f91"},
"trace": {"id":"2fe1…"},
"service": {"name":"auth-api","environment":"prod"},
"labels": {"geo":"EE","risk_score":72},
"severity":"warning"
}
17)词汇表(简短)
Audit Trail是一系列不变的记录,记录对象的行为。
WORM-"记录一次,阅读多种族"的存储模式。
SOAR-花花公子事件响应自动化。
UEBA-分析用户和实体的行为。
OCSF/ECS/OTel是日志方案和遥测的标准。
18)结果
审核和拼写系统不是"日志堆栈",而是具有明确数据方案,档案,相关性和响应花花公子的托管程序。遵守本文中的原则可提高可观察性,加快调查速度,并关闭行动和契约的关键要求。