逻辑集中

1）为什么集中博客

• 加快搜索事件的根源（请求id/trace-id）；
• 允许在症状（错误，异常）上构建信号差；
• 提供审核跟踪（谁/何时/何时）；
• 通过统一保留和保留降低成本。

2）基本原则

1.仅结构化逻辑（JSON/RFC5424）-没有"免费文本"而没有密钥。
2.单个密钥方案是：'ts，level，service，env，region，tenant，trace_id，span_id，request_id，user_id（蒙面），msg，kv……'。
3.默认相关性：将trace_id从网关滚动到后端和日志。
4.噪音最小：正确的级别、采样、重复数据消除。
5.设计安全：PII掩蔽,RBAC/ABAC,不可变性。
6.经济学：hot/warm/cold，压缩，聚合，TTL和rehydration。

3）典型体系结构

EFK/ELK: (Fluent Bit/Fluentd/Filebeat) → (Kafka — опц.)→ (Elasticsearch/OpenSearch) → (Kibana/OpenSearch Dashboards).通用搜索和聚合。
类似Loki（标签上的日志索引）：Promtail/Fluent Bit → Loki → Grafana。大体积便宜，功能强大的标签过滤器+线性查看。
云：CloudWatch/Cloud Logging/Log Analytics+导出到冷库（S3/GCS/ADLS）和/或SIEM。
数据湖方法：最近的N天的尖峰→对象存储（parquet/iceberg）→廉价的分析查询（Athena/BigQuery/Spark）+在线层（OpenSearch/Loki）。

建议：prod-Oncoll在湖中保持在线层（7-14天的热量）和存档（月份/年份），并可以选择重新分类。

4）逻辑图和格式（建议）

json
{
"ts":"2025-11-01T13:45:12.345Z",
"level":"ERROR",
"service":"payments-api",
"env":"prod",
"region":"eu-central",
"tenant":"tr",
"trace_id":"0af7651916cd43dd8448eb211c80319c",
"span_id":"b7ad6b7169203331",
"request_id":"r-7f2c",
"user_id":"",        // masked
"route":"/v1/payments/charge",
"code":"PSP_TIMEOUT",
"latency_ms":1200,
"msg":"upstream PSP timeout",
"kv":{"provider":"psp-a","attempt":2,"timeout_ms":800}
}

标准：时间RFC3339，来自"TRACE/DEBUG/INFO/WARN/ERROR/FATAL"套件的级别，snake_case键。

5）拼写和采样水平

DEBUG-仅在dev/stage中；在国旗上和TTL上。
INFO是查询/事件的生命周期。
WARN-不影响SLO的可疑情况。
ERROR/FATAL-对请求/用户的影响。

• 重复错误的rate-limit（例如1/sec/key）。
• 尾部采样轨道（仅为"不良"请求保留完整的标记/轨迹）。
• 动态：在错误风暴中，减少细节，保留摘要。

6）交付标记（代理和推销员）

在节点上：Fluent Bit/Filebeat/Promtail 收集文件/jurnal,进行解析、掩蔽和缓冲。
网络队列：Kafka/NATS，用于平滑峰值，中继和排序。
可靠性：backpressure,磁盘缓冲区,交付确认（at-least-once）,等值索引（密钥哈希）。
边缘过滤：在上线之前放弃"聊天"和秘密。

7）索引和存储

按时间分组（每日/每周）+通过"env/region/tenant"（通过模板索引或标签）。

• Hot （SSD, 3-14天）：快速搜索和Alertes。
• Warm（HDD/冰柜，30-90天）：有时会寻找。
• 冷库（对象，月份/年份）：合规性和罕见的调查。
• 压缩和旋转：ILM/ISM（生命周期策略）、gzip/zstd、downsampling（聚合表）。
• 改造：临时将存档批次装载到"热"集群中进行调查。

8）搜索和分析： 典型查询

事件：时间过滤器× 'service=.'× 'level>=ERROR' × 'trace_id'/'request_id'。
提供者："代码：PSP_"和'kv。提供者：psp-a'，按区域分组。
异常：消息频率增加或场分布变化（基于规则的ML检测器）。
审计："类别：审核"+"演员"/"资源"+结果。

9）与指标和跟踪的相关性

相同的标识符在所有三个信号（度量，logi，traces）中为"trace_id/span_id"。
图中的链接：从p99面板到"trace_id"上的日志的点击转换。
版本注释：用于快速绑定的度量和日志中的版本/金丝雀。

10）安全，PII和合规性

字段分类：PII/秘密/财务-在入口处掩盖或删除（Fluent Bit/Lua过滤器,Re2）。
RBAC/ABAC：按角色访问索引/标签,row/field-level-security。
不变性（WORM/append-only）用于审核和监管要求。
转义和"遗忘权"：TTL/按键删除，"user_id"令牌化。
签名/散列：关键日志的完整性（管理行动，付款）。

11） SLO和pipline logo指标

交货：99。9%的热层事件≤ 30-60秒。
损失：<0。01％在24小时内（通过检查标签）。
搜索可用性：≥ 99。9％在28天内。
请求的潜伏性：p95 ≤ 2-5秒在典型过滤器上。
成本：$/1M事件和$/GB存储在层切口。

12）Dashbords（最低）

Pipline Health：进出/进出shippers，retrai，填充缓冲区，Kafka脱落。
服务/代码错误：前N，趋势，"latency_ms"。
审核活动：admin-action,提供程序错误,访问。
Ekonomics：数量/日，指数增长，按层计算，"昂贵"查询。

13）操作和花花公子

Storm Log：在座席上启用激进采样/限值,提升缓冲区,暂时将部分流量转换为warm。
方案漂移：新密钥/类型的出现，启动方案匹配（方案目录）。
缓慢搜索：重新组合索引，增加副本，分析"重"查询，存档旧批次。
安全事件：立即启用不可变性，卸载工件，限制角色访问，RCA。

14）FinOps： 如何不破产

取出号角：将多行堆栈变成"堆栈"字段，并采样重播。
启用TTL：不同的"env"/"level"/"category"。
使用Loki/Archive+ on demand rehydrate进行罕见的访问。
派对和挤压：大派对更便宜，但要关注SLA搜索。
实现频繁的分析报告（每日汇总）。

15）工具示例

Fluent Bit（伪装并发送到OpenSearch）

ini
[INPUT]
Name       tail
Path       /var/log/app/.log
Parser      json
Mem_Buf_Limit   256MB

[FILTER]
Name       modify
Match
Remove_key    credit_card, password

[OUTPUT]
Name       es
Host       opensearch.svc
Port       9200
Index       logs-${tag}-${date}
Logstash_Format  On
Suppress_Type_Name On

Nginx access log в JSON с trace_id

nginx log_format json escape=json '{ "ts":"$time_iso8601","remote":"$remote_addr",'
'"method":"$request_method","path":"$uri","status":$status,'
'"bytes":$body_bytes_sent,"ua":"$http_user_agent","trace_id":"$http_trace_id"}';
access_log /var/log/nginx/access.json json;

OpenSearch ILM策略（hot→warm→delete）

json
{
"policy": {
"phases": {
"hot":  { "actions": { "rollover": { "max_age": "7d", "max_size": "50gb" } } },
"warm": { "min_age": "7d", "actions": { "forcemerge": { "max_num_segments": 1 } } },
"delete":{ "min_age": "90d", "actions": { "delete": {} } }
}
}
}

16）实施支票

• 采用了字段图和日志级别；启用了trace/request-id相关性。
• 已配置具有蒙版和缓冲区的代理（Fluent Bit/Promtail）。
• 选择了一个在线图层（OpenSearch/Loki/云）和一个存档（S3/GCS+parquet）。
• ILM/ISM+hot/warm/cold, rehydrate process.
• RBAC/ABAC,审计不可变性,访问日志。
• Pipline Dashbords，损耗/滞后/磁盘缓冲区。
• 花花公子：一场巢穴风暴，模式漂移，搜索缓慢，安全事件。
• 财务限额：$/1M事件，"昂贵"请求的配额。

17）反模式

没有结构的文本日志→无法过滤和聚合。
INFO中的巨型堆栈→体积爆炸。
缺乏相关性→所有服务的"抖动"。
"永远"存储→以云为代价作为飞机。
Logs 中的秘密/PII →合规风险。
手动编辑销售中的索引→漂移和长时间搜索停机。

18）结果

逻辑集中化是一个系统，而不仅仅是堆栈。标准化电路、相关性、安全喷嘴、后期存储和严格的访问策略使日志成为SRE、安全和产品的强大工具。正确的回避和FinOps保持预算，而SLO吹笛和花花公子使调查变得快速和可重复。