可观察性和状态控制

1）目标和原则

目的：实时了解"发生了什么"和"为什么"，以警告事件并迅速恢复，而无需违反SLO或膨胀OPEX。
原理：SLO-first,"黄金信号"（latency, traffic, errors, saturation）,单一遥测标准（OpenTelemetry）,最低限度足够的细节,可解释性,成本可观察性。

2）可观察性层

1.度量标准：SLI/SLO、capacity和Trends （RED/USE模型）的聚合。
2.Traces：查询、支付和游戏交易的因果链。
3.Logi/Events：操作员/服务活动的详细上下文和审核。
4.合成（black-box）：外部API/Web路径检查,PSP/KYC hels-ping。
5.RUM（实际用户）：前线度量（TTFB，LCP，JS错误），地理/断层。
6.低级遥测：eBPF/Profyling CPU/IO/alloc，网络感应延迟。

3）SLI套件和"黄金信号"

Latency： p50/p95/p99按关键路径（登录、存款、出价、出价）。
Errors： 5xx/timeout/decline的份额（提供商/银行正常化）。
Traffic/Throughput：RPS/TPS，活动会话，事件/秒。
Aturation： CPU/RAM/IO下载、队列深度、池使用、复制页。
业务SLI：每个窗口的成功存款/利率百分比，KYC/PSP转换偏差，chargeback份额。

4）遥测架构

标准化无花果：OpenTelemetry SDK/collector →规范化、采样、隐私过滤器→存储（TSDB、跟踪、日志）。
相关性：逻辑和度量标准（exemplars）中的trace-id/span-id；单一correlation-id用于支付/游戏事件。
拓扑：服务mapa（服务图形），具有实时SLI的从属外部提供商。
成本管理：可信度，聚合，动态采样，"热"/"冷"存储类别。

5）度量： 设计与基数

规则：少量标签，在时间系列中禁止高密度（userId，sessionId）；此类细节-仅在轨道/logi中。
RED/USE: Requests-Errors-Duration для API;用于基础架构的Utilization-Saturation-Errors。
Exemplars：将高感应器绑定到特定的跟踪示例。
业务指标：$/RPS，按银行/GEO转换的PSP，提供商的容错能力。

6） Tracing： 深度和采样

上下文：通过前沿的跟踪上下文→ API →经纪人→经纪人→ DB/PSP。
采样：基本1-10%，异常情况下的动态规则提升（基于尾巴）。
焦点：支付流（init → auth → capture/settle）、游戏交易（bet → settle）、KYC（init → verify）。
注释：PSP应答码,bank-BIN/issuer类别,区域,风险范围。

7）记录和审计

结构化日志：JSON, Profile Level （Prod上的INFO,调试中的DEBUG）。
隐私过滤器：掩盖PII,禁用KYC的原始文档。
审核事件：谁/什么/何地/何时/为何,ID字幕,高风险操作（奖金、限额、PSP路由）的前/后值。
不可更改性：WORM/immutable，签名，策略重构。

8）病情控制（健康）

Liveness/Readiness/Startup：正确的样本（不检查外部依赖性）。
Degraded mode：明确的服务降级标志,以便异物和状态页面保持一致。
Budget health：burn-rate错误预算（快速/慢速窗口），按资源和队列排队。

9）警戒和预警

SLO-alerta：根据错误预算（4小时和1小时窗口）而不是"原始"p95。
异常：STL/IQR/在线检测器用于 5xx爆发，特定GEO/罐中的 PSP授权下降。
Root-cause hints：将Alerts 与最新版本/ficheflags/计划工作联系起来。
Runbooks：每个警报都有花花公子、图形、"快速检查"的链接。

10）Dashbords（谁和看到什么）

高管：药房/SLO，burn-rate，成功存款/利率，提供商状态，容量预测和$/RPS。
SRE/平台：RED/USE按服务，队列/lag，池使用，repliclag，CDN/WAF，eBPF profile。
Payments/Risk：PSP/银行/GEO授权成功，软/硬标记，KYC时间，chargeback早期信号。
支持/CS：事件状态面板、SLA响应、FAQ宏。

11）可观察性成本管理（FinOps-Observability）

重组："原始"步道7-14天，总量更长；有选择地-热点服务。
Sampling/聚合：对异常进行动态采样，降低旧行。
Ingest policy：切断噪音（健康pings,多余的日志）,高碱度度量的配额。
KPI价值：$/GB ingest，$/trace，$/SLI dashboard；偶尔的食人族的咆哮。

12）隐私和合规性

PII/财务：隐蔽、令牌化、遥测数据最小化。
地理位置化：管辖范围内的存储和处理；逻辑导出-仅通过经批准的工作流进行加密和TTL。
遥测访问审核：RBAC/ABAC，用于卸载的SoD，查询日志。

13）与事件管理和发布集成

状态页面：事件卡自动升级。

发布门： 金丝雀分析SLI,自动停止发布在burn-rate>阈值.

Mortem后：从轨道/登录时间线,实际的SLI和违规窗口。

14）实用实施方法（8-12周）

奈德。1-2：关键路径和SLI清单；堆栈选择（OTel，TSDB，logi，轨道）；依赖图。
奈德。3-4：将OTel引入3-5项关键服务（登录/存款/投注），基本RED/USE，跟踪上下文到登录。
奈德。5-6：SLO和burn-rate-alertes；PSP/KYC合成；第一个runbooks；RUM到Web/mobile。
奈德。7-8：动态采样，exemplars，服务模式；Exec/SRE/Payments dashbords。
奈德。9-10：eBPF/热瓶颈分析；隐私过滤器；配额/豁免。
奈德。11-12：SLI上的发布门和自动回滚；与状态页集成；tabletop教学。

15）工件模板

SLO服务卡：SLI，目标，窗口，错误预算，Alerta，所有者。

警报规格： 度量/条件,阈值,dedup/cylens,收件人,runbook.

仪表板规格：受众,问题,6-8小部件,数据源,刷新率。
Telemetry Policy：哪些字段是允许的/禁止的,还原,掩蔽,导出。
Cost Review Pack： Top Series/Log Stream, Sampling/TTL优惠,预期节省。

16）可观察性函数的KPI

MTTA/MTTR（引入SLO评分后的改进）。
在用户投诉之前，合成/SLI检测到的事件百分比。
在没有人工干预的情况下通过SLI门的版本比例。
降低遥测的$/RPS，同时保持诊断能力。
用关键路径跟踪覆盖（>90%）。
相关性的准确性"状态升级↔实际SLI"。

17）反模式

"我们都在计算"→成本爆炸和噪音。
通过"原始"度量来代替SLO/burn-rate → pager-fatigue。
高基数度量（userId）→ TSDB风暴。
没有业务上下文的预告片（PSP/银行/GEO）→没有洞察力。
与发布/事件没有可观察性关系→遥测独立存在。

底线

可观察性和状态控制不是一组工具，而是受控系统：正确的SLI/SLO →标准化的遥测和相关性→ SLO测距和运行手册→与发行版和状态通信的集成→成本管理操作和隐私。这样的回路即使在极端的流量峰值下也能提供早期信号，快速RCA和业务可持续性。