技术和基础设施→ AI-Ops和独立系统

AI-Ops和独立系统

1）什么是AI-Ops

• 更早地发现问题（事件防护），
• 自动修复故障（自动修复）,
• 优化成本和性能（谓词滑行，智能漫游），
• 加快事件分析（信号相关性、验尸生成）。

1.感觉（收集遥测），

2.理解（模型、启发式、规则），

3.采取行动（对销售进行安全更改），

4.学习（通过事后分析结束反馈回路）。

2） AI-Ops-structure层

1.遥测收集（Observability 3-in-1）：度量（Prometheus/OTel），logi（Loki/ELK），traces（OTel/Jaeger）。
2.丰富与微调工程：聚合，滑动窗口，季节性，业务标签（"合作伙伴"，"game_id"，"区域"，"VIP"，"psp"）。

• 异常检测（STL，Prophet，Isolation Forest，自动编码器），
• 因果图（相关性），
• 事件分类和优先级（ML+SRE域规则）。
• 4.解决方案和行动：ranbook，自动回程，交通切换，自动滑行，更改限制，追随者路由。
• 5.人机轮廓：NOC/SRE的LLM副本，聊天命令，"如果"模拟。
• 6.州长与安全：批准，变更窗口，灾难性的停车条件，审计。

3）数据源和fichi

基础架构：CPU/Memory/IO/Latency，网络错误，Pod/Node K8s，限制/请求，注释压力。
服务：RPS/P50/P95/P99, 4xx/5xx, saturations, retrais错误,电路断路器事件。
业务信号：registratsiya→depozit （CR）、GGR/Net Deposits、PSP代码故障、VIP流量、锦标赛、促销活动。
额外因素：发布/ficheflagi，监管报告，银行支付窗口，比赛/活动（利率高峰）。

有用的fici：每周/每小时的季节性，泻湖，滚动状态，变化率，代码错误混合，三角洲versiya→versiya，卫星得分。

4）应用桉例

4.1及早发现事件

该地区"psp_decline_rate"故障的异常增长→每个冗余PSP的自动收发器，该收发器仅限于片段（不接触VIP）。
"Web gateway → wallet"链中的非标准跟踪延迟模式→将自动加密的流量→到健康的poda，加热缓存，重新启动降级实例。

4.2谓词capasity管理

RPS预测包括比赛时间表和促销→主动滑行K8s，加热DB/缓存连接，云计费配额。
节省：在保持SLO的同时，减少了峰值外的过载。

4.3自动还原（自我治疗）

"stuck payouts queue"错误→ ranbook：用户暂停、重复数据消除、DLQ复制过程、等效性控制。
降级的DB硬件→读取疏散，作者切换，背景乔布斯的旋转。

4.4相关性与RCA

ML聚类Alert（警报风暴）+因果图→一个"事件卡"而不是数十条消息。
事件的时间线自动生成和验尸草稿。

4.5 NOC/SRE（LLM）的副产品)

团队： "展示欧盟地区5xx/v2/payouts激增前15分钟发生的一切变化。"

答：diff configs，发行说明，delta度量，受影响的子图，假设+"启动运行手册"按钮。

5）决策模式

安全自动化：仅在"绿色走廊"中操作（gardrail： max%的流量，max-step scale，允许的命令列表）。
人体循环：关键步骤（DB大师切换,质量锁定）-通过呼叫确认。
多重性：触发器不是单一的警报，而是一致性：度量+tresa+log模式+发布特征。
金丝雀还原：首先应用1-5%的流量，然后升级。
Rollback-by-Design：每个动作都有倒退和定时。

6）Ranbooks（Runbooks）和花花公子

Ranbook结构：条件→验证→动作→验证→回滚→日志。

• 在Y国家/地区，PSP故障>X%：切换到B号角，降低"retry_budget"，激活限值缓存，打开PSP的滴答声。
• Wallet服务中的延迟增长：增加复制副本,加热Redis密钥的"限制",为重型报告启用"只读"模式,限制第三方聚合。

7）型号： 从简单到成熟

1.基本规则和STL季节性：快速开始，几乎没有犯规积极性。
2.事件故事的增强模型："关键/子系统"分类器，RCA提示。
3.未解决/深度：用于复杂模式的自动编码器/隔离森林。
4.Policy-Learning：重制策略培训（离线模拟+有限的在线实验）。

重要的是：模型≠魔术。进行回顾性评估，漂移控制，冠军挑战者并存储fici/标签。

8）A/B和操作实验

操作解决方案的实验：不同的撤退/定时策略，PSP路由，连接限制。
成功的度量标准是：MTTR，错误预算烧伤，每RPS成本计算，百分比犯规自动记录。
SLO降解时的停止条件和快速停止。

9）州长，风险和合规性

操作策略：允许的自动化列表、风险区域、更改窗口、批准级别。
审核和跟踪：何人/何时/为什么启动了ranbook；用于验尸的文物。
PII/PCI：伪装成胶片/日志，数据最小化，密码扫描。
iGaming/fintech监管：决策透明度（explainability）,付款停止/限额逻辑必须复制和解释。

10）工具箱（参考堆栈）

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.

目录和知识：服务目录，图依赖性，configs/ficheflags的清单。
ML piplines：功能商店，离线DWH+在线摄影机，寄存器模型，CI/CD模型，漂移监视。
自动化：ranbook编曲器（Argo/StackStorm/自opisnyye），K8s操作员，GitOps（Argo CD/Flux）。
事件：聊天操作（Slack/Telegram/Teams），看门狗，后验尸模式。
安全性：Vault/KMS,密钥策略,mTLS,工件签名。

11） AI-Ops成熟度量

发现：在用户投诉之前看到的事件百分比；平均提前检测。
反应：MTTA/MTTR，未升级的自动还原％，RCA质量（精密/反应）。
可靠性：burn-rate, SLO adherence,"噪音"alertes （alerts per-call hour）。
经济学：节省$计算（rightsizing）,减少预算偏差,成本转换。
文化：验尸事件比例，Ranbuks服务覆盖率，规则实施速度。

12）逐步实施计划

1.遥测和统一信号字典。必备标签："服务"，"版本"，"区域"，"合作伙伴"，"api_version"。
2.反噪声和相关性。重复数据消除、事件分组。
3.Ranbook库。前10名风险的情景（付款，钱包，游戏目录，锦标赛，报告）。
4.主要模型。STL/Prophet+规则；2-3服务飞行员。
5.副驾驶和聊天操作。自然查询，快速操作，验尸模式。
6.Gardryls和控制。Canaries，活动限制，审核日志。
7.实验和培训。冠军挑战者，A/B，回顾性收益评估。
8.缩放。连接所有关键线程、团队培训、SLO评论。

13）政治家和configs的例子

13.1自动滑冰政策（想法）

在RPS预测>上周P95+X%时主动滑行。
冷启动：加热连接到Redis/PSP，加热缓存。
停止条件：5xx错误在滑冰→回滚后上升。

13.2 Ranbook "PSP降解"

1.检查"psp_error_rate> T'和 'region in {BR, TR}".

2.在PSP-B上启用仅用于非VIP的智能路由；限制'max_retries=2'。
3.创建PSP-A股票代码；收集100个RCA查询/响应。
4.监视CR存款和T2W（时间到钱包）。退化>Y%时回滚。

13.3后验尸模板（具有自动发生）

检测器→时间线→假设→影响（用户/收入）→行动→经验教训→ Ranbook/模型更改。

14）反模式

没有Gardrails的"黑匣子"：机器人在没有限制和审计的情况下进行销售。
没有业务事件数据的模型：看到CPU,但不了解促销/比赛。
警报风暴：呼叫上的"隧道视觉"→缺乏相关性。
没有结果/验证的自动还原。
"永恒的飞行员"：没有真正行动的出路，只有廉价板。
缺乏验尸系统-没有系统培训。

15） iGaming/fintech背景

负荷峰值（锦标赛，轻量级投注，决赛）：谓语滑冰，缓存，PSP限制准备。
负责任的游戏/限制：没有合规规则，模型不得自动取消玩家的限制。
监管报告窗口：下载时间表、SLA上载、队列优先级。
Multi-PSP：跨国家/地区的动态路由，每天的时间，错误代码，交易成本。
VIP部分：单独的Gardrails-没有未经确认的侵略性行动（人间循环）。

16）准备就绪清单

1.单层OTel，统一标签和通过网关的路线。
2.服务和版本依赖性映射（服务主题）。
3.具有模拟和单元测试的ranbook目录。
4.销售中至少有一个异常模型+质量报告。
5.能够读取逻辑/度量并运行安全操作的聊天副本。
6.Gardryls，金丝雀，回扣，变更审核。
7.根据结果定期进行验尸和知识/模型更新。

结果

AI-Ops不是"逻辑之上的魔术AI"，而是一门学科：高质量的遥测，易懂的书籍，谨慎的自动化和受控模型。通过引入观察→理解→操作→学习的循环，您将获得一个自我修复的平台，该平台曾经注意到风险，恢复速度更快，并且使业务成本更低。