行动和管理→减少事件的影响

减少事件影响

1）宗旨和原则

目标：防止事件升级为服务故障，并将损害降至最低：停机时间，金钱，声誉和监管风险。

• Containment first：停止故障传播（blast radius ↓）。
• Graceful degradation：比"根本不起作用"更好"效果更差"。
• Decouple&fallback：独立组件和安全替代品。
• Decision speed> perfect info：快速可逆动作（功能标志,路线开关）。
• Communicate early：一个真相来源、清晰状态和各个阶段的ETA。

2）事件模型和后果分类

影响：用户（区域，细分市场），金钱（GGR/NGR，处理），合规性（KYC/AML），合作伙伴/提供商。
类型：性能降级，部分依赖性故障（PSP，KYC，游戏提供商），发布回归，数据事件（店面/ETL延迟），DDoS/负载尖峰。
级别（P1-P4）：从关键核心故障到局部缺陷。

3）减少影响模式（技术）

3.1本地化和blast radius限制

通过沙特/地区隔离：我们关闭问题沙特/地区，其余的继续工作。
Circuit Breaker：快速消除错误/定时依赖性⇒保护窃贼。
Bulkhead（隔板）：关键路径的单独连接/队列池。
Traffic Shadowing/Canary：在完全切换之前,通过新版本运行部分流量。

3.2受控降解（graceful）

只读模式：暂时阻止突变（如利率/存款）,同时保持导航和历史记录。
功能截止：禁用次要小部件/lendscape,重型推荐,"热"搜索。
Fallback缓存：stale缓存（stale-while-revalidate）的服务响应，简化模型。
简化的限制：降低击球/页面大小,延长TTL,关闭昂贵的过滤器。

3.3负载管理

Shed/Throttle："公平"丢弃冗余请求：通过IP/键/端点,并优先考虑核心操作。
Backpressure：通过大量消费者限制生产者；回归的动态与抖动。
Queue shaping： P1流量的专用队列（付款、授权）和背景分析。

3.4快速开关

Feature Flags&Kill-switch：即时禁用问题仙女而不发布。
交通路由：切换提供商（PSP A→B）,绕过故障数据中心,转换为"温暖"复制副本。
Toggle configs：taymauts，retrai，QPS限制-通过带审计的config中心。

3.5数据和报告

延迟突变：写入outbox/log,然后交付。
时间非正规化：通过从实例化店面读取来减少DB上的负载。
Degrade BI：暂时显示标有"世界标准时间12：00数据"的最新好快照。

4）域示例（iGaming）

KYC提供商的失败：包括替代提供商；对于"低风险"限额，在简化情况下进行临时验证，并降低帐户限额。
PSP的高潜伏性：临时优先考虑本地钱包，降低付款限制，将部分付款置于"T+Δ"队列中。
游戏提供商失败：我们隐藏特定的游戏/提供商,我们保留大厅和替代品,我们显示"正在进行中,尝试X/Y"横幅。

5）组织和角色（ICS-事件指挥系统）

IC（事件指挥官）：统一协调，优先行动。
Ops Lead/SRE：集装箱，套路，幻灯片，基础设施。
Comms Lead：状态更新、状态页面、内部聊天/邮件。
主题问题所有者：受影响的子系统（PSP，KYC，游戏提供商）的所有者。
Liaison to Business：产品、支持、财务、合规。
Scribe：时间线，解决方案，后太平间工件。

规则：在活动的"战争室"中不超过7 ± 2人，其余的人是"应要求"。

6）通讯

频道：状态页面,内部#incident频道,PagerDuty/Telemost,升级模板。
节奏：P1-每15-20分钟；P2-30-60分钟。
Update Template：什么已经破裂→谁受到影响→ →下一步已经完成，→ 下一个Update的时间基准。
客户支持：预先准备好的宏和L1/L2常见问题解答，"部分退化"标记，补偿政策。

7）成功指标和触发因素

MTTD/MTTA/MTTR, Containment, SLO Burn Rate （1h/6h/24h窗口）。
风险复仇：按细分市场评估未收到GGR/NGR。
Blast radius%：受影响的用户/地区/功能的比例。
Comms SLA：状态升级的及时性。
False-positive/false-negative alerts,次要事件。

• p95关键API>门槛连续5分钟→启用高速缓存回传和trottling。
• Consumer lag> 2分钟→冻结非批判性的杀手，举起猎人。
• PSP success <97%10分钟→将流量份额转移到备用PSP。

8）花花公子（压缩）

8.1"潜伏↑/api/deposit"

1.检查error%和PSP外部taymauts →包括短的taymauts和jitter's retrai。
2.启用限制/参考资料缓存,禁用"现场"重检查。
3.将流量部分转移到备用PSP。
4.暂时降低付款/存款限额以降低风险。
5.后小说：索引/denorm，增强异步性。

8.2 "KYC挂起"

1.切换到替代提供商,启用具有约束的"简化KYC"。
2.缓存已通过的KYC状态。
3.通讯：profile上的横幅，ETA。

8.3 "ETL/BI落后"

1.标记"stale"+timestamp面板。
2.暂停重型重建,启用增量重建。
3.Jobs并发↑，优先于具有操作KPI的店面。

9）事件发生前的设计解决方桉（主动）

幻灯片表：按尾部/提供商/小部件排列的原子开关。
Trottling/Shedding政策：按优先事项预先商定的"青铜/银/金"水平。
降级测试：定期"火爆"、游戏日、溷沌实验（添加延迟/错误）。
外部依存配额：限制，错误预算，策略备份。
Runbook'和：简短的逐步说明和带有示例的命令/指令。

10）安全和合规性

失败安全：降级时-阻止有违规风险的操作，而不是"放大回路"。
PII和赠品：在手动旁路-严格的审计，最低特权，令牌化。
足迹：完整的IC/操作员操作日志,更改旗帜/配音,导出时间线。

11）反模式

"我们正在等待它变得清晰"-失去黄金时间的集会。
"我们将撤退到胜利"是雪球和成瘾风暴。
没有细分的全球幻灯片--熄灭蜡烛，不在城市用电。
沉默"不吓人"是滴答作响，失去信心。
未经审核的脆弱手动程序是合规的风险。

12）支票单

在发布关键更改之前

• 金丝雀路线+快速回滚（功能标志）。
• SLO guardrails和Alerta按p95/error%计算。
• 依存服务负载已建模。
• 通信计划和所有者。

事件发生时

• 定义了IC和通信渠道。
• 应用containment（隔离/旗帜/路由）。
• 包括有管理的退化。
• 状态页面已更新,支持已通知。

事件发生后

• 后太平间≤ 5个工作日，没有"寻找肇事者"。
• 动作与业主和截止日期。
• 重复性测试：脚本被复制并覆盖有警报/测试。
• 更新了花花公子和培训。

13）迷你工件（模板）

• 发生了什么→影响力→根源原因→长期小说→动作项目（所有者/时限）→什么有效/不起作用。

14）结果

减少事件后果是快速和可逆决策的学科：本地化，可管理降级，重新分配负载，透明地通信并巩固改进。你今天赢得了一分钟的"战术稳定"-明天将其转变为战略可持续性。