事件模拟

1）为什么要进行模拟

• 降低MTTD/MTTA/MTTR，增加对回滚和操纵的信心；
• 查明过程（升级、沟通）和建筑薄弱环节；
• 作为RCA→CAPA入口并改进文档（runbook/SOP）；
• 确认已准备好满足SLA/监管机构/审计要求。

2）模拟格式

Tabletop（台式机）是白板/聊天室中的对话脚本：便宜，快速，非常适合练习角色和沟通。
Game Day（有限制的赌注/促销练习）是花花公子的实际步骤；在销售中-只有安全的，可逆的动作与清晰的门。
Chaos Engineering-用于稳定性检查和SLO门的托管故障（断开依赖项/网络/节点）。
DR演习（灾难恢复）-AZ/区域故障,从备份中恢复,切换提供商。
Comms-drill纯粹是通信：状态页面，消息模板，PR/法律。

3）角色和责任

事件指挥官（IC）-做出决定,维护计划,降级.

技术领导（TL）-诊断，技术"注入"和假设。
Comms Lead （CL）-内部/外部升级,状态页面。
Scribe是一种协议（时间线，动作，决策，工件）。
Observers/Assessors-捕获指标和过程合规性。
Red Team（可选）-引入不可预见的"喷射"。

4）模拟成功度量

MTTD/MTTA/MTTR合成事件。
Comm SLA：升级的及时性和质量。
SLO-guardrails：对burn-rate的正确反应，即外部样本的法定数量。
Runbook Fidelity：文档上完成的步骤百分比没有即兴创作。
缓解：连接所需角色/提供商的速度。
Checklists pass-rate：合规性"准备/接受/关闭"。
Noise&Fatigue：额外的Alerta,呼叫过热。
CAPA completion：模拟后执行的活动的比例。

5）准备： 开始前需要什么

目的和假设：我们测试什么（过程，建筑，人）。
脚本和"喷射"：症状或事件与时间序列。
安全限制：禁止不可逆转的改变；取消点。
数据和看台：合成流量，降级标志，安全钥匙。
文档：链接到runbook/SOP、升级、提供商联系人列表。
可观察性：预标记的dashbords/alerta，测试金丝雀。
物流：时间/持续时间，参与者，战争室频道，记录。

6）进行模拟： 阶段

1.简报（5-10分钟）：IC类似于目标、角色、安全规则、完成标准。
2.T0-症状注射：警报器，业务SLI下降，外部提供商状态。
3.三重奏和升级：分配SEV，freeze发行版，连接所需的角色。
4.诊断：假设，DNS/TLS/CDN/DB/kesh/总线验证，发布注释。
5.Mitiging Actions： otkat/kanareyka↓,降级标志,failover提供商,限制/撤退。
6.通讯：定期补充（格式：Impakt→Diagnostika→Deystviya→Sled。后期）。
7.还原和验证：在绿区N间隔内的外部合成+SLI。
8.Debrief（AAR）：15-30分钟-事实，结论，CAPA。

7）脚本示例（目录）

支付成功率下降：提供商A在一个国家退化；预期的行动-重新分配流量,包括简化的UX,通信。
DNS故障：写入/TTL错误,部分用户不会拒绝域；预期的步骤-虚构/后退，CDN清除，状态升级。
过期的TLS证书：老客户握手破裂；预计紧急扩展和链条检查。
Kafka lag：KYC/AML事件的延迟增加；期望是扩大消费者，限制生产者。
p99 DB ↑和5xx的增长：窄指数，连接极限；等待-幻灯片，限制，hotfix/回滚。
区域豁免：AZ/PoP关闭；等待-GSLB/Anycast切换、数据验证和SLO。
Communication Drill：所有内容均为"绿色"，但要检查模式，间隔和与Legal/PR的匹配。

8）"注射"模板（卡片）

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9）安全和合规性

Prod Simulation仅是可逆的：幻灯片，小份额的流量切换，阅读副本，"影子交通"。
访问控制/审核：通过ChatOps/pipline；不变存储中的日志。
PII/秘密-不用于教学文物；数据被去人格化。
监管性：如果模拟影响客户通信-在私人渠道中标记"教学"；公共职位不被模彷。

10）评估和AAR → RCA → CAPA

AAR （After Action Review）-演习结束后立即：预计/看到什么有效/没有。
RCA-对于RCA模式下的重大失败（例如，升级无效）。
CAPA是具有所有者/时限/效果度量的操作列表（对花花公子，Alert，体系结构的更改）。
检查点-D+14/D+30：执行检查,在易受攻击的地方重复迷你钻。

11）文档和文物

模拟计划：目标，脚本，注入，参与者，窗口，成功标准。
Timeline （UTC）： T0...Tn、IC解决方桉、技术步骤、升级。
Dashbords/Logs快照，Alert和状态快照。
最终报告：度量，与花花公子的差异，CAPA。
文档更新：runbook/SOP/联系人编辑,链接到新的dashbords。

12）频率和覆盖范围

Tabletop：每月2-4次（按关键流和角色）。
赌博日：每月1-2次。
混沌桉例（prod-light）：每季度，严格按照游戏。
DR演习：每年进行1-2次实际切换。
Comms-drill：每月训练模式和SLA升级。

13）支票单

模拟之前

• 脚本、"喷射"、成功标准、安全窗口。
• 协调角色、渠道、模板状态。
• 摊位/旗帜/行车记录仪的可用性已验证。
• 取消和可逆性计划已记录在案。
• 评估了对SLO/客户的风险和影响。

在此期间

• SEV分配,freeze发行版（如果需要）。
• 时间表通信，格式保持不变。
• 通过具有审核功能的工具进行的所有操作。
• Scribe维护协议，收集文物。
• 安全：禁令/限制得到遵守。

之后

• 进行了AAR，保留了报告。
• RCA（失败时）已启动。
• CAPA具有所有者/截止日期。
• 更新了runbook/SOP/联系人。
• 计划重新安置弱势群体。

14）反模式

"即兴创作而不是计划"-没有脚本或成功标准。
没有门和取消计划的风险--演习变成事件。
仅在没有通信和升级的情况下练习设备。
缺少AAR/RCA-团队不学习。
无可观察性的prod混乱和SLO加德雷尔。
不透明的权利：销售中的秘密手动编辑。

15）迷你模板

游戏日议程（60-90分钟）

1.简报（5分钟）→目标，角色，安全。
2.脚本T0 （5分钟）→出现症状。
3.三重奏/升级（10分钟）。
4.诊断+动作（30-45分钟）-1-2"注射"。
5.恢复和验证（10分钟）。
6.AAR（15分钟）-结论，CAPA。

AAR模板（简短）

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16）结果

事件模拟是人员，过程和体系结构的"模拟器"。定期、安全和可衡量的演习将危机变成例行公事：团队反应更快，花花公子真正发挥作用，体系结构更稳定，监管机构和客户看到操作功能的成熟度。最重要的是明确的目标，安全的门，良好的指标和强制性的AAR→RCA→CAPA。