事件模擬

1）為什麼要進行模擬

• 降低MTTD/MTTA/MTTR，增加對回滾和操縱的信心；
• 查明過程（升級、溝通）和建築薄弱環節；
• 作為RCA→CAPA入口並改進文檔（runbook/SOP）；
• 確認已準備好滿足SLA/監管機構/審計要求。

2）模擬格式

Tabletop（臺式機）是白板/聊天室中的對話腳本：便宜，快速，非常適合練習角色和溝通。
Game Day（有限制的賭註/促銷練習）是花花公子的實際步驟；在銷售中-只有安全的，可逆的動作與清晰的門。
Chaos Engineering-用於穩定性檢查和SLO門的托管故障（斷開依賴項/網絡/節點）。
DR演習（災難恢復）-AZ/區域故障,從備份中恢復,切換提供商。
Comms-drill純粹是通信：狀態頁面，消息模板，PR/法律。

3）角色和責任

事件指揮官（IC）-做出決定,維護計劃,降級.

技術領導（TL）-診斷，技術「註入」和假設。
Comms Lead （CL）-內部/外部升級,狀態頁面。
Scribe是一種協議（時間線，動作，決策，工件）。
Observers/Assessors-捕獲指標和過程合規性。
Red Team（可選）-引入不可預見的「噴射」。

4）模擬成功度量

MTTD/MTTA/MTTR合成事件。
Comm SLA：升級的及時性和質量。
SLO-guardrails：對burn-rate的正確反應，即外部樣本的法定數量。
Runbook Fidelity：文檔上完成的步驟百分比沒有即興創作。
緩解：連接所需角色/提供商的速度。
Checklists pass-rate：合規性「準備/接受/關閉」。
Noise&Fatigue：額外的Alerta,呼叫過熱。
CAPA completion：模擬後執行的活動的比例。

5）準備： 開始前需要什麼

目的和假設：我們測試什麼（過程，建築，人）。
腳本和「噴射」：癥狀或事件與時間序列。
安全限制：禁止不可逆轉的改變；取消點。
數據和看臺：合成流量，降級標誌，安全鑰匙。
文檔：鏈接到runbook/SOP、升級、提供商聯系人列表。
可觀察性：預標記的dashbords/alerta，測試金絲雀。
物流：時間/持續時間，參與者，戰爭室頻道，記錄。

6）進行模擬： 階段

1.簡報（5-10分鐘）：IC類似於目標、角色、安全規則、完成標準。
2.T0-癥狀註射：警報器，業務SLI下降，外部提供商狀態。
3.三重奏和升級：分配SEV，freeze發行版，連接所需的角色。
4.診斷：假設，DNS/TLS/CDN/DB/kesh/總線驗證，發布註釋。
5.Mitiging Actions： otkat/kanareyka↓,降級標誌,failover提供商,限制/撤退。
6.通訊：定期補充（格式：Impakt→Diagnostika→Deystviya→Sled。後期）。
7.還原和驗證：在綠區N間隔內的外部合成+SLI。
8.Debrief（AAR）：15-30分鐘-事實，結論，CAPA。

7）腳本示例（目錄）

支付成功率下降：提供商A在一個國家退化；預期的行動-重新分配流量,包括簡化的UX,通信。
DNS故障：寫入/TTL錯誤,部分用戶不會拒絕域；預期的步驟-虛構/後退，CDN清除，狀態升級。
過期的TLS證書：老客戶握手破裂；預計緊急擴展和鏈條檢查。
Kafka lag：KYC/AML事件的延遲增加；期望是擴大消費者，限制生產者。
p99 DB ↑和5xx的增長：窄指數，連接極限；等待-幻燈片，限制，hotfix/回滾。
區域豁免：AZ/PoP關閉；等待-GSLB/Anycast切換、數據驗證和SLO。
Communication Drill：所有內容均為「綠色」，但要檢查模式，間隔和與Legal/PR的匹配。

8）「註射」模板（卡片）

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9）安全和合規性

Prod Simulation僅是可逆的：幻燈片，小份額的流量切換，閱讀副本，「影子交通」。
訪問控制/審核：通過ChatOps/pipline；不變存儲中的日誌。
PII/秘密-不用於教學文物；數據被去人格化。
監管性：如果模擬影響客戶通信-在私人渠道中標記「教學」；公共職位不被模仿。

10）評估和AAR → RCA → CAPA

AAR （After Action Review）-演習結束後立即：預計/看到什麼有效/沒有。
RCA-對於RCA模式下的重大失敗（例如，升級無效）。
CAPA是具有所有者/時限/效果度量的操作列表（對花花公子，Alert，體系結構的更改）。
檢查點-D+14/D+30：執行檢查,在易受攻擊的地方重復迷你鉆。

11）文檔和文物

模擬計劃：目標，腳本，註入，參與者，窗口，成功標準。
Timeline （UTC）： T0...Tn、IC解決方案、技術步驟、升級。
Dashbords/Logs快照，Alert和狀態快照。
最終報告：度量，與花花公子的差異，CAPA。
文檔更新：runbook/SOP/聯系人編輯,鏈接到新的dashbords。

12）頻率和覆蓋範圍

Tabletop：每月2-4次（按關鍵流和角色）。
賭博日：每月1-2次。
混沌案例（prod-light）：每季度，嚴格按照遊戲。
DR演習：每年進行1-2次實際切換。
Comms-drill：每月訓練模式和SLA升級。

13）支票單

模擬之前

• 腳本、「噴射」、成功標準、安全窗口。
• 協調角色、渠道、模板狀態。
• 攤位/旗幟/行車記錄儀的可用性已驗證。
• 取消和可逆性計劃已記錄在案。
• 評估了對SLO/客戶的風險和影響。

在此期間

• SEV分配,freeze發行版（如果需要）。
• 時間表通信，格式保持不變。
• 通過具有審核功能的工具進行的所有操作。
• Scribe維護協議，收集文物。
• 安全：禁令/限制得到遵守。

之後

• 進行了AAR，保留了報告。
• RCA（失敗時）已啟動。
• CAPA具有所有者/截止日期。
• 更新了runbook/SOP/聯系人。
• 計劃重新安置弱勢群體。

14）反模式

「即興創作而不是計劃」-沒有腳本或成功標準。
沒有門和取消計劃的風險--演習變成事件。
僅在沒有通信和升級的情況下練習設備。
缺少AAR/RCA-團隊不學習。
無可觀察性的prod混亂和SLO加德雷爾。
不透明的權利：銷售中的秘密手動編輯。

15）迷你模板

遊戲日議程（60-90分鐘）

1.簡報（5分鐘）→目標，角色，安全。
2.腳本T0 （5分鐘）→出現癥狀。
3.三重奏/升級（10分鐘）。
4.診斷+動作（30-45分鐘）-1-2「註射」。
5.恢復和驗證（10分鐘）。
6.AAR（15分鐘）-結論，CAPA。

AAR模板（簡短）

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16）結果

事件模擬是人員，過程和體系結構的「模擬器」。定期、安全和可衡量的演習將危機變成例行公事：團隊反應更快，花花公子真正發揮作用，體系結構更穩定，監管機構和客戶看到操作功能的成熟度。最重要的是明確的目標，安全的門，良好的指標和強制性的AAR→RCA→CAPA。