事件升級

1）宗旨和原則

事件升級是一個可管理的過程，可以快速吸引正確的角色和資源，從而最大程度地減少對用戶和業務指標的影響。

• 速度比理想更重要。提前宣布事件並降級比遲到更好。
• 統一指揮。一個負責解決方案的是事件指揮官（IC）。
• 透明度。內部和外部攤販的清晰狀態和溝通渠道。
• 可記錄性。所有步驟，解決方案和時間線都被捕獲以進行審核和改進。

2）嚴重程度等級（SEV/P級）

• SEV-0/P0（關鍵）-完全無法訪問關鍵功能（登錄/付款）、數據泄露、法律風險。立即分頁所有呼叫內核,freeze版本。
• SEV-1/P1（高）-p95/p99降級,關鍵過程中錯誤/故障的比例增加,區域/提供商無法訪問。
• SEV-2/P2（中等）-有限隊列（區域，提供者）的部分降解，存在解決方案。
• SEV-3/P3（低）-對用戶來說並不重要,但需要註意（ETL背景延遲、逾期報告）。

• 病變半徑（用戶數/周轉）×持續時間×靈敏度（調節/PR）→ SEV水平。

3）流程的KPI

MTTD（檢測時間）-從事件開始到第一個信號。
MTTA（接受時間）-從信號到IC確認。
MTTR（恢復時間）-在恢復SLO/功能之前。
緩解-從確認到連接所需的角色/命令。
Reopen Rate-在「決定」之後重新發現的事件比例。
Comm SLA-遵守外部/內部升級間隔。

4）角色和責任（RACI）

事件指揮官（IC）：解決方案的所有者,設置級別、計劃、凍結、升級、降級。不寫小說。
技術領導（TL）：技術診斷，假設，工程師協調。
Comms Lead （CL）：狀態頁面、客戶端和內部通信,與Legal/PR保持一致。
Scribe：準確地記錄事實，時間線和做出的決定。
Liaisons（鏈接）：外部提供商/團隊代表（付款、KYC、托管）。
呼叫工程師：執行計劃，啟動花花公子/回滾。

為每個角色分配值班時間表和備份。

5）渠道和文物

戰爭室通道（ChatOps）：具有自動註釋模板（版本、標誌、金絲雀）的單個協調點（Slack/Teams）。
SEV-1+的視頻主機。
事件滴答聲（一針）：ID, SEV, IC,參與者,假設/診斷,步驟,ETA,狀態,影響,圖形鏈接。
狀態頁面：公共/內部；定期更新時間表（例如SEV-1+每15至30分鐘一次）。

6）時間盒和標準間隔

T0 （min 0-5）：已指定IC, SEV已分配,freeze發行版（如果需要）,戰爭室已打開。
T+15分鐘：第一個公共/內部消息（受影響，工作，下一個升級窗口）。
T+30/60分鐘：升級到下一個級別（平臺/DB/安全/提供商），除非有持續的動態。
定期升級：SEV-0：每15分鐘；SEV-1：每30枚地雷；SEV-2+：每小時。

7）自動升級規則（觸發策略）

• 在短窗口和長窗口中，誤差預算超過閾值。
• 外部樣本的法定人數：≥2個區域記錄HTTP/TLS/DNS的退化情況。
• 業務SLI（付款/註冊成功）低於SLO。
• 安全簽名：涉嫌泄漏/損害。
• 提供者信號：「主要外展」狀態的webhook。

8）從發現到解決方案的過程

1.事件聲明（IC）：SEV，報道，freeze，播放遊戲。
2.診斷（TL）：假設，半徑隔離（區域，提供商，場景），檢查（DNS/TLS/CDN/DB/緩存/總線）。
3.聯想行動（快速勝利）：回滾/金絲雀↓，幻燈片降級，failover提供商，rate-limit，kesh-overlay。
4.通訊（CL）：狀態頁面、客戶/合作夥伴、法律/公關、按計劃更新。
5.恢復確認：外部合成+真實度量（SLI）,去除凍結。
6.降級：降低SEV，過渡到N分鐘/小時監視。
7.關閉和RCA：後太平間準備，行動項目，所有者和時間表。

9）與外部供應商合作

對來自多個地區的提供商進行自己的樣本+鏡像日誌查詢/錯誤示例。
升級協議（聯系人，響應的SLA，優先級，狀態網絡手冊）。
提供商SLO上的自動故障傳遞/流量重新分配。
證據基礎：時間線，樣本查詢/答案，潛伏期/錯誤圖表，提供商ID字幕。

10）監管、安全和公關

Security/P0：隔離、文物收集、最大限度地減少披露、強制性通知（內部/外部/監管）。
法律：統一外部升級的措辭，記錄合同SLA/罰款。
PR/客戶服務：現成的答案模板,問答,報銷/貸款（如果適用）。

11）消息模板

• "我們正在調查影響［職能/地區］的SEV-1事件。癥狀：［簡要］。我們激活了解決方法［說明］。下次更新是在［時間］"

• "診斷：［假設/確認］。活動：［切換提供商/回滾版本/啟用降級］。影響減少到［百分比/隊列］。下一個更新是［時間］"

• "事件SEV-1解決。原因：［根］。恢復時間：［MTTR］。以下步驟：［fix/驗證/N小時監視］。後太平間-［何時/何地］"

12）花花公子（大約）

支付成功率下降：降低提供商A的份額，將X%轉移到B；啟用「degrade-payments-UX」；在限額內包括轉發；警告fin命令。
p99 API的增長：減少新版本的金絲雀；關掉沈重的仙女；增加kesh-TTL；檢查DB索引/連接。
DNS/TLS/CDN問題：驗證證書/鏈條；更新記錄；切換到備用CDN；越過kesh。
安全懷疑：節點隔離，關鍵旋轉，啟用mTLS手柄，文物收集，法律通知。

13）降級和標準「決定」

• SLI/SLO在綠區≥ N間隔中穩定；
• 在沒有追索權的情況下執行聯想行動和觀察；
• 安全類-已確認向量的私密性,已輪換鍵/秘密。

關閉-只有在固定時間線、動作項目所有者和時間表之後。

14） mortem後（非辛苦）

1.事實（用戶/度量標準看到的時間線）。

2.根原因（技術/處理）。

3.在升級中有效/不起作用。

4.預防措施（測試，異同，限制，架構）。

5.與截止日期和所有者的行動計劃。

6.與錯誤預算關聯並修訂SLO/過程。

15）過程成熟度度量

在用戶投訴之前申報的事件百分比。
SEV級別的MTTA；連接所需角色的時間。
遵守升級間隔（Comm SLA）。
花花公子在沒有手動「創造力」的情況下解決的事件百分比。
按時從後驗屍中執行動作項目。

16）反模式

「有人做任何事情」-沒有IC/角色。
戰爭室中的多角度-版本爭議而不是動作。
遲到的宣言→浪費時間聚集人們。
沒有凍結和發行註釋-並行更改掩蓋了原因。
缺乏外部溝通-投訴/公關風險升級。
沒有後驗屍和操作的關閉-我們重復相同的錯誤。

17）IC支票清單（袖珍卡）

• 分配SEV並打開戰爭室。
• 指定TL、CL、Scribe，檢查呼叫是否存在。
• 啟用freeze版本（使用SEV-1+）。
• 確認真相來源：SLI dashbords，合成，logi，tracing。
• 采取快速聯想行動（回滾/標誌/失敗）。
• 提供定期的定期升級。
• 固定Criteria for Resolve和恢復後觀察。
• 啟動後驗屍並指定行動項目的所有者。

18）嵌入日常操作

訓練（遊戲日）：模擬關鍵場景。
花花公子目錄：經過驗證，測試，並帶有參數。
工具：ChatOps命令「/declare」，「/page」，「/status」，「/rollback」。
集成：ticketing, states-page, post-mortems, CMDB/服務目錄。
與SLO/Error Budget匹配：自動升級觸發器和凍結規則。

19）結果

升級是一種操作紀律，而不僅僅是打電話給值班人員。明確的SEV級別，分配給IC，現成的花花公子，更新時間框以及與SLO指標和預算策略的集成，使混亂的火災變成了可預測的結果的可管理過程-快速恢復服務，最小的公關/監管風險以及每次事件發生後的系統改進。