行動和管理→減少事件的影響

減少事件影響

1）宗旨和原則

目標：防止事件升級為服務故障，並將損害降至最低：停機時間，金錢，聲譽和監管風險。

• Containment first：停止故障傳播（blast radius ↓）。
• Graceful degradation：比「根本不起作用」更好「效果更差」。
• Decouple&fallback：獨立組件和安全替代品。
• Decision speed> perfect info：快速可逆動作（功能標誌,路線開關）。
• Communicate early：一個真相來源、清晰狀態和各個階段的ETA。

2）事件模型和後果分類

影響：用戶（區域，細分市場），金錢（GGR/NGR，處理），合規性（KYC/AML），合作夥伴/提供商。
類型：性能降級，部分依賴性故障（PSP，KYC，遊戲提供商），發布回歸，數據事件（店面/ETL延遲），DDoS/負載尖峰。
級別（P1-P4）：從關鍵核心故障到局部缺陷。

3）減少影響模式（技術）

3.1本地化和blast radius限制

通過沙特/地區隔離：我們關閉問題沙特/地區，其余的繼續工作。
Circuit Breaker：快速消除錯誤/定時依賴性⇒保護竊賊。
Bulkhead（隔板）：關鍵路徑的單獨連接/隊列池。
Traffic Shadowing/Canary：在完全切換之前,通過新版本運行部分流量。

3.2受控降解（graceful）

只讀模式：暫時阻止突變（如利率/存款）,同時保持導航和歷史記錄。
功能截止：禁用次要小部件/lendscape,重型推薦,「熱」搜索。
Fallback緩存：stale緩存（stale-while-revalidate）的服務響應，簡化模型。
簡化的限制：降低擊球/頁面大小,延長TTL,關閉昂貴的過濾器。

3.3負載管理

Shed/Throttle：「公平」丟棄冗余請求：通過IP/鍵/端點,並優先考慮核心操作。
Backpressure：通過大量消費者限制生產者；回歸的動態與抖動。
Queue shaping： P1流量的專用隊列（付款、授權）和背景分析。

3.4快速開關

Feature Flags&Kill-switch：即時禁用問題仙女而不發布。
交通路由：切換提供商（PSP A→B）,繞過故障數據中心,轉換為「溫暖」復制副本。
Toggle configs：taymauts，retrai，QPS限制-通過帶審計的config中心。

3.5數據和報告

延遲突變：寫入outbox/log,然後交付。
時間非正規化：通過從實例化店面讀取來減少DB上的負載。
Degrade BI：暫時顯示標有「世界標準時間12：00數據」的最新好快照。

4）域示例（iGaming）

KYC提供商的失敗：包括替代提供商；對於「低風險」限額，在簡化情況下進行臨時驗證，並降低帳戶限額。
PSP的高潛伏性：臨時優先考慮本地錢包，降低付款限制，將部分付款置於「T+Δ」隊列中。
遊戲提供商失敗：我們隱藏特定的遊戲/提供商,我們保留大廳和替代品,我們顯示「正在進行中,嘗試X/Y」橫幅。

5）組織和角色（ICS-事件指揮系統）

IC（事件指揮官）：統一協調，優先行動。
Ops Lead/SRE：集裝箱，套路，幻燈片，基礎設施。
Comms Lead：狀態更新、狀態頁面、內部聊天/郵件。
主題問題所有者：受影響的子系統（PSP，KYC，遊戲提供商）的所有者。
Liaison to Business：產品、支持、財務、合規。
Scribe：時間線，解決方案，後太平間工件。

規則：在活動的「戰爭室」中不超過7 ± 2人，其余的人是「應要求」。

6）通訊

頻道：狀態頁面,內部#incident頻道,PagerDuty/Telemost,升級模板。
節奏：P1-每15-20分鐘；P2-30-60分鐘。
Update Template：什麼已經破裂→誰受到影響→ →下一步已經完成，→ 下一個Update的時間基準。
客戶支持：預先準備好的宏和L1/L2常見問題解答，「部分退化」標記，補償政策。

7）成功指標和觸發因素

MTTD/MTTA/MTTR, Containment, SLO Burn Rate （1h/6h/24h窗口）。
風險復仇：按細分市場評估未收到GGR/NGR。
Blast radius%：受影響的用戶/地區/功能的比例。
Comms SLA：狀態升級的及時性。
False-positive/false-negative alerts,次要事件。

• p95關鍵API>門檻連續5分鐘→啟用高速緩存回傳和trottling。
• Consumer lag> 2分鐘→凍結非批判性的殺手，舉起獵人。
• PSP success <97%10分鐘→將流量份額轉移到備用PSP。

8）花花公子（壓縮）

8.1「潛伏↑/api/deposit」

1.檢查error%和PSP外部taymauts →包括短的taymauts和jitter's retrai。
2.啟用限制/參考資料緩存,禁用「現場」重檢查。
3.將流量部分轉移到備用PSP。
4.暫時降低付款/存款限額以降低風險。
5.後小說：索引/denorm，增強異步性。

8.2 「KYC掛起」

1.切換到替代提供商,啟用具有約束的「簡化KYC」。
2.緩存已通過的KYC狀態。
3.通訊：profile上的橫幅，ETA。

8.3 「ETL/BI落後」

1.標記「stale」+timestamp面板。
2.暫停重型重建,啟用增量重建。
3.Jobs並發↑，優先於具有操作KPI的店面。

9）事件發生前的設計解決方案（主動）

幻燈片表：按尾部/提供商/小部件排列的原子開關。
Trottling/Shedding政策：按優先事項預先商定的「青銅/銀/金」水平。
降級測試：定期「火爆」、遊戲日、混沌實驗（添加延遲/錯誤）。
外部依存配額：限制，錯誤預算，策略備份。
Runbook'和：簡短的逐步說明和帶有示例的命令/指令。

10）安全和合規性

失敗安全：降級時-阻止有違規風險的操作，而不是「放大回路」。
PII和贈品：在手動旁路-嚴格的審計，最低特權，令牌化。
足跡：完整的IC/操作員操作日誌,更改旗幟/配音,導出時間線。

11）反模式

「我們正在等待它變得清晰」-失去黃金時間的集會。
「我們將撤退到勝利」是雪球和成癮風暴。
沒有細分的全球幻燈片--熄滅蠟燭，不在城市用電。
沈默「不嚇人」是滴答作響，失去信心。
未經審核的脆弱手動程序是合規的風險。

12）支票單

在發布關鍵更改之前

• 金絲雀路線+快速回滾（功能標誌）。
• SLO guardrails和Alerta按p95/error%計算。
• 依存服務負載已建模。
• 通信計劃和所有者。

事件發生時

• 定義了IC和通信渠道。
• 應用containment（隔離/旗幟/路由）。
• 包括有管理的退化。
• 狀態頁面已更新,支持已通知。

事件發生後

• 後太平間≤ 5個工作日，沒有「尋找肇事者」。
• 動作與業主和截止日期。
• 重復性測試：腳本被復制並覆蓋有警報/測試。
• 更新了花花公子和培訓。

13）迷你工件（模板）

• 發生了什麼→影響力→根源原因→長期小說→動作項目（所有者/時限）→什麼有效/不起作用。

14）結果

減少事件後果是快速和可逆決策的學科：本地化，可管理降級，重新分配負載，透明地通信並鞏固改進。你今天贏得了一分鐘的「戰術穩定」-明天將其轉變為戰略可持續性。