Rollback策略和原子版本

1）為什麼需要快速回滾

即使使用出色的測試塗層，prod也不能保證無誤。Rollback是通過SLO信號/業務指標或事件將系統管理地恢復到以前的穩定狀態。目標是：

將MTTR減少到幾分鐘。
限制受影響的半徑（受影響用戶/事務的最小值）。
保持數據完整性和合同兼容性。

關鍵：構建版本,使回滾是一個微不足道的動作而不是迷你項目。

2）「原子釋放」的概念"

原子釋放-當啟用新版本/行為可以通過單個原子操作執行（並取消）而沒有長期副作用時。

原子性的組成部分：

Immutable工件（簽名的圖像/包）。
驗證的configi（促銷版本而不是手動編輯）。
將「交付」與「啟用」分開（路由/標誌）。
兼容的數據電路（兩個版本可以同時運行）。
回滾運行手冊：一個可以理解的步驟（選擇器/重量/標誌更改）+驗證。

3）滾動機制清單

3.1個流量層（最快）

Blue-Green：將選擇器/目標組切換為穩定版本。
金絲雀：將重量降低到0%，凍結進展。
Gateway/NGINX/Service Mesh：返回以前的重量/路線。

3.2流水線層

Helm/Argo Rollouts：「abort/rollback」到以前的修訂版。
GitOps： revert MR/commit到清單存儲庫（控制器會做其余的）。

3.3 附錄/fici

Feature-flags/kill-switch：立即關閉風險路徑。
Toggle configs：回到以前的config snapshot。

3.4數據

Roll-forward遷移（首選）+兼容性。
點對點恢復（PITR）和事故備份。
可逆行為的補償（Saga）和idempotency。

4）模式「expand → migrate → contract」（DB）

為了確保回滾安全，數據方案必須允許舊版本和新版本共存。

1.Expand-在不破壞舊邏輯的情況下添加新字段/索引（nullable）。
2.Migrate-雙重寫入/閱讀，後備字段，背景工作和idempotency。
3.Contract-100%退出後刪除舊字段/代碼,並保留窗口。

💡 規則：應用程序發布與即時遷移無關。任何操作都可以安全地停止和重新啟動。

5）SLO遊戲和自動回滾

每個發布階段的登錄都必須由度量「保護」。

技術SLO：p95/p99潛伏期，5xx-rate，aturation（CPU/Memory），error-budget burn。
業務指標：CR存款/卡索,拒絕付款,指數百分比,KYC錯誤。

自動停止（邏輯示例）：

5xx > 0.5%10分鐘→回滾。
p95 ↑>基本→ hold+分析的20％。
PSP> 0的錯誤。3 p.p. → rollback+切換付款路線。

6）示例： Kubernetes/Helm/Argo/NGINX

6.1 Blue-Green (K8s Service selector)

yaml
Service points to "blue"; switch to green - change selector apiVersion: v1 kind: Service metadata: {name: app-svc}
spec:
selector: { app: app, version: blue }
ports: [{ port: 80, targetPort: 8080 }]

回滾=將選擇器返回到「藍色」（原子化，不重新組裝）。

6.2 Canary (Istio VirtualService веса)

yaml http:
- route:
- destination: { host: app, subset: stable } # 100 weight: 100
- destination: { host: app, subset: canary } # 0 weight: 0

回滾=重量金絲雀→ 0，穩定→ 100。

6.3 Argo Rollouts — abort

yaml kubectl argo rollouts abort app # stop and return to stableService

6.4 Helm-rollback to review

bash helm history app -n prod helm rollback app 17 -n prod # revert to revision 17

6.5 NGINX-上遊重量

nginx upstream app {
server blue:8080 weight=100;
server green: 8080 weight = 0; # rollback - return 100/0
}

7）功能標誌和殺手開關為「降落傘」

高風險流（存款/付款/獎金）的殺手開關是強制性的。
Stickiness：通過哈希鍵為用戶分配「選項」-可預測的比較。
失敗安全：當標誌服務器不可用時,安全默認。

示例（偽代碼）：

ts const enabled = flags. bool("new_cashout_flow", false);
if (! enabled) return classicFlow () ;//instant rollback - disable the return newFlow () flag;

8）API和事件合同： 如何不是「打破回滾」

驗證合同（OpenAPI/gRPC/Avro）：新版本添加字段,不更改舊字段的語義。
事件版本：「類型=v2」，消費者必須忽略未知字段。
Outbox+Idempotency：任何事件重播都是安全的,消費者-偶數。

9）補償交易（Saga）

當沒有「硬」狀態回滾時（錢不見了，發送了一封電子郵件），請使用compensation：

進行了註銷-補償：退款，逆轉，糾正記錄。
在成功之前記錄補償操作和轉發日誌。
每個操作的冪等鍵。

消息模板（簡化）：

json
{
"sagaId": "b7d2...",
"action": "withdraw. execute",
"idempotencyKey": "user123:withdraw:7845",
"compensation": "withdraw. refund"
}

10）Configs和秘密： 回滾作為一個版本

將configs存儲為帶有版本的工件（semver/commit-sha）。
回滾=將config恢復到以前的版本（GitOps revert）而不是「用手修復」。
保密-通過存儲（KMS/Vault）；版本中包含輪換和轉換。

11） Runbook回滾（最小）

1.進度暫停（canary/rollouts）。
2.返回流量（重量/選擇器）。
3.SLO/業務指標驗證已恢復到基線。
4.穩定背景工作（必要時停止遷移/後退）。
5.事件和事後：工件（logi/treass/度量），假設，更正。
6.清除：關閉旗幟，刪除廢棄的代碼，返回工作時間表。

12）自動保護政策

禁止「最新」和圖像互感標簽。
管理控制：僅簽名文物。
CI大門：SAST/SCA/Policy-checks必須綠色才能晉升。
窗口凍結：在風險時期禁止發布/重量>X%。

13）頻繁的反模式

「滾動」DDL底座而不是兼容性-長鎖定/簡單。
即時「正面」遷移，而無需四面八方和後門。
混合「交付」和「啟用」-無法快速返回流量。
未經審核的prod config中的手動編輯。
在付款/收據上沒有殺手開關。
將工件重新裝配為prod（違反「build once-run many」）。
沒有單回滾/未運行運行手冊按鈕。

14）實施清單（0-45天）

0-10天

在關鍵服務上啟用Blue-Green/Canary。
禁止「最新」，包括圖像簽名和Helm/Argo故事。
連接SLO板（latency, 5xx,關鍵業務信號）。

11-25天

針對風險流實現殺手開關。
將DB遷移轉換為expand-migrate-contract+idempotency。
通過SLO （Argo AnalysisTemplate/Alerts）添加自動停止/滾回。

26-45天

Version configs （GitOps）,通過MR revert回滾。
在「game-day」（事件和回滾的模擬）上打包運行簿。
在無法回滾的地方引入Saga補償。

15）成熟度量

MTTR回滾：目標<5分鐘。
回滾=路由/標誌切換的發行版%（不重新組合）>90%。
在expand-migrate-Contract模式下遷移的比例超過90%。
用旗幟>95%覆蓋殺手開關服務。
因不兼容的計劃/合同而發生的事件數→ 0。

16）應用程序： 迷你模板

Argo AnalysisTemplate： 5xx停止

yaml apiVersion: argoproj. io/v1alpha1 kind: AnalysisTemplate metadata: { name: guard-5xx }
spec:
metrics:
- name: http_5xx_rate interval: 1m successCondition: result < 0. 005 provider:
prometheus:
address: http://prometheus. monitoring:9090 query:
sum(rate(http_requests_total{app="app",status=~"5.."}[5m])) /
sum(rate(http_requests_total{app="app"}[5m]))

Kubernetes： 快速回滾

bash kubectl rollout undo deploy/app -n prod

Helm： 原子版本

bash helm upgrade --install app chart/ \
--atomic \
--timeout 5m \
--set image. tag=v1. 9. 3

NGINX： 加那利群島的「起重機」

nginx map $cookie_canary $weight {
default 0;
"~ on" 10; # enable 10% by cookie
}

17）結論

可靠的回滾不是「消防按鈕」，而是體系結構屬性：固定工件，分離交付和啟用，兼容的數據電路，幻燈片標誌和SLO門戶。構建原子版本,排練運行手冊和自動化保護門-任何版本將在幾分鐘內可逆,對企業和用戶沒有痛苦。

Rollback策略和原子版本