Rollback策略和原子版本

1）为什么需要快速回滚

即使使用出色的测试涂层，prod也不能保证无误。Rollback是通过SLO信号/业务指标或事件将系统管理地恢复到以前的稳定状态。目标是：

将MTTR减少到几分钟。
限制受影响的半径（受影响用户/事务的最小值）。
保持数据完整性和合同兼容性。

关键：构建版本,使回滚是一个微不足道的动作而不是迷你项目。

2）"原子释放"的概念"

原子释放-当启用新版本/行为可以通过单个原子操作执行（并取消）而没有长期副作用时。

原子性的组成部分：

Immutable工件（签名的图像/包）。
验证的configi（促销版本而不是手动编辑）。
将"交付"与"启用"分开（路由/标志）。
兼容的数据电路（两个版本可以同时运行）。
回滚运行手册：一个可以理解的步骤（选择器/重量/标志更改）+验证。

3）滚动机制清单

3.1个流量层（最快）

Blue-Green：将选择器/目标组切换为稳定版本。
金丝雀：将重量降低到0%，冻结进展。
Gateway/NGINX/Service Mesh：返回以前的重量/路线。

3.2流水线层

Helm/Argo Rollouts："abort/rollback"到以前的修订版。
GitOps： revert MR/commit到清单存储库（控制器会做其余的）。

3.3 附录/fici

Feature-flags/kill-switch：立即关闭风险路径。
Toggle configs：回到以前的config snapshot。

3.4数据

Roll-forward迁移（首选）+兼容性。
点对点恢复（PITR）和事故备份。
可逆行为的补偿（Saga）和idempotency。

4）模式"expand → migrate → contract"（DB）

为了确保回滚安全，数据方案必须允许旧版本和新版本共存。

1.Expand-在不破坏旧逻辑的情况下添加新字段/索引（nullable）。
2.Migrate-双重写入/阅读，后备字段，背景工作和idempotency。
3.Contract-100%退出后删除旧字段/代码,并保留窗口。

💡 规则：应用程序发布与即时迁移无关。任何操作都可以安全地停止和重新启动。

5）SLO游戏和自动回滚

每个发布阶段的登录都必须由度量"保护"。

技术SLO：p95/p99潜伏期，5xx-rate，aturation（CPU/Memory），error-budget burn。
业务指标：CR存款/卡索,拒绝付款,指数百分比,KYC错误。

自动停止（逻辑示例）：

5xx > 0.5%10分钟→回滚。
p95 ↑>基本→ hold+分析的20％。
PSP> 0的错误。3 p.p. → rollback+切换付款路线。

6）示例： Kubernetes/Helm/Argo/NGINX

6.1 Blue-Green (K8s Service selector)

yaml
Service points to "blue"; switch to green - change selector apiVersion: v1 kind: Service metadata: {name: app-svc}
spec:
selector: { app: app, version: blue }
ports: [{ port: 80, targetPort: 8080 }]

回滚=将选择器返回到"蓝色"（原子化，不重新组装）。

6.2 Canary (Istio VirtualService веса)

yaml http:
- route:
- destination: { host: app, subset: stable } # 100 weight: 100
- destination: { host: app, subset: canary } # 0 weight: 0

回滚=重量金丝雀→ 0，稳定→ 100。

6.3 Argo Rollouts — abort

yaml kubectl argo rollouts abort app # stop and return to stableService

6.4 Helm-rollback to review

bash helm history app -n prod helm rollback app 17 -n prod # revert to revision 17

6.5 NGINX-上游重量

nginx upstream app {
server blue:8080 weight=100;
server green: 8080 weight = 0; # rollback - return 100/0
}

7）功能标志和杀手开关为"降落伞"

高风险流（存款/付款/奖金）的杀手开关是强制性的。
Stickiness：通过哈希键为用户分配"选项"-可预测的比较。
失败安全：当标志服务器不可用时,安全默认。

示例（伪代码）：

ts const enabled = flags. bool("new_cashout_flow", false);
if (! enabled) return classicFlow () ;//instant rollback - disable the return newFlow () flag;

8）API和事件合同： 如何不是"打破回滚"

验证合同（OpenAPI/gRPC/Avro）：新版本添加字段,不更改旧字段的语义。
事件版本："类型=v2"，消费者必须忽略未知字段。
Outbox+Idempotency：任何事件重播都是安全的,消费者-偶数。

9）补偿交易（Saga）

当没有"硬"状态回滚时（钱不见了，发送了一封电子邮件），请使用compensation：

进行了注销-补偿：退款，逆转，纠正记录。
在成功之前记录补偿操作和转发日志。
每个操作的幂等键。

消息模板（简化）：

json
{
"sagaId": "b7d2...",
"action": "withdraw. execute",
"idempotencyKey": "user123:withdraw:7845",
"compensation": "withdraw. refund"
}

10）Configs和秘密： 回滚作为一个版本

将configs存储为带有版本的工件（semver/commit-sha）。
回滚=将config恢复到以前的版本（GitOps revert）而不是"用手修复"。
保密-通过存储（KMS/Vault）；版本中包含轮换和转换。

11） Runbook回滚（最小）

1.进度暂停（canary/rollouts）。
2.返回流量（重量/选择器）。
3.SLO/业务指标验证已恢复到基线。
4.稳定背景工作（必要时停止迁移/后退）。
5.事件和事后：工件（logi/treass/度量），假设，更正。
6.清除：关闭旗帜，删除废弃的代码，返回工作时间表。

12）自动保护政策

禁止"最新"和图像互感标签。
管理控制：仅签名文物。
CI大门：SAST/SCA/Policy-checks必须绿色才能晋升。
窗口冻结：在风险时期禁止发布/重量>X%。

13）频繁的反模式

"滚动"DDL底座而不是兼容性-长锁定/简单。
即时"正面"迁移，而无需四面八方和后门。
溷合"交付"和"启用"-无法快速返回流量。
未经审核的prod config中的手动编辑。
在付款/收据上没有杀手开关。
将工件重新装配为prod（违反"build once-run many"）。
没有单回滚/未运行运行手册按钮。

14）实施清单（0-45天）

0-10天

在关键服务上启用Blue-Green/Canary。
禁止"最新"，包括图像签名和Helm/Argo故事。
连接SLO板（latency, 5xx,关键业务信号）。

11-25天

针对风险流实现杀手开关。
将DB迁移转换为expand-migrate-contract+idempotency。
通过SLO （Argo AnalysisTemplate/Alerts）添加自动停止/滚回。

26-45天

Version configs （GitOps）,通过MR revert回滚。
在"game-day"（事件和回滚的模拟）上打包运行簿。
在无法回滚的地方引入Saga补偿。

15）成熟度量

MTTR回滚：目标<5分钟。
回滚=路由/标志切换的发行版%（不重新组合）>90%。
在expand-migrate-Contract模式下迁移的比例超过90%。
用旗帜>95%覆盖杀手开关服务。
因不兼容的计划/合同而发生的事件数→ 0。

16）应用程序： 迷你模板

Argo AnalysisTemplate： 5xx停止

yaml apiVersion: argoproj. io/v1alpha1 kind: AnalysisTemplate metadata: { name: guard-5xx }
spec:
metrics:
- name: http_5xx_rate interval: 1m successCondition: result < 0. 005 provider:
prometheus:
address: http://prometheus. monitoring:9090 query:
sum(rate(http_requests_total{app="app",status=~"5.."}[5m])) /
sum(rate(http_requests_total{app="app"}[5m]))

Kubernetes： 快速回滚

bash kubectl rollout undo deploy/app -n prod

Helm： 原子版本

bash helm upgrade --install app chart/ \
--atomic \
--timeout 5m \
--set image. tag=v1. 9. 3

NGINX： 加那利群岛的"起重机"

nginx map $cookie_canary $weight {
default 0;
"~ on" 10; # enable 10% by cookie
}

17）结论

可靠的回滚不是"消防按钮"，而是体系结构属性：固定工件，分离交付和启用，兼容的数据电路，幻灯片标志和SLO门户。构建原子版本,排练运行手册和自动化保护门-任何版本将在几分钟内可逆,对企业和用户没有痛苦。

Rollback策略和原子版本