自動治療和自我修復

（部分： 技術和基礎設施）

簡短摘要

自動治療不是「Kubernetes魔術」，而是一組學科：正確的采樣和限制，受控的獵物，有故障的實例隔離，SLO自動化以及按鍵/機器人操作的runabook操作。目標是減少MTTR而不發生「雪球」過載，並保持p95/p99，付款和TTW甚至達到頂峰。

1）自我修復原則

1.Fail-fast&isolate：快速識別和隔離不良的病例/實例。
2.Backoff+Jitter：任何轉發/滑行-具有指數延遲和抖動。
3.SLO-aware：自動化在快速燃燒的錯誤預算中打開或放大。
4.Idempotency：重復操作是安全的（尤其是付款/隊列）。
5.深層防禦：樣本，配額，限制，巡回決勝局，斷路器噴射，限度，降級模式。

2） Basis in Kubernetes

2.1樣本：liveness/readiness/startup

startupProbe可防止過早重啟重型服務。
readinessProbe定義了流量準備（加熱緩存/連接）。
livenessProbe將重新啟動「掛起」進程。

yaml readinessProbe:
httpGet: { path: /health/ready, port: 8080 }
periodSeconds: 5 timeoutSeconds: 1 failureThreshold: 3

livenessProbe:
httpGet: { path: /health/live, port: 8080 }
initialDelaySeconds: 20 periodSeconds: 10 failureThreshold: 3

startupProbe:
httpGet: { path: /health/startup, port: 8080 }
periodSeconds: 5 failureThreshold: 30

2.2限額、PDB和優先事項

requests/limits不包括「噪音鄰居」。
PodDisruptionBudget （PDB）可防止所有墊子同時下降。

yaml apiVersion: policy/v1 kind: PodDisruptionBudget spec:
minAvailable: 2 selector: { matchLabels: { app: payments-api } }

PriorityClass用於關鍵路徑（payments, gateway）。

2.3重新啟動和放棄策略

「maxUnavailable： 0」用於關鍵服務；rollingUpdate小步。
PodAntiAffinity在底部/區域中分配底部。

3）自動滑行和事件縮放

HPA （CPU/自定義指標）

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler spec:
minReplicas: 3 maxReplicas: 30 metrics:
- type: Resource resource: { name: cpu, target: { type: Utilization, averageUtilization: 70 } }
- type: Pods pods:
metric:
name: http_requests_per_second target:
type: AverageValue averageValue: "50"

VPA

用於背景操作員/批處理任務；在prod-API中-小心（重新啟動）。

KEDA（隊列/外部事件）

Kafka lag，RabbitMQ，Redis，Prometheus查詢的觸發器-當工作積累時，會增加消費者。

4）網絡保護： 巡回賽決勝局和選擇「壞」

Envoy/Istio outlier detection (идея)

yaml outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

電路斷路器限制同時查詢/連接，以免破壞依賴性。

Rate limiting

限制輸入呼叫/PSP路線/遊戲提供商,以免中斷浪潮加劇事故。

5）Retrai，taymauts和backoff with jitter

規則：首先是定時器，然後是轉發，總是帶有抖動和嘗試限制。

python def backoff(attempt, base=0. 1, cap=2. 0):
import random, math sleep = min(cap, base (2 attempt))
jitter = random. uniform(0, sleep 0. 4)
return sleep + jitter

對於支付-等效密鑰+重復數據消除。
對於隊列-死信和延遲的重試。

6）在隊列/流媒體中自我修復

DLQ+成長；孤立的重新處理。
Lag Control：自動滑板消費者（KEDA），制作人的背景。
Exactly once/at least-once-有意識地選擇；手術是偶然的。

7）緩存和扭曲

用於安全殘疾/回滾的測試密鑰（「v2：」）。
DB/PSP連接的溫暖池；在切換前加熱（藍綠色/金絲雀）。
Stale-wile-revalidate，以減少對DB的「寒冷」打擊。

8）基於SLO的自動重制（信號操作）

• Stop canary / rollback при fast-burn.
• 「queue_lag_seconds」生長時的規模化制造者。
• 啟用degrade模式（簡化UX,禁用重型幻燈片）。
• 在timeouts spike中切換PSP路線。
• 激活feature-flag kill-switch。

yaml alert: WithdrawalsQueueLag labels: { action: "scale_workers", target: "withdrawals-consumers", by: "+5" }

9）降解模式（graceful degradation）

簡化UI（少查詢）,關閉「昂貴」小部件。
更多緩存，更少的風扇輸出/aggregation。
對於LLM/建議,減少上下文/模型大小,啟用「快速路徑」。

10）GitOps自動制造方法

所有自動還原策略和參數（時間限制，閾值）均在Git中。
任何自動操作都會在Grafana中創建註釋,並在更改日誌中寫入。
金絲雀策略和SLO門也是代碼。

11）混沌工程： 我們檢查治療是否有效

註射故障：網絡延遲，下降POD，PSP仿真器故障，排隊。
遊戲日場景：我們測量MTTR、自動動作質量、人工制品存在。
結果→更新符文，閾值，ficheflags。

12）自動治療的可觀察性

Exemplars：從p95度量快速跳到賽道。
帶有「trace_id」和字段「retry」，「attempt」，「degrade_mode=true」的邏輯。
Dashbords release compare （stable vs canary）, SLO卡。
自動操作審核：誰/什麼/何時,原始指標,結果。

13）安全性和合規性

自動還原的邏輯/度量中沒有秘密。
對於付款行動-雙重確認/角色。
Geo/PII-不要將流量帶到failover下的「錯誤」區域。

14）實用模板

Istio DestinationRule — connection pool & outlier

yaml trafficPolicy:
connectionPool:
http: { http1MaxPendingRequests: 1000, maxRequestsPerConnection: 100 }
outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Flagger-金絲雀與汽車廢物/回滾

yaml analysis:
interval: 1m threshold: 5 metrics:
- name: request-success-rate thresholdRange: { min: 99 }
- name: request-duration thresholdRange: { max: 300 }
webhooks:
- name: smoke url: http://tester/smoke

KEDA ScaledObject — Kafka lag

yaml triggers:
- type: kafka metadata:
topic: withdrawals bootstrapServers: broker:9092 consumerGroup: w-consumers lagThreshold: "5000"

15）實施支票

1.定制startup/readiness/liveness和健康端點。
2.限制/資源請求+PDB/反關聯。
3.API和Workers的HPA/KEDA；lag/throughput度量。

4.Circuit breaker, outlier ejection, rate-limit in gate/mesh.

5.帶有backoff+jitter的retrai，支付操作的冪等。
6.轉化緩存和階梯模式。
7.SLO →自動操作（rollback/scale/reroute/kill-switch）。
8.GitOps策略代碼+操作審核、發布註釋。
9.關鍵場景的混沌測試和遊戲日。
10.MTTR/Alert Quality dashbords和自動修復報告。

16）反模式

由於暫時依賴於flapping，Liveness「釘住」→過程。
沒有taymauts/jitter的retrai →一陣查詢。
IO依賴性服務的CPU的HPA →「無處可去」。
回滾→數據損壞時無版本共享緩存。
自動操作無需審核/Runbook URL。
沒有DLQ/衡量標準 lag →沈默的債務積累。
自動治療和「隱藏問題」的混合：自動治療癥狀，根部無法消除→重復事件。

結果

自我修復是一門工程學科：高質量的樣本和限制，合格的後退和隔離，對SLO信號的自動操作，以及混沌檢查和審計。這樣的輪廓使平臺具有抗故障性，減少了MTTR，並節省了iGaming的關鍵指標-p99，支付轉換和TTW-即使在最熱的時鐘也是如此。