運營和管理→擴展運營基礎架構

擴展運營基礎架構

1）為何以及如何考慮「縮放」

擴展是平臺的系統吞吐量（RPS/TPS，連接器，IOPS，throughput）和數據量而不會丟失SLO，並且成本可控。對於iGaming/fintech，它直接是關於金錢：存款/投註轉換，現場遊戲和結算。

• 將SLO保持在負載增長和季節性峰值的X倍。
• 提供可預測的縮放時間（minutes, not hours）。
• 保存經濟：cost/RPS, cost/Transaction, cost/1k事件。

2）可擴展平臺原則

1.水平第一：分為小型，無狀態服務；狀態-在數據群集中。
2.後壓和隊列：平滑浪潮，保護「風暴」。
3.所有層上的緩存：client/edge/service/DB。
4.相似性和可重復性：安全的背包，外包，背包。
5.限制成癮：taymauts，breakers，bulkhead隔離，rate-limits。
6.電容信號的可觀察性：頭部，p95/p99，lag，接頭，配額。
7.使用加爾達飛行進行自動縮放：HPA/VPA/Cluster Autoscaler+停止條件。
8.多區域設計：獨立的爆炸區域，本地數據，可持續的捕獲器。

3）能力規劃： 如何「計算需要多少」

模型輸入：目標峰值TPS，流量配置文件（每小時），「關鍵路徑」，快取命中率，平均付費量，SLO和提供商限制。

• RPS → CPU/pods：'pods=RPS p99_time/有效_CPU__pode'（庫存為30-50％）。
• 隊列："最低_速度_領事≥峰值_速度_生產者1。2`.
• DB-connects： 'max_conns=active_pule_levels mid_pool_size 1。3`.
• 緩存：大小=「N分鐘內的熱工作集」+20-30％的庫存。
• Egress/CDN： egress峰值=查詢峰值平均響應大小（考慮壓縮）。

Headroom：高峰時目標20-40％（按層）。低於15% → 「capacity uplift」觸發器。

4）圖層和縮放模式

4.1 Edge / CDN / WAF

邊緣緩存（TTL+SWR）、地理平衡、壓縮、HTTP/2/3。
IP/JWT/密鑰外圍的限位,爆發保護。
通過經紀人/頻道pub/sub對事件進行粉絲（頭獎，現場警報）。

4.2個API網關/前沿後端

橫向縮放在statles-pods上，將池分解為downstream。
按業務指標劃分的HPA：RPS，p99，在企業池中排隊-而不僅僅是CPU。

4.3異步隊列/流媒體（Kafka/Rabbit/Pulsar）

按黨派和黨派劃分的規模；避免skew（鑰匙和分配）。
Lag-alerta+控制器的自動縮放；DLQ和復古拓撲。
在SLA下進行重新調整和重新安排。

4.4個緩存（Redis/Memcached）

群集模式，復制品，事件策略（LFU），multiget，管道。
分離熱鍵和後臺任務、客戶端限制和最大內存策略。

4.5個數據庫

閱讀副本和閱讀漫遊，連接池。
按區域/tenant/密鑰範圍行駛。
CQRS：寫入向導/向導,讀取到副本。
索引和擊球寫作workflow（outbox → stream → sink）。
存檔和熱/冷數據（tiering）。

4.6個文件/對象存儲

多線程，多路加載，CDN前端，異步轉換。
提供商配額，「尾巴」清潔和預算。

4.7個提供商（PSP/KYC/工作室）

按配額/SLO/成本進行多供應商和路由。
每個提供商的circuit breaker+rate-limit，轉發隊列，「grace模式」。

5）自動縮放和警員飛行

Kubernetes:

HPA: метрики `rps_per_pod`, `queue_depth`, `p99_latency`; `targetAverageValue`.

VPA：資源建議；非高峰更新。
Cluster Autoscaler：具有優先級的nod組配置文件（點對點）。
PodDisruptionBudget/TopologySpreadConstraints：區域均勻性。
LimitRange/ResourceQuota：防止「醉酒」的破壞。

apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler spec:
scaleTargetRef: {apiVersion: apps/v1, kind: Deployment, name: api-gw}
minReplicas: 8 maxReplicas: 200 metrics:
- type: Pods pods:
metric:
name: rps_per_pod target:
type: AverageValue averageValue: "120"
- type: Pods pods:
metric:
name: p99_latency_ms target:
type: AverageValue averageValue: "280"
behavior:
scaleUp:
stabilizationWindowSeconds: 90 scaleDown:
stabilizationWindowSeconds: 300

• 「Pause＆Rollback」，如果使用p99> 1金絲雀。3 ×基線10分鐘。
• 黃金時段的「Freeze scale-down」，只是scale-up。
• 「Stop retries」在「open_circuit=1」到瓶頸處。

6）多區域： 資產/資產和資產/passive

爆炸性孤立區域：獨立集群，本地秘密/配額。
全球漫遊：基於latency -/geo，health-probes，手動超速。

• 熱-本地+事件復制（流）。
• 關鍵事務-按域約定（ledger/balances）。
• Failover-playbooks：回合制來源變化，TTL，緩存加熱。
• 運動規則（DR）：具有RTO/RPO目標的季度鍛煉。

7）網絡和服務模式

Service Mesh： mTLS, retry/breaker, outlier檢測,per downstream限制。
eBPF/Observability L4/L7，連接限制，線頭保護。
用於S2S的內部API網關，通用限額和審核。
跨爆炸區域的VPC/子網，NAT/Egress控制，與供應商同行。

8）性能： 測試和證明

Load&stress進入黃金時段配置文件+worst-case。
Soak（冗長）-內存/描述符泄漏，後坐力增長。
混亂/遊戲日：經紀人/提供者/區域的下降，「緩慢提供者」。
CI 中的Perf回歸：一組參考腳本和自動門。

9）數據和存儲： 增長戰略

垂直生長至「天花板」→水平/緩和。
讀取→副本/緩存；→ batchi/asinchron/日誌記錄。
圖形遷移：expand → migrate → contract，沒有全局鎖定。
歸檔：冷批量進入廉價存儲+按需再加氫。
搜索：帶有增量更新分頁的單獨索引（OpenSearch/Solr）。

10）供應商和配額管理

配額卡（TPS，窗口，成本）；alerta'usage_ratio> 0.9`.

按成本/質量進行漫遊（智能漫遊）。
OLA ↔ SLO協議和提高配額的過程。
備用池和熱切換。

11）可觀察性和縮放信號

• Capacity headroom по слоям; `queue_lag/backlog growth`; `kafka ISR`; `db connections`/`repl lag`; `redis evictions`; `open_circuit`/`retry_rate`; `quota_usage`.
• 業務指標：成功率/存款轉換,遊戲啟動時間。
• 費用：費用/RPS，費用/1k電話。

• Capacity Overview（頭部，最高風險，burn-rate SLO）。
• Stream & Queue Panel (lag/backlog, consumer saturation).
• DB＆Cache（p99，connects，hit/evictions）。
• Providers＆Quotas（TPS，timeouts，成本，開關）。
• Change Safety（發布前/發布後，金絲雀，賽車）。

ALERT HeadroomLowAPI
IF capacity_headroom{layer="api"} < 0. 15 FOR 10m

ALERT KafkaBacklogAtRisk
IF (consumer_lag > 5e6 AND rate(consumer_lag[5m]) > 5e4) AND (hpa_desired == hpa_max) FOR 10m

ALERT DBConnectionsNearMax
IF active_conns / max_conns > 0. 85 FOR 5m

ALERT ProviderQuota90
IF usage_quota_ratio > 0. 9 FOR 5m

12） FinOps： 以有利可圖的方式擴展

效率系數：費用/RPS，費用/存款，費用/1k事件。
Right-sizing： VPA/建議, 「over-provisioned」報告。
Spot/Preemptible用於非關鍵內容；保留/委托用於基本負載。
Egress預算和緩存，CDN/edge-ofload。
按價值級別（hot vs cold）收集和存檔日誌。
警告配額（軟帽）和擴展自動滴答聲。

13）流程和人員

改變管理：金絲雀、ficheflagi、回歸停止。
事件準備：運行手冊和「在哪裏添加容量」，「如何切換區域」。
高峰計劃：比賽/錦標賽/活動日歷和提供商窗口。
定期比賽日和DR演習。
所有權矩陣：誰可以「按住按鈕」到收件人/增加配額。

14）實施支票

• 關鍵路徑和極限圖（按層），頭部目標≥ 30%。
• HPA業務指標+集群自動駕駛儀；PDB/SpreadConstraints.
• 熱線隊列,idempotency-keys, outbox。
• Cashi：熱門目標≥ 90%, evictions policy,關鍵指數。
• DB：讀取副本,連接池,緩存計劃。
• 提供商：多供應商、配額、斷路器/中繼器。
• Dashbords 「Capacity/Stream/DB/Providers」，來自§11。
• 金絲雀和賽車「發布前/發布後」。
• DR-playbook和一部分feilover培訓。

• 加熱緩存，HPA/ASG前面，戰備備用副本。
• 提高供應商配額，包括智能路由。
• 為非臨界變量啟用夜間抑制模式。
• Ficheflag的「安全模式」已準備好立即打開。

15）反模式

垂直升級「直到站立」而不是水平升級。
所有下遊（線頭）上的共享流/連接池。
在瓶頸的時空上回蕩，缺乏抖動→風暴。
Alert和Scale Politics中沒有滯後→「鋸」。
單個全局DB,無需數據緩存和本地化。
對供應商的SDK的盲目信念，而無需控制taymout/retrais/可觀察性。
缺乏DR演習：failover「僅在紙上」。

16） KPI可擴展性

SLO合規達到頂峰（p95/p99，成功率）。
在黃金時段按層排列。
MTTS（量表時間）-在出現其他資源之前。
Backlog/Lag Resolution Time-高峰後排隊的時間。
在積極增長的時期改變失敗率。
Cost/RPS 和緩存/CDN/edge-ofload的節省。
DR準備：練習中的RTO/RPO。

17）「快速」模式示例

partitions(topic="bets") = ceil(peak_msgs_per_sec / target_msgs_per_partition)
consumers = min(partitions, max_pods); rebalance_on: skew > 1. 5x scale_up_if: lag > 5e5 && rate(lag[5m]) > 5e4

PostgreSQL:

max_connections = poolers pool_size 1. 3 read_routing: primary (write), replicas (read majority)
shard_key: tenant_id or region_id

Redis:

maxmemory-policy: allkeys-lfu cluster-replicas: 1 evict-alert: rate(evictions[5m]) > 0 && used_mem/limit > 0. 8

guardrails:
- metric: api_p99_ms, threshold: 1. 3 baseline_1d, window: 10m, action: pause_and_rollback
- metric: error_rate, threshold: 2 baseline_1d, window: 5m, action: pause max_step: 10%
step_interval: 15m

18) FAQ

Q： 首先擴展什麼?

答：根據行車記錄的瓶頸：隊列/緩存/DB讀取。熱路（存款/投註/遊戲啟動）-優先。

問：如何理解自動縮放「使情況變得更糟」？
A：查看相關性：scale-up↑，p99/錯誤沒有改善-也許你正在「擴展問題」（狹窄的下流/配額）。打開斷路器/降級。

Q： 總需要第二個供應商嗎?

答：對於關鍵路徑,是的。否則，至少使用簡化腳本和緩存的「安全模式」。

Q: Active-active или active-passive?

答：如果RTO的要求很低,很多區域參與者都是主動的。否則，首先使用已用完的feilover進行主動傳遞。