Serverless功能和冷啟動

1）冷啟動是什麼，為什麼會發生

1.環境變量（容器/微型VM，運行時加載）。

2.加載VPC/ENI，秘密，文件，配置。

3.代碼初始化（導入模塊、連接數據庫、加載模型）。

4.Handler執行。

Warm start （reuse）跳過步驟1-3。冷啟動概率隨著峰值、停機後、並發性增加以及代碼/密碼更新而增加。

2）如何測量和設定目標（SLO）

度量標準：「init_duration」（初始化）、「duration_total」、「冷啟動比例」、p95/p99 latency,停機後與依賴項的連接錯誤。
刪除遙測：平臺日誌和自己的標簽（例如,「cold=true/false」（如果有'context）。靜態閉包中的isColdStart或自己的標誌）。
SLO目標（示例）：「登錄」API p95 ≤ 200毫秒，冷分≤ 3％；背景任務是p95 ≤ 1。對於「現金」路線-單獨的，更嚴格的。

3）主要的降溫杠桿

3.1 Concarrency控制和加熱

受保護的協理/米恩裝置：保持N溫暖的環境。用於關鍵手柄。
Warmers/加熱：計劃撥打電話（cron/scheduler）以保持加熱。這樣做是明智的（區域，時間，負荷）。
爆破緩沖區：在預期峰值之前提前提高並發限制。

3.2包裝和依賴

小型挖掘人工制品：樹木搖擺，'-only prod'依賴性，大型立體圖層（AWS層）。
Lazy-init：首次訪問時,將重型模塊導入到handler內；懶惰地打開連接。
溫暖的資源：在全局範圍內緩存SDK/連接客戶端以重新啟動。

3.3網絡和VPC

如果沒有VPC，則不需要私有化的功能（否則ENI-attach會添加數十到100毫秒）。
如果VPC是必需的,則使用VPC經濟型提供程序模式（ENI池/優化）、proxy到DB （RDS Proxy/Cloud SQL Auth Proxy）和連接池。

3.4語言和Rantaims

Node.js/Go的啟動速度最快；Python-通常很快，但對大量進口敏感。Java/.NET-沒有GraalVM/AOT和配置文件時更重。

對於JVM,請考慮SnapStart/CRaC/Graal Native；對於。NET — trimmed Self-Contained.

3.5初始化和狀態

將昂貴的初始化輸出到初始化鉤子（init階段）而不是查詢路徑。
應用按需下載本地緩存（TTL）密碼/密碼。
不要將用戶狀態存儲在內存中-僅緩存信號/連接器。

4）減少冷啟動影響的建築模式

4.1 Asinhron和隊列

接受請求→ →排隊/總線（SQS/PubSub/Queue Storage）進行驗證→ 202/Accepted響應→處理背景。
適用於非交互式操作（付款、報告、重型計算）。

4.2 Precompute/Pre-cache

通過觸發器（CRON/事件）預先生成訪問/目錄/幻燈片，並存儲在KV/緩存/邊緣中。

4.3 Fan-out/Fan-in

我們將長期運行的操作分解為幾個短功能（Map/Reduce-類似）→減少計時和重復寒冷的風險。

4.4 Edge-offload

最簡單的檢查（JWT/HMAC, geo-redirect, antibot）在邊緣（Workers/Functions@Edge）上執行,以節省RTT並卸載起源。

5）實踐： 技巧和技巧

5.1 AWS Lambda (provisioned + RDS Proxy)

hcl
Terraform sketch: enable provisioned concurrency on the sales version of the resource "aws_lambda_provisioned_concurrency_config" "api" {
function_name = aws_lambda_function. api. function_name qualifier   = aws_lambda_alias. prod. name provisioned_concurrent_executions = 20
}

RDS Proxy for connection pool "aws_db_proxy" "rds_proxy" {
name          = "pg-proxy"
engine_family     = "POSTGRESQL"
idle_client_timeout  = 1800 require_tls      = true
}

js let pgClient ;//reuse between warm runs let cold = true;

exports. handler = async (event, ctx) => {
const isCold = cold; cold = false;
if (!pgClient) {
const { Client } = await import('pg');     // lazy import pgClient = new Client({ host: process. env. PG_PROXY, ssl: true });
await pgClient. connect();
}
const t0 = Date. now();
const data = await pgClient. query('select 1');
return {
statusCode: 200,
headers: { 'x-cold-start': String(isCold), 'x-elapsed-ms': String(Date. now()-t0) },
body: JSON. stringify({ ok: true })
};
};

5.2 GCP Cloud Run / Cloud Functions (min instances)

yaml
Cloud Run service. yaml apiVersion: serving. knative. dev/v1 kind: Service metadata: { name: api }
spec:
template:
metadata:
annotations:
autoscaling. knative. dev/minScale: "5" # keep warm run containers. googleapis. com/cpu-throttling: "false"
spec:
containerConcurrency: 80 containers:
- image: gcr. io/proj/api:latest env:
- { name: DB_HOST, value: "10. 0. 0. 5" }

5.3 Azure Functions (AlwaysOn/PreWarm)

AlwaysOn的Premium/Elastic計劃；戰前安裝≥預測的p95並發。

6）Taymauts，retrai，截止日期

共享截止線（client-side）通過標題（「x-deadline-ms」/「grpc-timeout」）傳輸，在功能內縮短「per-hop timeout」。
重復僅用於偶數操作；使用Idempotency-Key和重復數據消除。
對於前端API，是跳線（在p90之後重復查詢）和長距離依賴性的電路斷路器。

7）使用DB/緩存/保密

池/代理（RDS Proxy/Cloud SQL Proxy/pgBouncer）代替數千個短連接符。
帶有後臺更新的內存中的短TTL秘密+緩存。
緩存（Redis/Memcached/KV）：將「重型」參考書裝載到init,但時間限制。

8）代碼組織和組裝

在狹窄的用例上分別打手；一個「胖子」樂隊=很長一段時間。
ESBuild/Rollup：排除未使用的內容,僅結合關鍵內容。
圖層（Layers/Extensions）-用於大型lib （OpenSSL模型,SDK）以重新使用提供程序緩存。

9）測試和模擬峰值

合成「冷」發射：強制關閉min instances，用臺階追逐並行交通。
A/B：比較冷分量，p95，連接誤差到DB/秘密，成本。
GameDay：峰值負荷×歷史新高2，熱量關閉。

10）費用（FinOps）

Min instances/provisioned concurrency值錢-僅包括熱線。
縮短運行時間：緩存,短時間,避免不必要的SDK。
考慮egress（調用外部API）和loging（在cold pic上,log音量快速增長）。

11）反模式

一個具有數十兆字節依賴性的單片漢德勒。
每個呼叫都必須連接到DB（沒有reuse/proxy）。
VPC適用於所有功能「以防萬一」。
長長的taymauts和盲人retrai →「尾巴」和幻影註銷。
全天候加熱「僅連續」。
請求路徑中的秘密初始化（lentisya init> 100 ms-在init/緩存中輸出）。

12） iGaming/財務細節

金錢路徑（存款/收據）：保持存款/定金，單獨的SLO，嚴格限制定時和重播（必須具有等效性）。
KYC/PSP：不穩定的外部API-包裹在queue+worker中，在前面-202/polling/webhook。
監管和審計：不變邏輯（WORM），帶有「Idempotency-Key」的傳入事件日誌，「trace_id」相關性。
數據駐留：在區域帳戶/項目中部署處理PII的功能；沒有帶有PII的邊緣緩存。

13）準備就緒支票清單

• 由SLI/SLO定義：p95/p99，冷分數，路線目標值。
• 在關鍵功能上包括provisioned/min instances；concarrency預測。
• 將樂隊最小化；將沈重的葉子放入層中；lazy-import/初始化。
• Reuse SDK/DB客戶；配置了RDS/SQL Proxy；連接池。
• VPC僅在需要的地方；ENI/代理優化；通過Manager+本地TTL緩存的秘密。
• Taymauts/截止日期/retrai：backoff+jitter；只有偶數重復。
• 合成「冷」+負載測試；cold和p99的份額增加。
• Runbooks：如何增加受保護,如何更改minScale,如何啟用降級。
• 對於iGaming：單獨的SLO/dashbords「金錢之路」,Idempotency-Key, WORM審核。

14) TL;DR

冷啟動是不可避免的，但我們正在管理：在重要的地方保持溫暖的實例，減少幫派，應用懶惰和重復的連接，避免多余的VPC，讓重型手術進入隊列/鍛煉者，並使用邊緣進行輕微的規則。對於關鍵的財務途徑-單獨的SLO，相等性和嚴格的時間限制；測量冷分量，僅在有回報的地方打開加熱。