Serverless功能和冷启动

1）冷启动是什么，为什么会发生

1.环境变量（容器/微型VM，运行时加载）。

2.加载VPC/ENI，秘密，文件，配置。

3.代码初始化（导入模块、连接数据库、加载模型）。

4.Handler执行。

Warm start （reuse）跳过步骤1-3。冷启动概率随着峰值、停机后、并发性增加以及代码/密码更新而增加。

2）如何测量和设定目标（SLO）

度量标准："init_duration"（初始化）、"duration_total"、"冷启动比例"、p95/p99 latency,停机后与依赖项的连接错误。
删除遥测：平台日志和自己的标签（例如,"cold=true/false"（如果有'context）。静态闭包中的isColdStart或自己的标志）。
SLO目标（示例）："登录"API p95 ≤ 200毫秒，冷分≤ 3％；背景任务是p95 ≤ 1。对于"现金"路线-单独的，更严格的。

3）主要的降温杠杆

3.1 Concarrency控制和加热

受保护的协理/米恩装置：保持N温暖的环境。用于关键手柄。
Warmers/加热：计划拨打电话（cron/scheduler）以保持加热。这样做是明智的（区域，时间，负荷）。
爆破缓冲区：在预期峰值之前提前提高并发限制。

3.2包装和依赖

小型挖掘人工制品：树木摇摆，'-only prod'依赖性，大型立体图层（AWS层）。
Lazy-init：首次访问时,将重型模块导入到handler内；懒惰地打开连接。
温暖的资源：在全局范围内缓存SDK/连接客户端以重新启动。

3.3网络和VPC

如果没有VPC，则不需要私有化的功能（否则ENI-attach会添加数十到100毫秒）。
如果VPC是必需的,则使用VPC经济型提供程序模式（ENI池/优化）、proxy到DB （RDS Proxy/Cloud SQL Auth Proxy）和连接池。

3.4语言和Rantaims

Node.js/Go的启动速度最快；Python-通常很快，但对大量进口敏感。Java/.NET-没有GraalVM/AOT和配置文件时更重。

对于JVM,请考虑SnapStart/CRaC/Graal Native；对于。NET — trimmed Self-Contained.

3.5初始化和状态

将昂贵的初始化输出到初始化钩子（init阶段）而不是查询路径。
应用按需下载本地缓存（TTL）密码/密码。
不要将用户状态存储在内存中-仅缓存信号/连接器。

4）减少冷启动影响的建筑模式

4.1 Asinhron和队列

接受请求→ →排队/总线（SQS/PubSub/Queue Storage）进行验证→ 202/Accepted响应→处理背景。
适用于非交互式操作（付款、报告、重型计算）。

4.2 Precompute/Pre-cache

通过触发器（CRON/事件）预先生成访问/目录/幻灯片，并存储在KV/缓存/边缘中。

4.3 Fan-out/Fan-in

我们将长期运行的操作分解为几个短功能（Map/Reduce-类似）→减少计时和重复寒冷的风险。

4.4 Edge-offload

最简单的检查（JWT/HMAC, geo-redirect, antibot）在边缘（Workers/Functions@Edge）上执行,以节省RTT并卸载起源。

5）实践： 技巧和技巧

5.1 AWS Lambda (provisioned + RDS Proxy)

hcl
Terraform sketch: enable provisioned concurrency on the sales version of the resource "aws_lambda_provisioned_concurrency_config" "api" {
function_name = aws_lambda_function. api. function_name qualifier   = aws_lambda_alias. prod. name provisioned_concurrent_executions = 20
}

RDS Proxy for connection pool "aws_db_proxy" "rds_proxy" {
name          = "pg-proxy"
engine_family     = "POSTGRESQL"
idle_client_timeout  = 1800 require_tls      = true
}

js let pgClient ;//reuse between warm runs let cold = true;

exports. handler = async (event, ctx) => {
const isCold = cold; cold = false;
if (!pgClient) {
const { Client } = await import('pg');     // lazy import pgClient = new Client({ host: process. env. PG_PROXY, ssl: true });
await pgClient. connect();
}
const t0 = Date. now();
const data = await pgClient. query('select 1');
return {
statusCode: 200,
headers: { 'x-cold-start': String(isCold), 'x-elapsed-ms': String(Date. now()-t0) },
body: JSON. stringify({ ok: true })
};
};

5.2 GCP Cloud Run / Cloud Functions (min instances)

yaml
Cloud Run service. yaml apiVersion: serving. knative. dev/v1 kind: Service metadata: { name: api }
spec:
template:
metadata:
annotations:
autoscaling. knative. dev/minScale: "5" # keep warm run containers. googleapis. com/cpu-throttling: "false"
spec:
containerConcurrency: 80 containers:
- image: gcr. io/proj/api:latest env:
- { name: DB_HOST, value: "10. 0. 0. 5" }

5.3 Azure Functions (AlwaysOn/PreWarm)

AlwaysOn的Premium/Elastic计划；战前安装≥预测的p95并发。

6）Taymauts，retrai，截止日期

共享截止线（client-side）通过标题（"x-deadline-ms"/"grpc-timeout"）传输，在功能内缩短"per-hop timeout"。
重复仅用于偶数操作；使用Idempotency-Key和重复数据消除。
对于前端API，是跳线（在p90之后重复查询）和长距离依赖性的电路断路器。

7）使用DB/缓存/保密

池/代理（RDS Proxy/Cloud SQL Proxy/pgBouncer）代替数千个短连接符。
带有后台更新的内存中的短TTL秘密+缓存。
缓存（Redis/Memcached/KV）：将"重型"参考书装载到init,但时间限制。

8）代码组织和组装

在狭窄的用例上分别打手；一个"胖子"乐队=很长一段时间。
ESBuild/Rollup：排除未使用的内容,仅结合关键内容。
图层（Layers/Extensions）-用于大型lib （OpenSSL模型,SDK）以重新使用提供程序缓存。

9）测试和模拟峰值

合成"冷"发射：强制关闭min instances，用台阶追逐并行交通。
A/B：比较冷分量，p95，连接误差到DB/秘密，成本。
GameDay：峰值负荷×历史新高2，热量关闭。

10）费用（FinOps）

Min instances/provisioned concurrency值钱-仅包括热线。
缩短运行时间：缓存,短时间,避免不必要的SDK。
考虑egress（调用外部API）和loging（在cold pic上,log音量快速增长）。

11）反模式

一个具有数十兆字节依赖性的单片汉德勒。
每个呼叫都必须连接到DB（没有reuse/proxy）。
VPC适用于所有功能"以防万一"。
长长的taymauts和盲人retrai →"尾巴"和幻影注销。
全天候加热"仅连续"。
请求路径中的秘密初始化（lentisya init> 100 ms-在init/缓存中输出）。

12） iGaming/财务细节

金钱路径（存款/收据）：保持存款/定金，单独的SLO，严格限制定时和重播（必须具有等效性）。
KYC/PSP：不稳定的外部API-包裹在queue+worker中，在前面-202/polling/webhook。
监管和审计：不变逻辑（WORM），带有"Idempotency-Key"的传入事件日志，"trace_id"相关性。
数据驻留：在区域帐户/项目中部署处理PII的功能；没有带有PII的边缘缓存。

13）准备就绪支票清单

• 由SLI/SLO定义：p95/p99，冷分数，路线目标值。
• 在关键功能上包括provisioned/min instances；concarrency预测。
• 将乐队最小化；将沉重的叶子放入层中；lazy-import/初始化。
• Reuse SDK/DB客户；配置了RDS/SQL Proxy；连接池。
• VPC仅在需要的地方；ENI/代理优化；通过Manager+本地TTL缓存的秘密。
• Taymauts/截止日期/retrai：backoff+jitter；只有偶数重复。
• 合成"冷"+负载测试；cold和p99的份额增加。
• Runbooks：如何增加受保护,如何更改minScale,如何启用降级。
• 对于iGaming：单独的SLO/dashbords"金钱之路",Idempotency-Key, WORM审核。

14) TL;DR

冷启动是不可避免的，但我们正在管理：在重要的地方保持温暖的实例，减少帮派，应用懒惰和重复的连接，避免多余的VPC，让重型手术进入队列/锻炼者，并使用边缘进行轻微的规则。对于关键的财务途径-单独的SLO，相等性和严格的时间限制；测量冷分量，仅在有回报的地方打开加热。