Serverless функциялары мен cold start

1) cold start дегеніміз не және ол неліктен пайда болады

1. Ортаның аллокациясы (контейнер/микро-VM, runtime жүктеу).

2. VPC/ENI, құпияларды, файлдарды, конфигурацияларды жалғастыру.

3. Кодты баптандыру (модульдерді импорттау, ДБ-ға қосылу, модельдерді жүктеу).

4. Хэндлерді орындау.

Warm start (reuse) 1-3 қадамдарын жіберіп алады. cold start ықтималдығы шыңдалған кезде, тоқтап тұрғаннан кейін, параллелизм ұлғайған кезде және код/конфигурациялар жаңартылған кезде өседі.

2) Қалай өлшеу және мақсаттар қою (SLO)

Метриктер: 'init _ duration' (бастамалау), 'duration _ total', «салқын іске қосу үлесі», p95/p99 latency, тоқтап тұрғаннан кейін тәуелділікке қосылу қателері.
Телеметрияны алу: платформа логтары + жеке белгілер (мысалы, 'context бар болса' cold = true/false '. isColdStart 'немесе статикалық тұйықталудағы өз жалауы).
SLO-мақсаттар (мысал): API «логин» p95 ≤ 200 мс, үлесі cold ≤ 3%; фондық тапсырмалар - p95 ≤ 1 с, «Ақшалай» маршруттар үшін - жеке, неғұрлым қатаң.

3) cold start төмендетудің негізгі тетіктері

3. 1 Конкарренси және жылыту басқармасы

Provisioned Concurrency/Min Instances: N жылы орта ұстайды. Сындарлы тұтқалар үшін пайдаланыңыз.
Warmers/жылыту: воркерлерді жылы ұстау үшін жоспарлы қоңыраулар (cron/scheduler). Мұны ақылға қонымды жасаңыз (өңір, уақыт, жүктеме).
Burst-буферлер: күтілетін шыңдар алдында параллелизм шегін алдын ала көтеріңіз.

3. 2 Орау және тәуелділік

Шағын deploy-артефакт: tree-shaking, '--only prod' тәуелділік, ірі либаларға арналған қабаттар (AWS Layers).
Lazy-init: бірінші қол жеткізгенде хэндлердің ішіндегі ауыр модульдерді импорттаңыз; жалқаулықпен қосылыстарды ашыңыз.
Жылы ресурстар: SDK/қосылым клиенттерін warm бастау үшін жаһандық аумақта кэш жасаңыз.

3. 3 Желі және VPC

VPC-сыз жекелеуді қажет етпейтін функциялар үшін (әйтпесе ENI-attach ондаған-жүздеген мс қосады).
Егер VPC міндетті болса - провайдердің VPC-эконом режимін (ENI-пулдар/оңтайландыру), БД-ға прокси (RDS Proxy/Cloud SQL Auth Proxy) және connection pooling пайдаланыңыз.

3. 4 Тілдер мен рантаймалар

Node. js/Go ең жылдам басталады; Python - әдетте тез, бірақ үлкен импортқа сезімтал; Java/.NET - GraalVM/AOT және профильсіз ауырырақ.
JVM үшін SnapStart/CRaC/Graal Native; үшін. NET — trimmed Self-Contained.

3. 5 Бастамалау және state

Қымбат инициализацияны сұрау жолына емес, инициализациялау хогына (init phase) шығарыңыз.
Жергілікті кэшпен (TTL) on-demand конфигурацияларды/құпияларды қотаруды қолданыңыз.
Тек кэш сигналдарын/коннекторларын ғана жадта сақтамаңыз.

4) cold start әсерін азайтатын сәулеттік үлгілер

4. 1 Асинхрон және кезектер

Сұрау салуды қабылдаймыз → валидация → кезекке/шинаға саламыз (SQS/PubSub/Queue Storage) → жауап береміз 202/Accepted → фонмен өңдейміз.
Белсенді емес операциялар (төлемдер, есептер, ауыр есептеулер) үшін жарамды.

4. 2 Precompute/Pre-cache

Триггерлер (CRON/оқиғалар) бойынша алдын ала қатынас/каталогтар/фич-жалауларды генерациялау және KV/кэш/edge бағдарламасында сақтау.

4. 3 Fan-out/Fan-in

Ұзақ операцияны бірнеше қысқа функцияларға бөлеміз (Map/Reduce-ұқсас) → таймауттар мен қайталану қаупі аз.

4. 4 Edge-offload

Қарапайым тексерулерді (JWT/HMAC, гео-редирект, антибот) RTT үнемдеу және origin түсіру үшін edge (Workers/Functions @Edge) орындаймыз.

5) Практика: конфигалар және тәсілдер

5. 1 AWS Lambda (provisioned + RDS Proxy)

hcl
Terraform sketch: enable provisioned concurrency on the sales version of the resource "aws_lambda_provisioned_concurrency_config" "api" {
function_name = aws_lambda_function. api. function_name qualifier   = aws_lambda_alias. prod. name provisioned_concurrent_executions = 20
}

RDS Proxy for connection pool "aws_db_proxy" "rds_proxy" {
name          = "pg-proxy"
engine_family     = "POSTGRESQL"
idle_client_timeout  = 1800 require_tls      = true
}

js let pgClient ;//reuse between warm runs let cold = true;

exports. handler = async (event, ctx) => {
const isCold = cold; cold = false;
if (!pgClient) {
const { Client } = await import('pg');     // lazy import pgClient = new Client({ host: process. env. PG_PROXY, ssl: true });
await pgClient. connect();
}
const t0 = Date. now();
const data = await pgClient. query('select 1');
return {
statusCode: 200,
headers: { 'x-cold-start': String(isCold), 'x-elapsed-ms': String(Date. now()-t0) },
body: JSON. stringify({ ok: true })
};
};

5. 2 GCP Cloud Run / Cloud Functions (min instances)

yaml
Cloud Run service. yaml apiVersion: serving. knative. dev/v1 kind: Service metadata: { name: api }
spec:
template:
metadata:
annotations:
autoscaling. knative. dev/minScale: "5" # keep warm run containers. googleapis. com/cpu-throttling: "false"
spec:
containerConcurrency: 80 containers:
- image: gcr. io/proj/api:latest env:
- { name: DB_HOST, value: "10. 0. 0. 5" }

5. 3 Azure Functions (AlwaysOn/PreWarm)

AlwaysOn-мен Premium/Elastic жоспарлары; pre-warmed instances болжамды p95 параллелизмін ≥.

6) Таймауттар, ретрациялар, мерзімдер

Жалпы мерзім (client-side) тақырыбы ('x-deadline-ms '/' grpc-timeout') арқылы берілсін, функцияның ішінде 'per-hop timeout' қысқартылсын.
Тек идемпотенттік операциялар үшін қайталаулар; Idempotency-Key және дедупликацияны пайдаланыңыз.
Алдыңғы API үшін - hedging (p90 кейін қайталанатын сұрау) және алыстан тәуелділікке circuit breaker.

7) ДБ/кэштермен/құпиялармен жұмыс істеу

Пулдар/прокси (RDS Proxy/Cloud SQL Proxy/pgBouncer) мың қысқа коннектілердің орнына.
Қысқа TTL құпия + жады өңіндегі жаңартылған кэш.
Кэш (Redis/Memcached/KV): «ауыр» анықтамалықтарды init-ке қосымша жүктеу, бірақ уақыт шектеулерімен.

8) Кодты ұйымдастыру және жинау

Тар use-case 'терге жеке хэндлерлер; бір «қалың» бандл = ұзын init.
ESBuild/Rollup: пайдаланылмағанды болдырмаңыз, тек шекті мәнді мәнді біріктіріңіз.
Қабаттар (Layers/Extensions) - провайдер кэшін қайта пайдалану үшін үлкен либ (OpenSSL модельдері, SDK) үшін.

9) Шыңдарды тестілеу және симуляциялау

«Суық» іске қосу синтетикасы: min instances-ті күштеп сөндіріп, параллель трафикті баспалдақтармен айдаңыз.
A/B: cold, p95 үлесін, БД/құпияларға коннект қатесін, шығындарды салыстыру.
GameDay: ең жоғары жүктеме × 2 тарихи максимумнан, жылуды өшіру.

10) Құны (FinOps)

Min instances/provisioned concurrency ақша тұрады - тек ыстық маршруттар үшін қосыңыз.
Орындау ұзақтығын төмендетіңіз: кэш, қысқа таймауттар, қажетсіз SDK-лардан бас тарту.
egress (сыртқы API шақырулары) және логингті (логтардың көлемі cold шыңдарында тез өседі) ескеріңіз.

11) Антипаттерндер

Ондаған мегабайт тәуелділігі бар бір монолитті хэндлер.
Әрбір шақыруда ДБ-ға міндетті қосылу (reuse/proxy-сіз).
VPC барлық функциялар үшін «жағдайға».
Ұзақ таймауттар мен соқыр ретрациялар → «құйрықтар» және фантомдық есептен шығару.
Тәулік бойы «барлық қатарынан» жылыту.
Сұрау жолындағы жасырын бастамалау (init таспасы> 100 мс - init/кэшке шығарыңыз).

12) iGaming/Қаржы ерекшелігі

Ақша жолдары (депозиттер/қорытындылар): provisioned/min instances, жеке SLO, таймауттар мен қайталауларды қатаң шектеу (іспеттілік міндетті) ұстаңыз.
KYC/PSP: тұрақсыз сыртқы API - queue + worker, фронтта - 202/поллинг/вебхук.
Реттеуіш және аудит: өзгермейтін логтар (WORM), кіріс оқиғалар журналы с 'Idempotency-Key', корреляция 'trace _ id'.
Data residency: PII өңдейтін функцияларды өңірлік аккаунттарда/жобаларда таратыңыз; PII бар edge-кэш жоқ.

13) Prod-дайындық чек-парағы

• SLI/SLO анықталды: p95/p99, cold үлесі, бағыттар бойынша нысаналы мәндер.
• Критикалық функцияларда provisioned/min instances қосылған; конкарренси болжамы.
• Бандл барынша азайтылды; ауыр либалар қабаттарға шығарылған; lazy-import/баптандыру.
• SDK/DB клиенттерінің Reuse; RDS/SQL Proxy теңшелген; қосылымдар пулы.
• VPC тек қажет жерде; ENI/прокси оңтайландырылған; менеджер арқылы құпиялар + жергілікті TTL кэш.
• Таймауттар/мерзімдер/ретрациялар: backoff + джиттер; тек қана демпотенттік қайталаулар.
• Синтетика «cold» + жүктеме тесттері; cold және p99 үлесінің өсуіне арналған алерталар.
• Runbooks: provisioned қалай ұлғайтуға болады, minScale қалай өзгертуге болады, деградацияны қалай қосуға болады.
• iGaming үшін: жеке SLO/дашбордтар «ақша жолдары», Idempotency-Key, WORM-аудит.

14) TL; DR

Cold start бұлтартпайды, бірақ біз басқарамыз: маңызды жерлерде жылы инстанцияларды ұстаңыз, бандлды азайтыңыз, lazy-init және reuse қосылыстарын қолданыңыз, артық VPC болдырмаңыз, кезектегі ауыр операцияларды/воркерлерді шығарыңыз және жеңіл ережелер үшін edge пайдаланыңыз. Сындарлы қаржы жолдары үшін - жеке SLO, икемділік және қатаң таймауттар; cold үлесін өлшеңіз және жылуды тек ол өзін ақтайтын жерде қосыңыз.