Төмен кідіріс архитектурасы

Төмен кідіріс архитектурасы не үшін қажет?

Төмен кідіріс - бұл тек «жылдам орташа» ғана емес, нақты жүктеме кезінде тұрақты қалдықтар (p95/p99). Бұған апаратын жол - кідіріс бюджеті, кезектердің/ретрайлардың тәртібі, деректер мен кэштердің жақындығы, дұрыс хаттамалар/коннектілер және қатаң пайдалану (лимиттер, бақылау, тозу).

Кешіктірудің мақсаттары мен бюджеті

1. SLO анықтаңыз: "p95 ≤ 120 мс, p99 ≤ 250 мс, қате ≤ 0. 3%».
2. Бюджетті жинаңыз: клиент → edge → өңір → қызметтер → сторлар → жауап.

3. Лимиттерді бөліңіз (мысалы, жалпы SLO 120 мс p95):

Клиент-edge: 15 мс
Edge-аймақ: 15 мс
Gateway/L7: 10 мс
Бизнес-сервис: 40 мс
Сақтау/кэш: 25 мс
Қор/джиттер: 15 мс

💡 Кез келген компоненттің, егер өз бюджетіне сыймаса, таймауттары мен тозу жоспары болуға міндетті.

Метриктер мен қалдықтар

p50/p90/p95/p99, тура және әрбір хопта өлшеңіз.
Лейблдерге бөліңіз: өңір, әдіс, клиенттің нұсқасы, желі түрі (мобайл/бродбенд), payload өлшемі.
Кезек уақыты мен орындау уақытын ажыратыңыз (Little's Law: L = λ· W қараңыз).
Tail-сезімтал техникалар: hedged requests (сирек және қорғаумен), каскадты ретраға тыйым салу.

Желі және хаттамалар

QUIC/HTTP/3: мобильді/роумингте шығындар аз, head-of-line-сіз мультиплексиялау.
TLS 1. 3 және 0-RTT (тек қауіпсіз демпотенттік сұраулар үшін).
DNS: динамикалық бағыттар үшін қысқа TTL, POP үшін Anycast.
TCP: 'TCP _ NODELAY' (мұқият), артық 'Nagle '/' Delayed ACK' ақталған жерде ажырату; keep-alive және қосылыстарды тез қалпына келтіру.
gRPC/HTTP/2: мультиплекс, flow-control және терезе параметрлері; кішкентай payload-да шамадан тыс қысымнан аулақ болыңыз.

Қосылыстар мен пулдар

Пулдарды домендер/мақсат бойынша бөліңіз («баяу көршілер» слоттарды алмауы үшін).
Warm-up/Keep-alive: жылы коннектілердің тұрақты санын ұстаңыз.
Connection coalescing (HTTP/2/3) и reuse.
Тайм-ауттар: 'connect', 'TLS handshake', 'request', 'idle'. Түрлі хоптардағы әртүрлі мәндер.

Деректер мен есептеулердің орналасуы

Edge/Region: оқулар мен жеңіл есептеулерді пайдаланушыға жақын шығарыңыз («Edge-тораптар мен аймақтық логиканы» қараңыз).
Read-local/Write-global: оқуға арналған репликалар, жазуға арналған жаһандық шындық.
Кэш-иерархия: CDN/edge-кэш → аймақтық KV/Redis → сервистік кэш → жергілікті in-proc.
Жылыту (warming): шығару/масштабтау кезінде ыстық кілттерді жүктеу.
Жоғары емес тәуекелді деректер үшін Stale-while-revalidate.

Қоймалар мен индекстер

O (1 )/O (logN) қол жеткізу схемаларын таңдаңыз; тар индекстерді жиі сұрау үшін сақтаңыз.
Hot-keys: 'hash (id)' бойынша шардалаңыз немесе біркелкі болу үшін «тұзды» қосыңыз.
БД/кэшке шығуда ондаған жеке қоңыраулардың орнына Batching (ақылға қонымды мөлшерге дейін).
OLTP үшін - барынша қысқа транзакциялар; сериялық бұғаттаудың орнына read-committed/snapshot.

Бәсекелестік және бұғаттаусыз тәсілдер

Алдымен кезектегі күтулерді жойып, содан кейін CPU-ны оңтайландырыңыз.
Async I/O және бұғатталмайтын драйверлер; орынды жерде lock-free құрылымдары.
Жаһандық мьютекстерден аулақ болыңыз; granular-локи, CAS/нұсқалау.
Ағын пулдары: контекст-свитчиге тірелмес үшін өлшемдерді бекітіңіз.
NUMA-ұғыну: ағындарды сокеттерге, жергілікті аллокаторларға байланыстыру.

JVM/GC және рантайм-тюнинг (егер қолданылатын болса)

Код және аллокация генерациясы: аз бүйірлік әсерлер → аз GC үзілістер.
Мақсатты үзілісі бар қазіргі заманғы коллекторлар (G1/ZGC/Shenandoah); escapes және буферлерді жалға алу.
Class/Data sharing, JIT warming, AOT/native-image.
GC үзілістерінің гистограммаларын кідірістің жалпы бюджетіне қосыңыз.

Кезектер, backpressure, артық жүктемеден қорғау

Кезектердің өлшемі = кішкентай: ұзын кезектер «әдемі p50» береді және p99 өлтіреді.
Айқын backpressure: «Баяу» деп жауап беріңіз.
Adaptive concurrency: қателер/жасырындылық (VEGAS/gradient алгоритмдері, AIMD) ұлғайғанда параллельділікті төмендетіңіз.
Circuit breaker: апстримнің тозуы кезіндегі жылдам істен шығулар, пулдар мен ресурстарға арналған bulkhead (кают-компаниялар).
Rate limit: жылжымалы терезе/токендер, басымдық (user tier/critical-path).

Ретраи, хеджинг және идемпотенттілік

Тек қана транзиентті қателіктерге, джиттерге және ең көп талпыныстарға арналған ретрациялар.
Идемпотенттік операциялар және 'Idempotency-Key' - қайталаулар үшін міндетті.
Hedged requests: шектен кейін дубли жіберіңіз (мысалы, p95 + 10 мс) және әрдайым артық еместі болдырмаңыз.
Үйлестірусіз әр қабаттың ішінде ешқашан ретрайт жасамаңыз - дауыл алыңыз.

Кэштеу және жылыту

Ыстық жол типтік жүктеме (in-proc/LRU) кезінде желісіз болуы тиіс.
Жоқ кілттерді сындырмау үшін 10-60 с Negative cache.
Релиз/скейлинг кезінде жаппай жылыту: ыстық кілттердің тізімі, read-ahead, background refresh.

Деградация және фоллбектер

Graceful Degradation: жасырындылықтың өсуі кезінде екінші дәрежелі фичтерді қысқартыңыз (аз нақтыланған жауап, байытуды тоқтату).
Soft timeouts: 5xx орнына негізгі/кэш жауабын қайтарыңыз.
Fail-open/Fail-closed - әрбір қоңырау үшін анық құжаттаңыз.

Бақылау және бейіндеу

Дистрибутивтік трейсинг: әрбір хопта спандалар, қалдықтар сэмплингі (tail-based).
RED/USE метрики: Rate, Errors, Duration / Utilization, Saturation, Errors.
Күн сайын «баяу» маршруттардың Top-N.
Төмен оверхедпен (eBPF/async-profiler/Flight Recorder) сауыттағы кескіндегіштер (alloc/cpu/lock).
Әртүрлі ASN/желілері мен ұтқыр арналары бар синтетика.

Өнімділікті тестілеу

Нақты payload және вариативтілігі бар Latency-SLO тестілері (p95/p99).
Chaos сценарийлері: DNS деградациясы, пакеттер шығынының өсуі, TLS кідірісі, «баяу» ескіру.
Cold-start/scale-up: кэштер бос болған алғашқы минуттарды өлшеңіз.
Жүктеме пулдарын сценарийлер бойынша бөліңіз (read/write тесттеріне кедергі жасамаңыз).

Шағын үлгілер

Таймауттар/ретрайлер саясаты (жалған)

yaml timeouts:
connect: 100ms tls_handshake: 150ms request_p95_budget: 80ms retries:
max_attempts: 2 backoff: exp_jitter(10ms..60ms)
retry_on: [CONNECT_ERROR, TIMEOUT, 502, 503, 504]
hedging:
enabled: true threshold: p95 + 10ms cancel_extra_on_first_success: true circuit_breaker:
error_rate_threshold: 5%
p95_threshold_increase: 30%
half_open_after: 10s

Пулы және bulkhead 'ы

yaml pools:
checkout:
max_conns: 256 per_host: 64 queue: 8 # small analytics queue:
max_conns: 64 queue: 4

Деградацияланған жауап

json
{
"status": "ok",
"profile": { "id": "u123", "name": "…"},
"recommendations": "degraded, "//disabled the heavy part
"served_from": "edge-cache",
"trace_id": "…"
}

Қолдану жағдайлары

iGaming/қаржы: төлемді авторизациялау <200 мс p95, лимиттер/баланс - аймақтық жобалардан оқу, жазбалар - нұсқасы бар демпотенттік.
Маркетинг/ұсыныстар: жауаптар <100 мс p95, edge-дегі фич-жалаулар кэши, модельдер - алдын ала скоринг + ыстық жолдағы жылдам ережелер.
Мобильді клиенттер: HTTP/3, агрессивті reuse коннектілері, азайтылған payload (Protobuf), қорғаныс таймауттары және offline кэш.

Қарсы үлгілер

Воркерлердің алдындағы ұзын кезек: «әдемі орта» және өлтірілген p99.
Әр қабаттағы каскадты ретраялар үйлесімсіз.
Жаһандық «мега-кэш» мүгедектіксіз және жылытусыз.
Анық емес таймауттар (барлық жерде «әдепкі») - бақыланбайтын қалдықтар.
Барлық трафик үшін бір ортақ коннектілер пулы - head-of-line бұғаттау.
stateful-эффекттері бар edge-дегі ауыр логика.
Ажыратылған қалдық телеметриясы - сіз p99 «көрмейсіз».

Шығарылған чек-парақ

Хоптар мен таймауттар бойынша бюджет бар.
Қосылған HTTP/2/3, TLS 1. 3, коннектілер пулы және warm-up.
Кэш иерархиясы, ыстық кілттер тізімі және жылыту стратегиялары.
Read-local/Write-global және ыстық кілттерді шардалау.
Айқын backpressure, шағын кезектер, circuit-breakers және bulkhead's.
Джиттермен ретраи, іспеттілік, шектеулі хеджинг.
Өңір/нұсқа/клиент белгілері бар трейсинг; мониторинг p95/p99.
ASN/мобайл бойынша синтетикалық перф-тесттер, cold-start сценарийлері және chaos.
Құлдырау және фоллбек процедуралары құжатталған.
p95/p99 нақты жүктемеде SLO сәйкес келеді.

FAQ

Неге p99 орташадан маңызды?
Себебі пайдаланушылар орташамен емес, құйрықтармен бетпе-бет келеді. p99 «қаншалықты шынымен ауыратынын» көрсетеді.

Барлық жерде хеджингті қосу керек пе?
Жоқ. Ол сыни жолдардағы сирек қалдықтар үшін және қатаң лимиттер/теңсіздік кезінде ғана пайдалы.

Суық басталуды қалай азайтуға болады?
Кэштерді/қосылыстарды жылыту, алдын ала құрастыру/JIT-жылыту, lazy-инициализацияларды азайту, warm-пулдар.

«Желіні жеңуге» бола ма?
Ішінара: HTTP/3, edge-POP, Anycast, ықшам payload, connection reuse және ақылға қонымды таймауттар.

Жиынтығы

Төмен кідіріс архитектурасы - бұл уағдаластықтар мен тәртіптің жүйесі: кідіріс бюджеті, деректердің жақындығы, шағын кезектер, болжамды ретрайлер, кэш-иерархиялар, дұрыс хаттамалар және қалдықтардың аяусыз байқалуы. Осы қағидаларды сақтай отырып, сіз p95/p99-ды тұрақтылық пен әмиян құрбандарынсыз ұстайсыз.

Төмен кідіріс архитектурасы