Past kechikish arxitekturasi

Nega past kechikish arxitekturasi kerak

Past kechikish - bu nafaqat «tez o’rtacha», balki haqiqiy yuklamada barqaror dumlar (p95/p99). Buning yo’li - kechikish byudjeti, navbat/retraj tartibi, ma’lumotlar va kesshlarning yaqinligi, to’g "ri protokollar/konnektlar va qat’iy foydalanish (limitlar, kuzatuv, degradatsiya).

Kechiktirishning maqsadlari va budjeti

1. SLOni aniqlang: "p95 ≤ 120 ms, p99 ≤ 250 ms, xato ≤ 0. 3%».
2. Byudjetni yigʻing: mijoz → edge → mintaqa → xizmatlar → storlar → javob.

3. Limitlarni taqsimlang (masalan, umumiy SLO 120 ms p95):

Mijoz-edge: 15 ms
Edge-mintaqa: 15 ms
Gateway/L7: 10 ms
Biznes-servis: 40 ms
Saqlash/kesh: 25 ms
Zaxira/jitter: 15 ms

💡 Agar o’z budjetiga to’g "ri kelmasa, har qanday komponentning taymautlari va degradatsiya rejasi bo’lishi shart.

Metriklar va dumlar

p50/p90/p95/p99 o’lchang.
Mintaqa, usul, mijoz versiyasi, tarmoq turi (mobayl/brodband), payload oʻlchami kabi yorliqlarga boʻlinadi.
Navbat vaqti va bajarish vaqtini ajrating (Little’s Law: L = λ· W ga qarang).
Tail-sezgir texnikalar: hedged requests (kamdan-kam hollarda va himoyalangan holda), kaskadli retrajlarni taqiqlash.

Tarmoq va protokollar

QUIC/HTTP/3: mobil/roumingda kamroq yo’qotishlar, head-of-line’siz multiplekslash.
TLS 1. 3 va 0-RTT (faqat xavfsiz idempotent so’rovlari uchun).
DNS: dinamik yo’nalishlar uchun qisqa TTL, POP uchun Anycast.
TCP:’TCP _ NODELAY’(ehtiyotkorlik bilan), ortiqcha’Nagle ’/’ Delayed ACK’ni oqlangan joyda uzib qo’yish; keep-alive va ulanishlarni tezda tiklash.
gRPC/HTTP/2: multipleks, flow-control va oyna moslamalari; kichik payloadlarda ortiqcha siqilishdan saqlaning.

Birikmalar va hovuzlar

Hovuzlarni domenlarga/maqsadga qarab ajrating (shunda «sekin qo’shnilar» slotlarni olib qo’ymasinlar).
Warm-up/Keep-alive: iliq konnektlarning barqaror sonini saqlang.
Connection coalescing (HTTP/2/3) и reuse.
Taym-autlar:’connect’,’TLS handshake’,’request’,’idle’. Turli xoplarda turli qiymatlar.

Ma’lumotlar va hisoblashlarning lokalligi

Edge/Region: Foydalanuvchiga yaqinroq oʻqish va yengil hisoblashni olib boring («Edge tugunlari va mintaqaviy mantiq» ga qarang).
Read-local/Write-global: o’qish uchun nusxalar, yozish uchun global haqiqat.
Kesh iyerarxiyasi: CDN/edge-kesh → mintaqaviy KV/Redis → servis kesh → lokal in-proc.
Isitish (warming): Reliz/kattalashtirish paytida issiq kalitlarni yuklash.
Yuqori bo’lmagan ma’lumotlar uchun Stale-while-revalidate.

Omborlar va indekslar

O (1 )/O (logN) kirish sxemalarini tanlang; tor indekslarni tez-tez so’rab turing.
Hot-keys:’hash (id)’yoki’tuz’qo’shing.
Batching o’nlab yakka qo’ng’iroqlar o’rniga DB/keshga chiqishda (o’lchamgacha).
OLTP uchun - eng qisqa tranzaksiyalar; seriyali qulflash o’rniga read-committed/snapshot.

Raqobatbardoshlik va blokirovkasiz usullar

Avval navbat kutishni yo’q qiling, so’ngra CPUni optimallashtiring.
Async I/O va bloklamaydigan drayverlar; mos keladigan joydagi lock-free tuzilmalari.
Global myutekslardan qoching; granular-loki, CAS/versiyalash.
Oqim pullari: Kontekst-svitchlarga yopishib qolmaslik uchun o’lchamlarni o’rnating.
NUMA-onglilik: oqimlarni soketlarga bog’lash, mahalliy allokatorlar.

JVM/GC va rantaym-tyuning (agar qo’llanilsa)

Kod va allokatsiyani yaratish: kamroq yon effektlar → kamroq GC pauzalar.
Maqsadli pauzali zamonaviy kollektorlar (G1/ZGC/Shenandoah); escapes va buferlarni ijaraga olish.
Class/Data sharing, JIT warming, AOT/native-image.
GC tanaffuslari gistogrammalarini kechiktirishning umumiy byudjetiga kiriting.

Navbatlar, backpressure, ortiqcha yuklashdan himoya qilish

Navbatlar o’lchami = kichik: uzun navbatlar «chiroyli p50» ni beradi va p99 ni o’ldiradi.
Aniq backpressure: tejashdan koʻra «sekinroq» javob bering.
Adaptive concurrency: xato/latentlik (VEGAS/gradient algoritmlar, AIMD) oʻsganda parallellikni kamaytiring.
Circuit breaker: apstrimning tanazzulga uchrashi, bulkhead (kaut-kompaniyalar) ning pullar va resurslarga tezkor muvaffaqiyatsizliklari.
Rate limit: harakatlanuvchi oyna/tokenlar, ustuvorlik (user tier/critical-path).

Retray, xedjing va idempotentlik

Faqat tranziyent xatolar uchun retrajlar, jitter va maksimal urinishlar bilan.
Idempotent operatsiyalari va’Idempotency-Key’- takrorlash uchun majburiydir.
Hedged requests: chegaradan keyin dubllarni yuboring (masalan, p95 + 10 ms) va har doim ortiqchasini bekor qiling.
Hech qachon har bir qatlam ichida muvofiqlashtirmasdan retrit qilmang - bo’ron bo’ladi.

Keshlash va isitish

Issiq yo’l namunaviy yuklamada (in-proc/LRU) tarmoqsiz amalga oshirilishi kerak.
Negative cache 10-60 soniyada.
Reliz/skeyling paytida ommaviy isitish: issiq kalitlar ro’yxati, read-ahead, background refresh.

Degradatsiya va follbeklar

Graceful Degradation: latentlik ko’payganda ikkinchi darajali fichlarni qisqartiring (kamroq batafsil javob, boyitishni uzish).
Soft timeouts: 5xx oʻrniga asosiy/kesh javobini qaytaring.
Fail-open/Fail-closed - har bir chaqiruvni aniq hujjatlashtiring.

Kuzatish va profillash

Distributiv treysing: har bir xopda span, quyruq sampling (tail-based).
RED/USE метрики: Rate, Errors, Duration / Utilization, Saturation, Errors.
Top-N «sekin» yo’nalishlar har kuni.
Profil beruvchilar (alloc/cpu/lock) past overxedli proda (eBPF/async-profiler/Flight Recorder).
Turli ASN/tarmoqlar va mobil kanallardan sintetika.

Unumdorlikni sinash

Latency-SLO testlari (p95/p99) haqiqiy payload va o’zgaruvchanlikka ega.
Chaos stsenariylari: DNSning tanazzulga uchrashi, paketlar yo’qolishining ko’payishi, TLSning kechikishi, «sekin» davr.
Cold-start/scale-up: Agar keshlar boʻsh boʻlsa, chiqarilgandan keyingi dastlabki daqiqalarni oʻlchang.
Yuklash pullarini ssenariylarga bo’ling (o’qish/write testlariga xalaqit bermang).

Mini namunalar

Taymaut/retraj siyosati (psevdo)

yaml timeouts:
connect: 100ms tls_handshake: 150ms request_p95_budget: 80ms retries:
max_attempts: 2 backoff: exp_jitter(10ms..60ms)
retry_on: [CONNECT_ERROR, TIMEOUT, 502, 503, 504]
hedging:
enabled: true threshold: p95 + 10ms cancel_extra_on_first_success: true circuit_breaker:
error_rate_threshold: 5%
p95_threshold_increase: 30%
half_open_after: 10s

Pullar va bulkhead’lar

yaml pools:
checkout:
max_conns: 256 per_host: 64 queue: 8 # small analytics queue:
max_conns: 64 queue: 4

Degradatsiya bilan javob

json
{
"status": "ok",
"profile": { "id": "u123", "name": "…"},
"recommendations": "degraded, "//disabled the heavy part
"served_from": "edge-cache",
"trace_id": "…"
}

Qo’llash keyslari

iGaming/moliya: to’lovni avtorizatsiya qilish <200 ms p95, limitlar/balans - mintaqaviy proyeksiyalardan o’qish, yozuvlar - versiyali idempotent.
Marketing/tavsiyalar: javoblar <100 ms p95, edge-dagi fich-bayroqlar keshi, modellar - dastlabki skoring + issiq yo’lda tezkor qoidalar.
Mobil mijozlar: HTTP/3, agressiv reuse konnektlari, qisqartirilgan payload (Protobuf), himoya taymautlari va offline-kesh.

Anti-patternlar

Vorkerlar oldida uzun navbatlar: «chiroyli o’rta» va o’ldirilgan p99.
Har bir qatlamdagi kaskadli retrajlar muvofiqlashtirilmaydi.
Nogironlik va isinishsiz global «mega-kesh».
Noaniq taymautlar (hamma joyda «andoza») - nazorat qilinmaydigan dumlar.
Butun trafik uchun bitta umumiy ulanish hovuzi - head-of-line blokirovka.
edge’da stateful effektlari bilan ogʻir mantiq.
Dumlarning o’chirilgan telemetriyasi - siz p99 ni «ko’rmayapsiz».

Ishlab chiqarish chek-varaqasi

Xoplar va taymautlar uchun kechikish byudjeti mavjud.
HTTP/2/3, TLS 1 kiritilgan. 3, konnektlar va warm-up pullari.
Kesh ierarxiyasi, issiq kalitlar roʻyxati va isitish strategiyasi.
O’qish-local/Write-global va issiq kalitlarni ajratish.
Aniq backpressure, kichik navbatlar, circuit-breakers va bulkhead’lar.
Jitter bilan retray, idempotentlik, cheklangan xedjing.
Mintaqa/versiya/mijoz belgilari bilan treysing; p95/p99 monitoringi.
ASN/mobail sintetikasi bilan perf-testlar, cold-start stsenariylari va chaos.
Buzilish va follbeklarning tartib-taomillari hujjatlashtirilgan.
p95/p99 haqiqiy yukda SLOga mos keladi.

FAQ

Nima uchun p99 o’rtachadan muhimroqdir?
Chunki foydalanuvchilar o’rtacha emas, balki dumlarga duch kelishadi. p99 ko’rsatadiki, «haqiqatan ham qancha og’riyapti».

Xedjingni hamma joyda yoqish kerakmi?
Yo’q. U tanqidiy yo’llarda va faqat qat’iy limitlar/idempotentlik holatlarida kam uchraydigan dumlar uchun foydalidir.

Sovuqni qanday kamaytirish mumkin?
Kesh/ulanishlarni isitish, oldindan kompilyatsiya qilish/JIT-isitish, lazy-boshlang’ichlarni minimallashtirish, warm-pula.

«Tarmoqni yengish» mumkinmi?
Qisman: HTTP/3, edge-POP, Anycast, ixcham payload, connection reuse va oqilona taymautlar.

Jami

Past kechikish arxitekturasi - bu kelishuv va intizom tizimi: kechikish byudjeti, ma’lumotlarning yaqinligi, kichik navbatlar, oldindan aytib bo’ladigan retralar, kesh-ierarxiyalar, to’g’ri protokollar va dumlarning shafqatsiz kuzatilishi. Ushbu printsiplarga amal qilib, siz p95/p99 ni barqarorlik qurbonlari va hamyonsiz ushlab turasiz.