Операциялардағы жүктемені теңгерімдеу

1) Операциялық команда теңгерімді басқарудың қажеті

Жүктемені теңгерімдеу - бұл тек сұрау салуларды бөлу ғана емес. Бұл тәуекелдер мен өнімділікті басқару қабаты: істен шығу радиусын шектеу, болжамды жасырындылық, масштабтауға үнемдеу, «шулы көршілерді» оқшаулау, SLO-ны орындауға тікелей әсер ету және инциденттердің құны.

2) Теңгерім қабаттары: желіден бизнес-операцияларға

L3/L4 (IP/порт): қарапайым және жылдам (DSR, ECMP, IPVS, LVS). TCP/UDP-сервистері, брокерлері, гейттері үшін тамаша.
L7 (HTTP/gRPC/WebSocket): жол/тақырып/метадеректер бойынша бағыттау; canary, A/B, гео- және клиент-aware саясаты.
GSLB/GeoDNS/Anycast: өңірлер бойынша жаһандық бөлу/ӨР, өңірлердің кідірісін, жақындығы мен денсаулығын есепке алу.
Ішкі сервистік теңгерім: service discovery (xDS, Consul, Eureka) бар клиенттер, клиенттік теңгерімдеушілер (gRPC pick_first/round_robin), service mesh.

3) Тарату алгоритмдері және оларды қашан қолдану

Round-Robin (RR): біртекті тораптар мен қысқа сұраулар кезінде қарапайым базалық нұсқа.
Least Connections (LC): сұраныстардың ұзақтығы әртүрлі болғанда жақсы.
Least Request/Peak EWMA: «ұзақ» сұраулар мен шу кезінде жасырындылықты бейімдеп төмендетеді.
Weighted RR/LC: түйіндердің немесе «cost guardrails» қуатын ескереді.
Consistent Hashing (Rendezvous/Maglev): sticky кілттері үшін (пайдаланушы, үстел/бөлме, себет), масштабтау кезінде қайта шарлауды азайтады.
Power of Two Choices: аз телеметриямен жоғары жүктеме кезінде LC жақсы жақындату.
Hedged/Retry Budgeted Requests: p99 үшін ретра бюджетімен параллель қуып жету сұраулары.

4) Сессиялар, жай-күйі және желімділігі

Sticky-сессиялар (cookie/IP/идентификатор) - кэш жергілікті тұрғанда немесе stateful-контексті болғанда (мысалы, iGaming live-үстелі).
Кемшіліктері: hotspot-әсері, түйіндерді эвакуациялау қиынырақ.
Шешім: қысқа TTL жабысқақтығы, сыртқы қоймаларға күй шығару (Redis, session store), shared-nothing және event-sourcing.

5) Health-checks және флаппингтен қорғау

L7 контенттік тексерулері (дене/тақырып бойынша asssert) «200-сәттілік» орнына.
Құрама сынамалар: ТСР + НТТР + ішкі '/ready 'әртүрлі таймауттармен.
Дебаунс: n сәтсіздіктер → ерекшелік; m табыстар → пулға қайта оралу.
Outlier detection: жоғары error-rate/жасырындылығы бар тораптарды автоматты түрде алып тастау (ejection).

6) Таймауттар, ретрайлер және backpressure саясаты

Budget-бағдарланған ретра: пайдаланушының жиынтық уақытын шектеу (мысалы, 800 мс SLA → retriable 2 × 200 мс + қор).
Circuit Breakers: Бір мезгілдегі сұрауларды/қосылымдарды/қателерді шектеу.
Quotas/Rate Limits: шетіндегі дефолттық «пер-тенант/пер-IP/пер-кілт» лимиттері.
Server-side queueing: қысқа кезектер немесе жасырындылықтың құйрығын «тездетпеу» үшін анық деградациядан бас тарту.

7) Жаһандық теңгерім және істен шығу тұрақтылығы

Geo-routing: кідіріс бойынша (latency-based), клиенттің аймағы бойынша, денсаулық бойынша.
Anycast + health-probes: PoP құлаған кездегі маршруттардың жедел конвергенциясы.
Failover-иерархиясы: PoR → өңір → бұлт; салқын/жылы/ыстық DR.
Traffic Partitioning: азық-түлік/заңды оқшаулау (елдер, төлем провайдерлері, VIP-сегменттер).

8) Ағындар мен нақты уақыт үшін теңгерім

WebSocket/SSE/gRPC-stream: ұзақ мерзімді қосылымдар → қосылымдарды/торапты, scale-out кезінде қайта бөлуді қадағалаңыз.
Консистенттік хеширлеу арқылы пайдаланушы немесе бөлме/үстел бойынша Sticky.
Drain/PreStop Hooks: релизде және автоскейлде қосылымдарды дұрыс шығару.

9) Периметрдегі қауіпсіздік

TLS-терминация, HSTS, ALPN; mTLS east-west үшін.
WAF/бот менеджменті қолданбаларды теңгерушіге дейін.
DDoS-защита: rate-limits, challenge-/proof-of-work, upstream scrubbing.
Саясат код ретінде (OPA/Kyverno/Envoy RBAC).

10) Бақылау және теңгеру үшін SLO

SLI: сәтті сұраулар, қате/сек, p50/p95/p99 жасырындылық, saturations (CPU/conn/epoll).
Per-backend метрикасы: request rate, error rate, EWMA-latency → алгоритмдерге кіру.
L7 логтары: релиздермен (аннотациялармен), фич-жалаулармен, канарейкалармен үйлестіріңіз.
Аллерты: burn-rate бюджет қателері бойынша және клиенттің белгілері бойынша (сыртқы синтетика).

11) Автоскейлинг және cost-тиімділік

HPA/VPA/KEDA: RPS, кезектер, пайдаланушы өлшемдері бойынша масштабтау.
Weighted-routing құны бойынша: арзан өңірлер/бұлттар қалыпты жүктеме кезінде үлкен салмақ алады.
Warm pools/жылыту: суық басталуды «ұстамау» үшін алдын ала қыздырылған үлгілер.

12) Өзгерістерді басқару: canary, shadow, blue-green

Canary-маршруттау: 1% → 5% → 25% SLO бойынша деградация кезінде авто-тоқпен.
Shadow traffic: сұрауларды клиентке жауапсыз жаңа нұсқаға қайталау (валидация үшін).
Blue-Green: VIP/маршруттау кестесін жылдам ауыстырып қосу; тез қайту.

13) Конфигурация және GitOps

Шындықтың бірыңғай көзі: маршруттар, салмақтар, таймауттар мен лимиттер саясаты - репозиторийде.
Ортадағы конфигурацияны (dev → stage → prod) сол пайплаймен жылжыту.
Валидация және конфигурация тестілері: линтерлер, dry-run, трафик карталарын симуляциялау.

14) Жеке кейстер (реттелетін домендер)

Төлем/АҚК-провайдерлері: қатарлас арналар, жауап сапасы/уақыты бойынша қайта қосу; per-провайдер SLO.
Мульти-юрисдикциялар: гео-бағыттау, ел бойынша контент/лимиттер саясаты.
VIP-сегменттер: жеке салмақтар/арналар, жоғары SLO, UX деградациясының «тұтқалары».

15) Қарсы үлгілер

Бір теңгеруші «істен шығудың жалғыз нүктесі» ретінде.
NAT үшін IP бойынша Sticky - «жабысқақ» кластер және трафиктің ауытқуы.
Ауыр/ұзын сұраныстарда әмбебап RR - p99 қалдықтарының өсуі.
Ретраялар бюджетсіз және теңсіздіксіз - сұраулар дауылы.
Health-check тек TCP - бағдарламасы жұмыс істемей тұрғанда «жасыл».
TTL-сіз «мәңгілік» жабысқақ сессиялар - тораптарды эвакуациялаудың мүмкін еместігі.
Конфигалар қолмен, жылтыраусыз және промоциясыз - дрейф пен инциденттер арқылы басқарылады.

16) Енгізу чек-парағы

• Деңгей таңдалды: L4/L7/GSLB, мақсаттар мен жауапкершілік аймақтары анықталды.
• Тарату алгоритмі жүктеме профиліне (EWMA/LC/Hash) сәйкес келеді.
• stateful-контекст қажет болған жерде консистенттік хеширлеу.
• Құрама health-checks, outlier-ejection, дебаунс.
• Таймауттар/ретраилер/лимиттер - уақыт бюджеттерімен код ретінде.
• per-backend бақылау және клиенттік синтетика; burn-rate алерта.
• Canary/blue-green + shadow traffic; тез қайту.
• Конфигурациялар үшін GitOps; dry-run және бағыт тестілері.
• DR жоспары және failover иерархиясы (РоР → өңір → бұлт).
• VIP/заңды қоғамдар мен провайдерлерді оқшаулау.

17) Сәулет ағынының үлгісі

1. GSLB (latency-based) клиентті ең жақын сау аймаққа жібереді.
2. Edge/L7-теңгеруші WAF, TLS, rate-limits, 5% канарейка қолданады.
3. Service mesh outliers қоспағанда, LC + EWMA бар поездар бойынша таратады.
4. Шынайы уақыт үстелдері үшін - consistent hashing бойынша 'table _ id', sticky TTL 10 мин.
5. HPA frontends RPS және кезектер бойынша кеңейтеді; warm pool → суық бастау жоқ.
6. Бақылануы: дашборд p50/p95/p99, error-rate, saturations, burn-rate.
7. Деградация кезінде: auto-eject түйіндері, канарейка кішірейтілуі, қосалқы провайдерге ауысу, нұсқаны қайтару.

18) Қорытынды

Жүктемені теңгерімдеу - бұл желіні, қосымшаны, деректерді және бизнес-SLO біріктіретін операциялық пән. Дұрыс таңдалған деңгей (L4/L7/GSLB), барабар алгоритмдер, қатаң health-checks, таймауттар мен ретрайлер саясаты, бақылау және GitOps-басқару теңгерімді «баптау қорабынан» сервистерді тұрақты және үнемді жеткізу тетігіне айналдырады.