Operasyonlarda yük dengeleme

1) İşletme ekibinin neden dengelemeyi yönetmesi gerekiyor?

Yük dengeleme sadece sorgu dağıtımı ile ilgili değildir. Bu bir risk ve performans yönetimi katmanıdır: Başarısızlık yarıçapını, öngörülebilir gecikmeyi, ölçek ekonomilerini, "gürültülü komşuların" izolasyonunu, SLO'ların yürütülmesi üzerindeki doğrudan etkiyi ve olayların maliyetini sınırlar.

2) Dengeleme Katmanları: Ağdan İşletmeye İşlemler

L3/L4 (IP/port): basit ve hızlı (DSR, ECMP, IPVS, LVS). TCP/UDP hizmetleri, aracılar, kapılar için idealdir.
L7 (HTTP/gRPC/WebSocket): yol/üstbilgi/meta veri yönlendirme; Kanarya, A/B, coğrafi ve müşteri farkındalığı politikası.
GSLB/GeoDNS/Anycast: Bölgeye/RoR'a göre küresel dağılım, gecikme, yakınlık ve bölgesel sağlık.
Hizmet içi dengeleme: hizmet keşfine sahip istemciler (xDS, Consul, Eureka), istemci dengeleyiciler (gRPC pick_first/round_robin), servis ağı.

3) Dağıtım algoritmaları ve ne zaman uygulanacağı

Round-Robin (RR): Homojen düğümler ve kısa sorgular için basit temel durum.
En Az Bağlantı (LC): Farklı sorgu süreleri için daha iyi.
En Az İstek/En Yüksek EWMA: "Uzun" istekler ve gürültü için gecikmeyi uyarlamalı olarak azaltır.
Ağırlıklı RR/LC: Düğümlerin veya "maliyet korkuluklarının" gücünü dikkate alır.
Tutarlı Karma (Buluşma/Maglev): Yapışkan tuşlar (kullanıcı, masa/oda, sepet) için ölçekleme sırasında yeniden yönlendirmeyi azaltır.
İki Seçeneğin Gücü: Daha az telemetri ile yüksek yük altında iyi LC yaklaşımı.
Hedged/Retry Bütçeli Talepler: p99 için bütçeyi yeniden ödeme ile paralel yakalama istekleri.

4) Oturumlar, durum ve yapışkanlık

Yapışkan oturumlar (çerez/IP/tanımlayıcı) - önbellek yerel olarak doldurulduğunda veya durumsal bir bağlam olduğunda (örneğin, iGaming'de canlı bir tablo).
Eksileri: Hotspot etkisi, düğümleri tahliye etmek daha zordur.
Çözüm: Kısa TTL yapışkanlık, harici mağazalara (Redis, oturum mağazası) devlet transferi, paylaşımlı-hiçbir şey ve mümkünse olay-kaynak kullanımı.

5) Sağlık kontrolleri ve çırpmaya karşı koruma

200 başarı yerine L7 içerik kontrolleri (gövde/başlık ile asssert).
Birleştirilmiş örnekler: Farklı zaman aşımlarıyla TCP + HTTP + dahili'/hazır '.
Debowns: n başarısızlık - istisna; m başarılar - havuza dönüş.
Aykırı algılama - yüksek hata oranı/gecikme süresi (çıkarma) olan düğümlerin otomatik olarak dışlanması.

6) Zaman aşımı, Retray ve Backpressure politikaları

Bütçe odaklı geri ödemeler: Toplam kullanıcı süresinin sınırlandırılması (örneğin, 800 ms SLA> yeniden kullanılabilir 2 × 200 ms + marj).
Devre Kesiciler: eşzamanlı istekleri/bağlantıları/hataları sınırlayın.
Kotalar/Oran Sınırları: En uç noktada varsayılan "kiracı başına/IP başına/anahtar başına" sınırları.
Sunucu tarafı kuyruklama: kısa kuyruklar veya gecikme kuyruğunu "overclock" etmemek için bariz bozulma ile başarısızlık.

7) Küresel dengeleme ve hata toleransı

Coğrafi yönlendirme: gecikme tabanlı, müşteri bölgesi, sağlık.
Anycast + health-probs: PoP düşerken rotaların anlık yakınsaması.

Yük devretme hiyerarşisi: RoR - bölge - oblako; Soğuk/sıcak/sıcak DR

Trafik Bölümleme: ürün/yasal izolasyonlar (ülkeler, ödeme sağlayıcıları, VIP segmentleri).

8) Konular ve gerçek zamanlı dengeleme

WebSocket/SSE/gRPC-stream: uzun süreli bağlantılar - monitör bağlantıları/düğümü, ölçeklendirmede yeniden dağıtım.
Tutarlı hashing yoluyla kullanıcı tarafından veya oda/masa tarafından yapışkan.
Drenaj/PreStop Kancaları: Serbest bırakma ve otomatik ölçekleme sırasında bağlantıları doğru şekilde tahliye edin.

9) Çevrede güvenlik

TLS sonlandırma, HSTS, ALPN; Doğu-batı için mTLS.
WAF/bot yönetiminden uygulama dengeleyicisine.
DDoS - защита: hız limitleri, meydan okuma-/proof-of-work, upstream ovma.
Kod olarak politikalar (OPA/Kyverno/Envoy RBAC).

10) Dengeleme için gözlemlenebilirlik ve SLO

SLI: başarılı istekler, hata/sn, p50/p95/p99 gecikme, saturasyonlar (CPU/conn/epoll).
Arka uç başına metrikler: istek oranı, hata oranı, EWMA gecikmesi - algoritmalara girdi.
L7 günlükleri: bültenler (ek açıklamalar), özellik bayrakları, kanaryalar ile ilişkilidir.
Allerts: hata bütçesinin yanma oranına göre ve müşterinin semptomlarına göre (dış sentetikler).

11) Otomatik ölçeklendirme ve maliyet verimliliği

HPA/VPA/KEDA: RPS ile ölçeklendirme, kuyruklar, kullanıcı metrikleri.
Maliyete göre ağırlıklı yönlendirme: Daha ucuz bölgeler/bulutlar normal yük altında daha fazla ağırlık alır.
Sıcak havuzlar/ısıtılmış: Soğuk bir başlangıcı "yakalamamak" için önceden ısıtılmış örnekler.

12) Değişim Yönetimi: kanarya, gölge, mavi-yeşil

Kanarya rotası: %1 - %5 - %25, SLO bozulması altında otomatik durdurma ile.
Gölge trafiği: İstemciye yanıt vermeden istekleri yeni sürüme çoğaltın (doğrulama için).
Mavi-Yeşil: VIP/yönlendirme masası anında anahtarlama; hızlı geri dönüş.

13) Yapılandırma ve GitOps

Tek bir doğruluk kaynağı: rotalar, ağırlıklar, zaman aşımı ve sınır politikaları - depoda.
Aynı boru hattı ile Çarşamba günleri konfigürasyonun teşviki (dev ^ stage ^ prod).
Doğrulama ve yapılandırma testleri: linters, dry-run, trafik haritası simülasyonu.

14) Özel durumlar (düzenlenmiş alanlar)

Ödeme/CCS sağlayıcıları: paralel kanallar, kalite/yanıt süresine göre geçiş; Sağlayıcı başına SLO.
Çok yetki alanları: coğrafi yönlendirme, ülkelere göre içerik/sınır politikası.
VIP segmentleri: bireysel ağırlıklar/kanallar, yükseltilmiş SLO'lar, UX bozulması "tutamaçlar".

15) Anti-desenler

Bir dengeleyici'tek başarısızlık noktası'olarak.
NAT'ın arkasındaki IP üzerinden yapışkan - "yapışkan" kümeler ve trafik eğrilmesi.
Ağır/uzun istekler için Evrensel RR - p99 kuyruk büyümesi.
Bütçesiz ve idempotency olmayan geri çekilmeler bir istek fırtınasıdır.
Uygulama çalışmadığında yalnızca TCP -'yeşil "sağlık kontrolü yapın.
TTL olmadan "Ebedi" yapıştırıcı oturumları - düğümleri tahliye edememe.
Yapılandırmalar, inceleme ve tanıtım olmadan manuel olarak düzenlenir - sürüklenme ve olaylar.

16) Uygulama kontrol listesi

• Seçilen seviye: L4/L7/GSLB, tanımlanmış hedefler ve sorumluluklar.
• Dağıtım algoritması yük profiline karşılık gelir (EWMA/LC/Hash).
• Durumsal bağlamın gerekli olduğu tutarlı karma.
• Kombine sağlık kontrolleri, aykırı-fırlatma, debunks.
• Zaman aşımları/geri çekilmeler/sınırlar - bir kod gibi, zaman bütçeleri ile.
• Arka uç ve istemci sentetikleri başına gözlemlenebilirlik; yanma oranı uyarıları.
• Kanarya/mavi-yeşil + gölge trafik; hızlı geri dönüş.
• Yapılandırmalar için GitOps; Kuru çalıştırma ve rota testleri.
• DR planı ve yük devretme hiyerarşisi (RoR - bölge - oblako).
• VIP/yasal kohort ve sağlayıcıların izolasyonu.

17) Mimari akış örneği

1. GSLB (latency-based), müşteriyi en yakın sağlıklı bölgeye yönlendirir.
2. Edge/L7 dengeleyici WAF, TLS, oran sınırları, %5 kanarya uygular.
3. Servis ağı, aykırı değerler hariç LC + EWMA ile sahalara dağıtılır.
4. Gerçek zamanlı tablolar için - 'table _ id'ile tutarlı karma, yapışkan TTL 10 dk.
5. HPA, ön uçları RPS ve kuyruklar arasında ölçeklendirir; Sıcak havuz - soğuk başlangıç yok.
6. Gözlenebilirlik: pano p50/p95/p99, hata oranı, doygunluk, yanma oranı.
7. Bozulma durumunda: Otomatik çıkarma düğümleri, kanarya azaltma, yedek bir sağlayıcıya geçiş, sürüm geri alma.

18) Alt satır

Yük dengeleme, ağ, uygulama, veri ve iş SLO'larını birbirine bağlayan operasyonel bir disiplindir. Düzgün seçilmiş seviye (L4/L7/GSLB), yeterli algoritmalar, sıkı sağlık kontrolleri, zaman aşımı ve yeniden ödeme politikaları, gözlemlenebilirlik ve GitOps yönetimi, "ayarlarla kutudan'bir dengelemeyi, hizmetlerin sürdürülebilir ve ekonomik bir şekilde sunulması için bir mekanizmaya dönüştürür.