Lider seçimi

1) Neden bir lidere ihtiyacınız var ve haklı olduğu zaman

Lider - kritik eylemleri gerçekleştirme hakkına sahip özel bir düğüm: bir taç/ETL başlatmak, parçaları koordine etmek, anahtarları dağıtmak, yapılandırmayı değiştirmek. Değişmeyenleri basitleştirir ('bir oyuncu "), ancak risk ekler (SPOF, yeniden seçim, gecikme).

• Yürütmenin benzersizliğine ihtiyaç duyar (örneğin, dakikada bir kez bir fatura toplayıcı);
• Değişikliklerin serileştirilmesi gerekir (yapılandırma kaydı, dağıtılmış kilitler)
• Küme protokolü liderlik replikasyonunu (Raft) varsayar.

• Sorun idempotans ve anahtarla düzen ile çözülür;
• İş çalma/kuyruklar yoluyla paralelleştirilebilir;
• "Lider'tek dar nokta haline gelir (geniş fan-in).

2) Temel model: kiralama + çekirdek + dönem

Şartlar

Kiralama: Liderin T saniye hakkı vardır; yenilenmelidir.
Kalp atışı: periyodik uzatma/canlı sinyal.
Dönem/Dönem: Monoton bir şekilde büyüyen liderlik sayısı. "Eski" liderlerin tanınmasına yardımcı olur.
Eskrim belirteci: Kaynak tüketicisinin (veritabanı/depolama) eski liderin işlemlerini kontrol ettiği ve reddettiği aynı monoton numara.

Değişmezler

Herhangi bir zamanda, birden fazla gerçek lider (güvenlik).
Başarısızlık durumunda, ilerleme mümkündür: makul bir sürede yeni bir tane (canlılık) seçilir.
Lider operasyonlarına bir çağ eşlik ediyor; Sinky sadece yeni dönemleri kabul eder.

3) Algoritmalara ve protokollere genel bakış

3. 1 Sal (Liderlik Replikasyonu)

Durum: Takipçi - Aday - Lider.
Zamanlayıcılar: rastgele seçim zaman aşımı (jitter), RequestVote; Lider, AppendEntry'leri kalp atışı olarak tutar.
Garanti: Yeterli çoğunluk, standart önkoşullar altında bölünmüş beyin yok, mantıksal monotonluk (terim/indeks) ile kayıt defteri.

3. 2 Paxos/Tek Kararname/Çoklu Paxos

Konsensüsün teorik temeli; Pratikte - varyasyonlar (örneğin, Multi-Paxos) bir "seçilmiş koordinatör" (lider analog) ile.
Doğrudan uygulanması daha zor; Hazır uygulamalar/kütüphaneler daha sık kullanılır.

3. 3 ZAB (ZooKeeper Atom Yayını)

ZK mekanizması: Kurtarma aşamaları ile liderlik dergisi replikasyonu; Liderlik gibi ilkeller için dönemler (zxid) ve sıralı geçici düğümler.

3. 4 Zorba/Chang-Roberts (Yüzükler/Monarch)

Yeterli çoğunluğa sahip olmayan statik topolojiler için "eğitim" algoritmaları. Kısmi ağ arızalarını/bölümlerini dikkate almayın - satışlarda geçerli değildir.

4) Pratik platformlar

4. 1 ZooKeeper

EPHEMERAL_SEQUENTIAL desen: süreç'/leader/lock-XXXX 'oluşturur, minimum sayı liderdir.
Oturum kaybı ⇒ düğüm kaybolur ⇒ yeniden seçim anlıktır.
"Selefi" beklemek yoluyla adalet.

4. 2 etcd (Sal)

Kümelenme düzeyinde yerel liderlik; Uygulamalar için - etcd eşzamanlılığı: 'Oturum + Mutex/Seçim'.
Kira-kimlik с TTL, keepalive; Bir dönemi anahtar bir değerde depolayabilirsiniz.

4. 3 Konsolos

'session' + 'KV acquire': anahtarı tutan kişi liderdir. Seansta TTL/kalp atışı.

4. 4 Kubernetes

Kiralama koordinasyonu API ('koordinasyonu. K8s. io/v1 '): ресурс' Lease'c 'holderIdentity', 'lease' DurationSeconds ',' renew 'Time'.
İstemci kütüphanesi 'ön seçim' (istemci-go) yakalama/yenileme uygular; Lider kapsülleri için ideal.

5) "Güvenli'bir lider nasıl oluşturulur

5. 1 Dönemi ve eskrim tutun

Her kurşun dönemi artırır (örn. etcd/ZK revizyonu zxid veya ayrı sayaç).

sql
UPDATE cron_state
SET last_run = now(), last_epoch =:epoch
WHERE name = 'daily-rollup' AND:epoch > last_epoch;

Eski lider (bölünmüş beyinden sonra) reddedilecektir.

5. 2 Zamanlamalar

'LeaseDuration' ≥ '2-3 × heartbeatInterval + network + p99 GC pause'.
Seçim zaman aşımı - adayların çarpışmaması için randomize (jitter).
Yenileme kaybedilirse, kritik işlemleri derhal durdurun.

5. 3 Kimlik

'holderId = node # pid # startTime # rand'. Güncellerken/çıkarırken, aynı tutucuyu kontrol edin.

5. 4 Gözetmenler

Tüm takipçiler 'Kiralama/Seçim' değişikliklerine abone olur ve duruma göre başlatır/durdurur.

6) Uygulamalar: fragmanlar

6. 1 Kubernetes (Git)

go import "k8s. io/client-go/tools/leaderelection"

lec:= leaderelection. LeaderElectionConfig{
Lock: &rl. LeaseLock{
LeaseMeta: metav1. ObjectMeta{Name: "jobs-leader", Namespace: "prod"},
Client:  coordClient,
LockConfig: rl. ResourceLockConfig{Identity: podName},
},
LeaseDuration: 15 time. Second,
RenewDeadline: 10 time. Second,
RetryPeriod:  2 time. Second,
Callbacks: leaderelection. LeaderCallbacks{
OnStartedLeading: func(ctx context. Context) { runLeader(ctx) },
OnStoppedLeading: func() { stopLeader() },
},
}
leaderelection. RunOrDie(context. Background(), lec)

6. 2 etcd (Git)

go cli, _:= clientv3. New(...)
sess, _:= concurrency. NewSession(cli, concurrency. WithTTL(10))
e:= concurrency. NewElection(sess, "/election/rollup")
_ = e. Campaign (ctx, podID )//blocking call epoch: = sess. Lease ()//use as part of fencing defer e. Resign(ctx)

6. 3 ZooKeeper (Java, Küratör)

java
LeaderSelector selector = new LeaderSelector(client, "/leaders/rollup", listener);
selector. autoRequeue();
selector. start(); // listener. enterLeadership () performs leader work with try/finally

7) Yeniden seçimler ve hizmet bozulması

Liderin keskin flappings - grafiklerde "balık kılçığı". LeaseDuration/renewDeadline değerini artırarak ve GC/CPU testerelerini ortadan kaldırarak işlenir.
Yeniden seçim dönemi için, brownout'u etkinleştirin: arka plan görevlerinin yoğunluğunu azaltın veya bunları onaylanmış bir liderliğe tamamen dondurun.
Uzun işler için, lider değişikliğinden sonra kontrol noktaları + idempotent dokat yapın.

8) Bölünmüş beyin: Nasıl dışarıda kalınır

CP depolarını (etcd/ZK/Consul) quorum ile kullanın; Yeterli çoğunluk olmadan bir lideri alamazsın.
Yeterli çoğunluk hakemi olmadan asla bir AP önbelleğinde liderlik oluşturmayın.
CP modelinde bile, kaynak seviyesinde eskrim yapmaya devam edin - bu, nadir anormal senaryolara (duraklamalar, sıkışmış sürücüler) karşı sigortadır.

9) Gözlemlenebilirlik ve çalışma

Metrikler

'leadership _ is _ leader {app}' (gauge 0/1).
'election _ total {result = won' lost 'resign}'.
'lease _ renew _ latency _ ms {p50, p95, p99}', 'lease _ renew _ fail _ total'.
'epoch _ value' (küme monotonluğu).
'flaps _ total', pencere başına lider kayma sayısıdır.
ZK/etcd için: çoğaltma gecikmesi, çekirdek sağlığı.

Uyarılar

Sık kurşun değişimi (bir saat içinde> N).
Yenileme hataları 'yenile'/yüksek p99.
Dönem ölçülemezliği (farklı düğümlerde iki farklı dönem).
X saniyeden daha uzun bir lider yoktur (işletme izin vermiyorsa).

Günlükler/İzler

Bağlantı olayları: 'epoch', 'holderId', 'reason' (kayıp kiralama, oturum süresi dolmuş), 'duration _ ms'.

10) Test oyun kitapları (Oyun Günleri)

Bölme: 2 bölge arasındaki ağı kırın - liderliğe yalnızca çoğunluk kısmında izin verilir.
GC-stop: yapay olarak lideri 5-10 saniye durdurun - kira sözleşmesini kaybetmeli ve çalışmayı bırakmalıdır.
Saat eğriltme/sürüklenme: Doğruluğun duvar saatine bağlı olmadığından emin olun (eskrim/dönem kaydedilir).
Kill -9: Ani lider çökmesi - yeni lider ≤ kiralama süresi.
Yavaş depolama: Diskleri yavaşlat/Raft günlüğü - seçim zamanını tahmin et, hata ayıklama zamanlamaları.

11) Anti-desenler

Redis 'SET NX PX' aracılığıyla "Lider", eskrim ve yeterli çoğunluk olmadan.
'leaseDuration' kritik işlem süresinin p99'undan küçüktür.
Liderliği kaybettikten sonra çalışmayı durdurmak/devam ettirmek ("Bir dakikayı bitireceğim").
Seçim zamanlayıcılarında titreme eksikliği - seçim fırtınası.
Kontrol noktası olmayan tek bir uzun iş - her kapak sıfırdan bir tekrarla sonuçlanır.
Geri dönüş olmadan liderlik ve trafik yönlendirmesinin (yapışkan) yakın bağlantısı - kapaklı dipler 5xx olsun.

12) Uygulama kontrol listesi

• Seçilen yeterli çoğunluk hakemi etcd/ZK/Consul/K8s Lease'dir.
• Saklayın ve tüm lider yan etkileri içine epoch/eskrim geçmek.
• Yapılandırılmış zamanlamalar ağ/GC marjı ile 'leaseDuration', 'renewDeadline', 'retryPeriod'dur.
• Yerleşik gözlemciler ve liderlik kaybolduğunda doğru kapanma.
• Liderlik görevleri idempotent ve kontrol noktasıdır.
• Metrikler/uyarılar ve günlüğe kaydetme 'epoch/holderId' etkinleştirildi.
• Düzenlenen oyun günleri: bölüm, GC-stop, öldürmek, saat eğrilmesi.

Politikacılar belgelenmiştir: Liderin kim/ne yaptığı, yerine kimin geçebileceği, dönem çatışmalarının nasıl çözüleceği.
Bozulma Planı: Lidersiz bir sistem ne yapar?

• Performans testi: Yük altındaki kanatçıklar SLO'yu yok etmez.

13) SSS

S: Yeterli çoğunluk olmadan liderlik inşa edilebilir mi?
A: Prod olarak, hayır. Bir CP bileşenine (quorum) veya eşdeğer garantilere sahip bir bulut hizmetine ihtiyacınız var.

S: Kiralama varsa neden dönem?
C: Kiralama hayatta kalabilirlik sağlar, ancak ayrılık/duraklamalardan sonra'eski lider'e karşı koruma sağlamaz. Çağ/eskrim, eski liderin etkilerini geçersiz kılar.

S: K8s zamanlamaların varsayılanları nelerdir?
C: Genellikle 'LeaseDuration≈15s', 'RenewDeadline≈10s', 'RetryPeriod≈2s' kullanılır. P99 yükünüzü ve GC'nizi eşleştirin.

S: Liderliği yerel olarak nasıl test ediyorsunuz?
C: 3-5 örnek çalıştırın, ağı taklit edin (tc/netem), duraklatın (SIGSTOP), lideri öldürün (SIGKILL), metrikleri/günlükleri/dönemleri kontrol edin.

S: Liderleri değiştirirken uzun görevlerle ne yapmalı?
A: Checkpoint + idempotent docat; Liderlik kaybı durumunda - kaynakların derhal durdurulması ve serbest bırakılması.

14) Toplam

Güvenilir bir lider seçimi, bir çoğunluk hakemi + dönemin disiplinidir. Liderliği bir kalp atışı ile bir kiralama olarak tutun, bir eskrim belirteci ile tüm etkileri atın, bir marj ile zamanlamaları ayarlayın, liderin görevlerini idempotent ve gözlemlenebilir hale getirin, düzenli olarak çökmeleri kaybedin. O zaman'bir ve sadece bir "icracı bir slogan değil, duraklamalara, ağ kaprislerine ve insan hatalarına karşı dirençli bir garanti olacaktır.