Wybór lidera

1) Dlaczego potrzebujesz lidera i kiedy jest on w ogóle uzasadniony

Leader - węzeł, który ma wyłączne prawo do wykonywania działań krytycznych: uruchomienie korony/ETL, koordynowanie odłamków, dystrybucja klawiszy, zmiana konfiguracji. Upraszcza stałych („jeden wykonawca”), ale dodaje ryzyko (SPOF, reelekcja, lag).

• potrzebna jest wyjątkowość wykonania (na przykład agregator rozliczeniowy raz na minutę);
• Zmiany muszą być serializowane (rejestr konfiguracji, blokady rozproszone)
• protokół klastra zakłada powielanie przywództwa (tratwa).

• problem jest rozwiązany przez idempotencję i porządek przez klucz;
• mogą być równoległe poprzez kradzież pracy/kolejki;
• „lider” staje się jedynym wąskim punktem (szeroki wentylator).

2) Model bazowy: dzierżawa + kworum + epoka

Warunki

Dzierżawa: Lider ma prawo do T sekund; musi się odnowić.
Bicie serca: okresowe przedłużenie/sygnał żywy.
Epoka/termin: monotonnie rosnąca liczba przywódców. Pomaga rozpoznać „starych” przywódców.
Token ogrodzenia: ten sam numer monotonny, który konsument zasobów (baza danych/magazynowanie) sprawdza i odrzuca operacje starego lidera.

Niezmiennicy

W każdej chwili nie więcej niż jeden rzeczywisty lider (bezpieczeństwo).
W przypadku niepowodzenia postęp jest możliwy: nowy (los) jest wybierany w rozsądnym czasie.
Operacjom liderów towarzyszy epoka; sinky akceptują tylko nowsze epoki.

3) Przegląd algorytmów i protokołów

3. 1 Tratwa (powielanie przywództwa)

Status: Zwolennik → Kandydat → Lider.
Timers: losowy czas wyborów (jitter), Głosowanie; Przywódca posiada AppendEntries jako bicie serca.
Gwarancje: kworum, brak podziału mózgu pod standardowymi warunkami, dziennik z logiczną monotonią (term/index).

3. 2 Paxos/Single-Decree/Multi-Paxos

Teoretyczne podstawy konsensusu; w praktyce - wariacje (np. Multi-Paxos) z „wybranym koordynatorem” (analogiem lidera).
Trudniejsze do wdrożenia bezpośrednio; częściej stosuje się gotowe implementacje/biblioteki.

3. 3 ا( ZooKeeper Atomic Broadcast)

Mechanizm ZK: powielanie dziennika przywództwa z fazami odzysku; epoki (zxid) i sekwencyjne węzły efemeryczne dla prymitywnych, takich jak przywództwo.

3. 4 Bully/Chang-Roberts (pierścienie/monarcha)

Algorytmy „treningowe” dla topologii statycznych bez kworum. Nie bierz pod uwagę częściowych awarii/partycji sieci - nie mają zastosowania w sprzedaży.

4) Platformy praktyczne

4. 1 ZooKeeper

wzór EPHEMERAL_SEQUENTIAL: proces tworzy '/leader/lock-XXXX ', minimalną liczbą jest lider.
Utrata węzła sesyjnego zniknie.
Sprawiedliwość przez czekanie na „poprzednika”.

4. 2 etcd (tratwa)

Rodzime przywództwo na samym poziomie klastra; dla zgłoszeń - itcd współistnienie: „Sesja + Mutex/Wybory”.
Identyfikator dzierżawy, TTL, żywy; Można zapisać epokę w wartości klucza.

4. 3 Konsul

„sesja” + „KV nabyć”: kto posiada klucz jest liderem. TTL/bicie serca w sesji.

4. 4 Kubernety

Dzierżawa koordynacji API ("koordynacja. k8s. io/v1 "): рестра" Dzierżawa "c" Tożsamość "," lei "," renewTime ".
Biblioteka kliencka 'leaderelection' (client-go) wdraża przechwytywanie/odnawianie; idealny dla liderów-strąków.

5) Jak zbudować „bezpiecznego” lidera

5. 1 Zachowaj erę i ogrodzenia

Każdy ołów zwiększa epokę (np. etcd/ZK wersja zxid lub oddzielny licznik).

sql
UPDATE cron_state
SET last_run = now(), last_epoch =:epoch
WHERE name = 'daily-rollup' AND:epoch > last_epoch;

Stary przywódca (po podziale mózgu) zostanie odrzucony.

5. 2 Terminy

„Czas trwania” ≥ „2-3 × uderzenia serca + sieć + pauza p99 GC”.
Czas wyborów - randomizacja (jitter), aby kandydaci nie zderzali się.
Jeśli odnowienie zostanie utracone, natychmiast wstrzymać operacje krytyczne.

5. 3 Tożsamość

'holderId = węzeł # pid # startTime # rand'. Podczas aktualizacji/usuwania należy sprawdzić ten sam uchwyt.

5. 4 Obserwatorzy

Wszyscy zwolennicy zapisują się do 'Dzierżawa/Wybory' zmiany i start/stop zgodnie ze statusem.

6) Implementacje: fragmenty

6. 1 Kubernety (Go)

go import "k8s. io/client-go/tools/leaderelection"

lec:= leaderelection. LeaderElectionConfig{
Lock: &rl. LeaseLock{
LeaseMeta: metav1. ObjectMeta{Name: "jobs-leader", Namespace: "prod"},
Client:  coordClient,
LockConfig: rl. ResourceLockConfig{Identity: podName},
},
LeaseDuration: 15 time. Second,
RenewDeadline: 10 time. Second,
RetryPeriod:  2 time. Second,
Callbacks: leaderelection. LeaderCallbacks{
OnStartedLeading: func(ctx context. Context) { runLeader(ctx) },
OnStoppedLeading: func() { stopLeader() },
},
}
leaderelection. RunOrDie(context. Background(), lec)

6. 2 etcd (Go)

go cli, _:= clientv3. New(...)
sess, _:= concurrency. NewSession(cli, concurrency. WithTTL(10))
e:= concurrency. NewElection(sess, "/election/rollup")
_ = e. Campaign (ctx, podID )//blocking call epoch: = sess. Lease ()//use as part of fencing defer e. Resign(ctx)

6. 3 ZooKeeper (Java, kurator)

java
LeaderSelector selector = new LeaderSelector(client, "/leaders/rollup", listener);
selector. autoRequeue();
selector. start(); // listener. enterLeadership () performs leader work with try/finally

7) Reelekcje i degradacja służby

Ostre klapy lidera → „kość rybna” na wykresach. Leczony przez zwiększenie czasu trwania/renewDeadline i eliminacji pił GC/CPU.
Dla okresu ponownej selekcji, włącz brownout: zmniejszyć intensywność zadań w tle lub całkowicie zamrozić je do potwierdzonego przywództwa.
W przypadku długich prac, zrobić punkty kontrolne + idempotent dokat po zmianie lidera.

8) Podział mózgu: Jak trzymać się z dala

Użyj sklepów CP (etcd/ZK/Consul) z kworum; Nie możesz wziąć przywódcy bez kworum.
Nigdy nie budować przywództwa na pamięci podręcznej AP bez arbitra kworum.
Nawet w modelu CP, zachować ogrodzenia na poziomie zasobów - jest to ubezpieczenie od rzadkich anormalnych scenariuszy (pauzy, utknęli kierowcy).

9) Obserwowalność i działanie

Mierniki

'leadership _ is _ leader {app}' (skrajnia 0/1).
'wybór _ total {result = won' lost 'rezygnuj}'.
„lease _ renew _ latency _ ms {p50, p95, p99}”, „lease _ renew _ fail _ total”.
'epoch _ value' (monotonia klastra).
'flaps _ total' oznacza liczbę przesunięć lidera na okno.
W przypadku ZK/etcd: opóźnienie replikacji, zdrowie kworum.

Wpisy

Częste zmiany ołowiu (> N w ciągu godziny).
Awarie odnowienia „odnowić ”/wysoki p99.
epoka infeasability (dwa różne epoki w różnych węzłach).
Nie ma lidera dłuższego niż X sekundy (jeśli firma nie pozwala).

Kłody/trasy

Zdarzenia łączące: 'epoch', 'keyId',' reason '(utracona dzierżawa, sesja wygasła),' duration _ ms '.

10) Test playbooks (Dni gry)

Partycja: rozbić sieć między 2 strefami - przywództwo jest dozwolone tylko w części kworum.
GC-stop: sztucznie zatrzymać lidera na 5-10 s - powinien stracić dzierżawę i przestać pracować.
Zegar skew/drift: Upewnij się, że poprawność nie zależy od zegara ściennego (ogrodzenie/epoka jest zapisana).
Zabij -9: Nagły katastrofa lidera → nowy lider ≤ Czas trwania.
Powolne przechowywanie: zwolnij dyski/dziennik tratwy - oszacuj czas wyborów, czas debugowania.

11) Anty-wzory

„Leader” za pośrednictwem Redis 'SET NX PX' bez ogrodzenia i kworum.
„czas trwania” wynosi mniej niż p99 krytycznego czasu trwania operacji.
Przerwanie/kontynuowanie pracy po utracie przywództwa („Skończę minutę”).
Brak jittera w czasie wyborów → burza wyborcza.
Pojedyncze długie zadanie bez punktów kontrolnych - każda klapa powoduje powtórzenie od podstaw.
Bliskie połączenie przywództwa i trasy ruchu (lepki) bez upadku - dno z klapą dostać 5xx.

12) Lista kontrolna wdrażania

• Wybrany arbiter kworum jest etcd/ZK/Consul/K8s Lease.
• Przechowywać i przekazywać epoki/ogrodzenia do wszystkich liderów skutków ubocznych.
• Skonfigurowane terminy to 'Czas trwania', 'renewDeadline', 'retryPeriod' z marginesem sieci/GC.
• Wbudowani obserwatorzy i poprawne wyłączenie po utracie przywództwa.
• Zadania przywódcze są idempotentne i kontrolne.
• Włączone są mierniki/wpisy i rejestrowanie "epoch/ Id'.
• Trzymane dni gry: partycja, GC-stop, kill, zegar skew.
• Politycy są udokumentowani: kto/co lider robi, kto może go zastąpić, jak rozwiązać konflikty epoki.

Plan degradacji: Co robi bezprzewodowy system.

• Test wydajności: klapy pod obciążeniem nie niszczą SLO.

13) FAQ

P: Czy można budować przywództwo bez kworum?
Odp.: W prod, nie. Potrzebujesz komponentu CP (quorum) lub usługi w chmurze z równoważnymi gwarancjami.

P: Dlaczego epoka, jeśli istnieje dzierżawa?
Odp.: Dzierżawa zapewnia przetrwanie, ale nie chroni przed „starym liderem” po rozdzieleniu/przerwach. Epoka/ogrodzenie unieważnia skutki starego przywódcy.

P: Jakie są domyślne terminy w K8s?
Odp.: Często używane 'Le, Czas' 15 ',' RenewDeadline '10', 'RetryPeriod'. Dopasuj ładunek p99 i GC.

P: Jak testować przywództwo lokalnie?
Odp.: Uruchomić 3-5 instancji, emulować sieć (tc/netem), pauza (SIGSTOP), zabić lidera (SIGKILL), sprawdzić mierniki/dzienniki/epoki.

P: Co zrobić z długimi zadaniami przy zmianie liderów?
Odp.: Punkt kontrolny + idempotent docat; w przypadku utraty przywództwa - natychmiastowe zatrzymanie i uwolnienie zasobów.

14) Kwoty całkowite

Niezawodny wybór lidera jest quorum arbiter + dyscyplina epoki. Zachować przywództwo jako dzierżawę z biciem serca, pokonać wszystkie efekty z żetonem ogrodzenia, ustawić terminy z marginesem, sprawić, że zadania lidera idempotent i obserwowalny, regularnie tracić awarie. Wtedy „jeden i tylko jeden” wykonawca nie będzie hasłem, ale gwarancją odporną na pauzy, kaprysy sieciowe i ludzkie błędy.