Strategie rollback i uwolnienia atomowe

Strategie Rollback i wydania atomowe

1) Dlaczego potrzebujesz szybkiego wstecznego

• Zmniejszyć MTTR do kilku minut.
• Ograniczyć promień oddziaływania (minimalnie dotknięci użytkownicy/transakcje).
• Zachowanie integralności danych i kompatybilności kontraktów.

Klucz: Build releases, więc rollback jest błahym działaniem, a nie mini-projektem.

2) Pojęcie „uwolnienia atomowego”

Uwolnienie atomowe - kiedy włączenie nowej wersji/zachowania mogą być wykonywane (i anulowane) przez jedną operację atomową bez trwałych skutków ubocznych.

• Artefakt niezmienny (podpisany obraz/pakiet).
• Konfiguracje wersjonowane (wersje promocyjne, a nie ręczne).
• Oddzielenie „dostawy” od „włączenia” (routing/flagi).
• Kompatybilny schemat danych (obie wersje mogą żyć jednocześnie).
• Runlback runbook: jeden wyraźny krok (zmiana selektora/waga/flaga) + sprawdzenie.

3) Inwentaryzacja maszyn rolkowych

3. 1 Warstwa ruchu (najszybsza)

Niebiesko-zielony: Przełącz selektor grupy docelowej na wersję stabilną.
Kanarka: Obniżyć wagę do 0% i zamrozić progresję.
Gateway/NGINX/Service Mesh: powrót do poprzednich wagi/tras.

3. 2 Poziom przenośnika

Helm/Argo Rollouts: 'abort/rollback' do poprzedniej wersji.
GitOps: powrót MR/zobowiązać się do manifestowania repozytoriów (kontroler zrobi resztę).

3. 3 Dodatek/Cechy

Funkcja-flags/kill-switch: Natychmiast wyłącz ryzykowną ścieżkę.
Konfiguracje przełączania: Wróć do poprzedniego strzału konfiguracyjnego.

3. 4 Dane

Migracje do przodu (preferowane) + kompatybilność.
Odzyskiwanie w czasie (PITR) i kopie zapasowe wypadków.
Rekompensata (Saga) i idempotencja za odwracalne działania.

4) „expand → migrate → contract” wzór

Aby rolka była bezpieczna, schemat danych musi umożliwiać współżycie starych i nowych wersji.

1. Rozwiń - dodaj nowe pola/indeksy (nieważne) bez łamania starej logiki.
2. Migracja - podwójne pisanie/czytanie, backfill, zadania w tle z idempotencją.
3. Kontrakt - usuń stare pola/kod po 100% wyjścia i utrzymane okno.

5) bramki SLO i automatyczne rolki

Wejście do każdego etapu uwalniania musi być „strzeżone” przez mierniki.

SLO techniczne: p95/p99 latency, 5xx-rate, nasycenie (CPU/Memory), błąd-budget burn.
Wskaźniki biznesowe: CR dla depozytu/wypłaty, odmowa płatności, procent oszustw, błędy KYC.

• 5xx> 0. 5% 10 minut → zwrot.
• p95 α> 20% wartości wyjściowej → trzymaj + analiza.
• Błąd PSP> 0. 3 p.p. → rollback + przełączanie trasy płatności.

6) Przykłady: Kubernetes/Helm/Argo/NGINX

6. 1 Niebiesko-zielony (K8s selektor serwisowy)

yaml
Service points to "blue"; switch to green - change selector apiVersion: v1 kind: Service metadata: {name: app-svc}
spec:
selector: { app: app, version: blue }
ports: [{ port: 80, targetPort: 8080 }]

Rollback = powrót selektora do 'niebieskiego' (atomowego, bez reasekuracji).

6. 2 Kanaryjskie (Istio VirtاService веса)

yaml http:
- route:
- destination: { host: app, subset: stable } # 100 weight: 100
- destination: { host: app, subset: canary } # 0 weight: 0

Rollback = waga kanarka → 0, stabilna → 100.

6. 3 Argo Rollouts - przerwać

yaml kubectl argo rollouts abort app # stop and return to stableService

6. 4 Helm - wstecz do wersji

bash helm history app -n prod helm rollback app 17 -n prod # revert to revision 17

6. 5 NGINX - waga w górnym biegu

nginx upstream app {
server blue:8080 weight=100;
server green: 8080 weight = 0; # rollback - return 100/0
}

7) Funkcja-flagi i kill-switch jako „spadochron”

Kill-switch dla przepływów wysokiego ryzyka (depozyty/płatności/premie) - obowiązkowe.
Lepkość: przypisanie użytkownikom „wariantu” za pomocą klucza skrótu - przewidywalne porównania.
Fail-safe: jeśli serwer flagi jest niedostępny, domyślnie bezpieczny.

ts const enabled = flags. bool("new_cashout_flow", false);
if (! enabled) return classicFlow () ;//instant rollback - disable the return newFlow () flag;

8) Kontrakty API i Event: Jak nie „złamać Rollback”

Kontrakty weryfikacyjne (OpenAPI/gRPC/Avro): nowa wersja dodaje pola, nie zmienia semantyki starych.
Event-versioning: 'type = v2', konsumenci muszą ignorować nieznane pola.
Outbox + Idempotency: każde powtórzenie zdarzenia jest bezpieczne, konsument jest idempotentem.

9) Transakcje offsetowe (Saga)

• Opublikowane umorzenie - odszkodowanie: zwrot, cofnięcie, zapis korekcji.
• Zapisywanie w dzienniku operacji kompensacyjnych i cofnięć przed sukcesem.
• Idempotentne klucze do każdej operacji.

json
{
"sagaId": "b7d2...",
"action": "withdraw. execute",
"idempotencyKey": "user123:withdraw:7845",
"compensation": "withdraw. refund"
}

10) Konfiguracje i tajemnice: Rollback jako wersja

Przechowywać konfiguracje jako artefakty wersji (semver/commit-sha).
Rollback = przywrócić konfigurację do poprzedniej wersji (GitOps wrócić), a nie „naprawić z rąk”.
Sekrety - poprzez przechowywanie (KMS/Vault); rotacja i wersioning są zawarte w wydaniu.

11) Książka startowa wsteczna (minimum)

1. Progresja pauzy (kanarka/rollouts).
2. Zwrot z ruchu (wagi/przełącznik).
3. Kontrole SLO/business metrics wróciły do punktu wyjściowego.
4. Stabilizacja miejsc pracy w terenie (w razie potrzeby zatrzymanie migracji/zaleganie).
5. Incydent i post-factum: artefakty (kłody/ścieżki/mierniki), hipotezy, korekta.
6. Czyszczenie: zamknąć flagi, usunąć lewy kod, zwrócić harmonogram zadań.

12) Polityka Auto-Protect

Zabronić 'najnowsze' i mutable tags dla obrazów.
Kontrola wjazdu: tylko podpisane artefakty.
CI gate: SAST/SCA/Policy-checks musi być zielony do promocji.
Zamrażanie okien: brak zwolnień/wagi> X% w okresach ryzyka.

13) Częste anty-wzory

„Cofamy” bazę DDL w dół zamiast kompatybilności - długie blokady/przestoje.
Natychmiastowe migracje od głowy do głowy bez idempotencji i pleców.
Mieszanie „dostawy” i „włączenia” - nie ma możliwości szybkiego powrotu ruchu.
Ręczne edycje w konfiguracji produkcji bez audytu.
Brak wyłącznika uśmiercenia płatności/wyjść.
Odbudować artefakt dla prod (naruszenie „zbudować raz - uruchomić wiele”).
Nie ma jednego przycisku rolki/runbook nie działa.

14) Lista kontrolna wdrażania (0-45 dni)

0-10 dni

Dodaj Blue-Green/Canary na kluczowych usług.
Zaprzecz 'najnowszym', włącz podpisywanie obrazu i historię Helm/Argo.
Podłącz płyty SLO (opóźnienie, 5xx, kluczowe sygnały biznesowe).

11-25 dni

Wdrożenie przełącznika kill-switch dla przepływu ryzyka.
Konwertuj migracje baz danych do rozszerzania kontraktów migracyjnych + idempotencja.
Dodaj auto-stop/rollback przez SLO (Argo Wzorzec/alerty).

26-45 dni

Konfiguracje versioning (GitOps), rollback przez MR-revert.
Uruchom książkę startową do „gry-day” (symulacja incydentu i odwrócenia).
Wprowadź rekompensatę Saga, w przypadku gdy rolka w dół nie jest możliwa.

15) Wskaźniki zapadalności

Rollback MTTR: cel <5 min.
% zwolnień, gdzie rollback = przełącznik trasy/flagi (bez odbudowy)> 90%.
Udział migrantów kontraktowych rozszerzonych> 90%.
Pokrycie usług wyłącznika kill-switch z flagami> 95%.
Liczba incydentów spowodowanych niezgodnymi systemami/umowami → 0.

16) Aplikacje: mini-szablony

Szablon Argo 5xx Stop

yaml apiVersion: argoproj. io/v1alpha1 kind: AnalysisTemplate metadata: { name: guard-5xx }
spec:
metrics:
- name: http_5xx_rate interval: 1m successCondition: result < 0. 005 provider:
prometheus:
address: http://prometheus. monitoring:9090 query:
sum(rate(http_requests_total{app="app",status=~"5.."}[5m])) /
sum(rate(http_requests_total{app="app"}[5m]))

Kubernetes: Szybki zwrot wdrożenia

bash kubectl rollout undo deploy/app -n prod

Helm: Uwolnienie atomowe

bash helm upgrade --install app chart/ \
--atomic \
--timeout 5m \
--set image. tag=v1. 9. 3

NGINX: żuraw kanaryjski

nginx map $cookie_canary $weight {
default 0;
"~ on" 10; # enable 10% by cookie
}

17) Wniosek

Niezawodny zwrot nie jest „przyciskiem ognia”, ale własnością architektury: niezmienne artefakty, separacja dostawy i włączenia, kompatybilny schemat danych, flagi funkcji i bramki SLO. Budowa uwalnia atomową, próbną książkę startową i automatyczne bramy bezpieczeństwa - a każde wydanie będzie odwracalne w ciągu kilku minut, bez bólu dla biznesu i użytkowników.