Automatyczny zwrot wersji

1) Dlaczego potrzebujesz auto-rollback

• zmniejsza CFR i MTTR;
• chroni SLO (auth-success, p99 "stavka → settl', wskaźnik błędów);
• zapobiega incydentom zgodności (PII/RG/AML).

2) Zasady

1. Revert jest funkcją: Rollback planowane do projektu wydania.
2. Kod zasad: progi, okna, wyjątki - walidacja w rurociągu.
3. Kanarka-pierwszy: umyć wzdłuż schodów, wałek - kroki lustrzane.
4. Bezpieczeństwo danych: migracje są odwracalne/podsumowujące; configs - versionable.
5. Bramki SLO: czerwone SLI/barierki → natychmiastowy automatyczny zwrot.
6. Możliwość wyjaśnienia: linia czasu, dyfuzje, powody - do dziennika WORM.
7. Brak jednego przycisku zagłady: ograniczenia, potwierdzenia działań ryzyka, SoD.

3) Spusty automatyczne (sygnały)

3. 1 Techniczne SLI/KRI

auth_success_rate spadek o GEO/PSP/BIN (np. − 10% w TR ≥ 10 min).
opóźnienie p99/ścieżki klucza błędu (depozyt/wyjście/rozrachunek).
kolejka lag/DLQ szybkość/powtórna burza.
db replikacja lag/cache miss surge.

3. 2 Sygnały biznesowe

deposit_conversion − X pp na kanarach kontra kontrola.
zmniejszyć przepustowość w stosunku do wartości wyjściowych.
kolce obciążenia zwrotnego/spadku (miękkie/twarde).

3. 3 Zdarzenia krytyczne

Awaria SRM w aktywnym A/B (zakłócenie ruchu).
Uruchamianie osłony bezpieczeństwa/PII.
Niezgodność obwodów/konfiguracji (walidator/liniowiec).

4) Wzory odwracalności architektonicznej

Kanaryjski → Ramp → Pełne: 5% → 25% → 100% promocja; rollback - w odwrotnej kolejności (100 → 25 → 5 → 0).
Niebiesko-zielony: atomowy przełącznik ruchu między niebieskim i zielonym, rollback - natychmiastowy zwrot.
Flagi funkcji: kill-switch dla zmian behawioralnych (TTL, barierki, SoD).
Config jako dane: GitOps promocja/ponowna promocja poprzedniej wersji; migawki runtime.

• dwuetapowy (rozszerzyć → kontrakt),
• odwracalne (skrypty w dół),
• write-shadow (nowe pola są powielane),
• read-compat (stary kod rozumie nowy schemat).

5) Silnik polityczny

• 'auto _ rollback, jeśli auth_success_rate. kropla (geo =” TR”)> 10% dla pokrycia 10m I> = 5%'
• 'auto _ rollback, jeśli bet_settle_p99> SLO1. 25 dla 15 m'
• 'auto _ pause _ flag, jeśli api_error_rate> 1. 5% dla 5 m'
• „deeny _ promote if slo_red in {” auth _ success „,” withdraw _ tat _ p95 „}”
• "quire _ dual _ control w razie zmiany. wpływa na {„PSP _ ROUTING „,” PII _ EXPORT”} '

Wszystkie zasady są weryfikowane, testowane i przeglądane.

6) Przepływ od końca do końca

1. Detektor regresji jest uruchamiany (metryczny/alert/walidator).
2. Sprawdzanie wyjątków (wakacyjne szczyty, okna testowe).

7) Integracje

Bot incydent: '/release rollback <id> ', auto-timelines, linki do desek rozdzielczych i dyfuzów.
Metrics API: gotowy widok SLO i statusy bariery; przykłady dla RCA.
Flagi funkcji: '/flag off <id> ', autopause by guardrail.
GitOps/Config: '/config rollback <snapshot> '; detektor dryfu potwierdza wynik.
Strona statusu: opcjonalne aktualizacje publiczne (poprzez CL/policy).

8) Obserwowalność i telemetria wsteczna

Zwolnij Deska rozdzielcza: auth-success, error-rate, p95/p99, settle przepustowości, PSP ма GEO/BIN.
Płyta Guardrail: aktywne/wyzwalane reguły, okna, histereza.
Historia zasięgu:% kanarów/flag/regionów w czasie.
Audyt: kto/co/kiedy/dlaczego; dyfuzje artefaktowe; wersja polityki; wynik.

9) Bezpieczeństwo, SoD i zgodność

4-eyes/JIT działań mających wpływ na płatności/PII/RG.
Ogrodzenia geograficzne: Rolki mające wpływ na wymagania regulacyjne są stosowane lokalnie.
Dzienniki WORM: niezmienny ślad do kontroli.
Publiczne pakiety Comm: Zgodne z CL/Legal; szczegóły eksperymentów nie zostały ujawnione na zewnątrz.

10) Przykłady artefaktów

10. 1 Polityka Auto-Rollback (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Konfiguracja manifest wsteczny

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. 3 Flaga wyłącznika zabójstw

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Praca z migracjami danych

• Rozwiń: dodaj nowe kolumny/indeksy bez łamania odczytu.
• Migracja: podwójny wpis/powtórka, kontrola spójności.
• Kontrakt: usunąć stare tylko po pomyślnym wydaniu + okno obserwacji.
• Skrypty w dół: wymagane; ocena czasu i zamków.
• Cień brzmi: porównanie wyników starej/nowej ścieżki (bez skutków ubocznych).
• Kryteria anulowania umowy: każdy guardrail „czerwony”.

12) Procesy i RACI

Release Manager: właściciel rurociągu i zasady.
Właściciel usługi: zatwierdza zasady domeny, akceptuje ryzyko.
SRE: wdraża detektory, mechanikę pullback, deski rozdzielcze.
Bezpieczeństwo/Zgodność: SoD, kontrola PII/RG, audyt.
Dyżurny IC/CL: komunikacja, strona stanu.
CAB: post-factum przegląd auto-rollbacks, regulacje reguły.

13) Funkcje KPI/KRI

Auto-Rollback Rate: odsetek zwolnień, które zwinięte z powrotem automatycznie (norma: niski, ale nie zero).
Czas do rolki: detekt → otkat (mediana/p95).
SLO-Breach Avoided: Przypadki, w których auto-backtracking uniemożliwił naruszenie celów.
False Positives: proporcja „fałszywych” wałków (cel -).
CFR przed/po wdrożeniu auto-rollback.
Koszt Rollbacks: dodatkowy czas, kanarki, zasoby obliczeniowe.
Kompletność audytu:% zdarzeń z pełną linią czasu i dyfuzami.

14) Plan działania na rzecz realizacji (6-10 tygodni)

Ned. 1-2: katalog wskaźników krytycznych i progów podstawowych; wybór strategii (kanaryjski/niebiesko-zielony/bandery); inwentaryzacja odwracalności migracji.
Ned. 3-4: wdrożenie detektorów i silników strategicznych; integracja z incydentem-bot; GitOps-rollback dla konfiguracji; osłony desek rozdzielczych.
Ned. 5-6: pilot na domenie Płatności (auth-success, PSP-routing), trening na tablopie; Dziennik WORM i raporty.
Ned. 7-8: rozszerzenie na gry/KYC; automatyczne wstrzymanie bandery; Ćwiczenia DR z niebiesko-zielonym.
Ned. 9-10: kalibracja progowa, fałszywie pozytywna redukcja, oszacowanie kosztów FinOps, RACI i formalizacja uczenia się.

15) Antypattery

„Cofnij się jakoś”: brak planu i odwracalność migracji.
Globalna natychmiastowa aktywacja/dezaktywacja bez kroków.
Metryka surowa bez kontekstu (brak stratyfikacji GEO/PSP/BIN).
Ignorowanie SRM i podglądanie w eksperymentach.
Zwolnić wpisy bez histerezy → rollback klapowania.
Ręczne edytowanie konfiguracji produktu bez Git/Audit.
Usuwa stary schemat przed przejściem okna obserwacji.

Wynik

Automatyczny rollback to siatka ochronna platformy: polityka jako kod, poprawnie dobrane sygnały i progi, odwracalne rozwiązania architektoniczne (kanaryjskie/niebiesko-zielone/flagi/odwracalne migracje), wbudowana komunikacja i pełny audyt. Ta pętla znacznie zmniejsza ryzyko uwolnień, chroni SLO i przychody oraz zwiększa zaufanie regulatorów i partnerów.