Sürümlerin otomatik geri alınması

1) Neden otomatik geri dönüşe ihtiyacınız var?

• CFR ve MTTR'yi azaltır;
• SLO'yu korur (auth-succcess, p99 "stavka ^ settl", hata oranı);
• Uyumluluk olaylarını önler (PII/RG/AML).

2) İlkeler

1. Geri dönüş bir özelliktir: Serbest bırakma tasarımı için planlanan geri alma.
2. Kod Olarak İlke: eşikler, pencereler, istisnalar - boru hattında doğrulama.
3. Kanarya-ilk: adımlar boyunca yıkayın, geri alma - ayna adımları.
4. Veri güvenli: geçişler geri dönüşümlü/özetleyici; Configs - doğrulanabilir.
5. SLO-gates: kırmızı SLI/korkuluklar - anında otomatik geri alma.
6. Açıklanabilirlik: zaman çizelgesi, dağılımlar, nedenler - WORM günlüğüne.
7. Tek bir kıyamet düğmesi yok: kısıtlamalar, risk eylemleri için onaylar, SoD.

3) Otomatik geri alma tetikleyicileri (sinyaller)

3. 1 Teknik SLI/KRI

GEO/PSP/BIN ile auth_success_rate düşüşü (örneğin − TR ≥10 min'de %10).
Gecikme süresi p99/hata oranı anahtar yolları (deposit/output/settle).
Kuyruk gecikmesi/DLQ hızı/yeniden deneme fırtınası.
db replikasyonu lag/cache miss surge.

3. 2 İş sinyalleri

Kanarya vs. kontrolünde deposit_conversion − X pp.
Üretim düşüşünü başlangıçtan itibaren yerleştir.
Ters ibreli/düşüş sivri uçlu (yumuşak/sert).

3. 3 Kritik olaylar

Etkin A/B'de SRM hatası (trafik bozulması).
Güvenlik/PII korkuluklarını tetikleme.
Devrelerin/yapılandırmaların uyumsuzluğu (doğrulayıcı/linter).

4) Mimari tersinirlik desenleri

Canary - Ramp - Tam: %5 - %25 - %100 promosyon; Geri alma - ters sırada (100 - 25 - 5 - 0).
Mavi-Yeşil: Mavi ve Yeşil arasında atomik trafik geçişi, geri dönüş - anında dönüş.
Özellik Bayrakları: Davranış değişikliği için kill-switch (TTL, korkuluklar, SoD).
Veri olarak Yapılandırma: GitOps promosyonu/önceki sürümün yeniden tanıtımı; Çalışma zamanı anlık görüntüleri.

• iki fazlı (genişlet - sözleşme),
• tersinir (aşağı komut dosyaları),
• write-shadow (yeni alanlar çoğaltılmış olarak yazılır),
• Read-compat (eski kod yeni şemayı anlar).

5) Politika motoru

• 'auto _ rollback eğer auth_success_rate. Drop (geo =" TR")> 10m VE kapsama alanı için %10> = %5'
• 'auto _ rollback eğer bet_settle_p99> SLO1. 15'e 25 '
• 'auto _ pause _ flag eğer api_error_rate> 1. 5 m için %5 '
• 'deny _ promote if slo_red in {"auth _ success ", "withdraw _ tat _ p95"} '
• 'require _ dual _ control if change. Etkiler {"PSP _ ROUTING "," PII _ EXPORT"} '

Tüm kurallar yayınlanır, test edilir ve gözden geçirilir.

6) Uçtan uca akış

1. Regresyon dedektörü tetiklenir (metrik/uyarı/doğrulayıcı).
2. İstisnaları kontrol etme (tatil zirveleri, test pencereleri).

7) Entegrasyonlar

Incident bot:'/release rollback <id> ', otomatik zaman çizelgeleri, panolara ve dağıtımlara bağlantılar.
Metrikler API: hazır SLO görünümü ve korkuluk durumları; RCA için örnekler.
Özellik Bayrakları:'/flag off <id> ', korkuluk ile otopause.
GitOps/Config:'/config rollback <snapshot> '; Sürüklenme detektörü sonucu doğruluyor.
Durum sayfası: isteğe bağlı genel güncellemeler (CL/ilke aracılığıyla).

8) Gözlemlenebilirlik ve geri dönüş telemetrisi

Yayın Panosu: otomatik başarı, hata oranı, p95/p99, işlem hacmi, PSP по GEO/BIN.
Korkuluk Kurulu: aktif/tetiklenen kurallar, pencereler, histerezis.
Kapsama geçmişi: Zaman içinde kanaryaların/bayrakların/bölgelerin %'si.
Denetim: kim/ne/ne/ne zaman/neden; Artefakt difüzyonları; politika versiyonu; sonuç.

9) Güvenlik, SoD ve Uyumluluk

Ödemeleri etkileyen faaliyetler için 4-eyes/JIT/PII/RG.
Coğrafi çitler: Düzenleyici gereklilikleri etkileyen geri dönüşler yerel olarak uygulanır.
WORM kayıtları: kontroller için değişmez iz.
Genel İletişim Paketleri: CL/Legal ile tutarlı; Deneylerin detayları dışarıya açıklanmadı.

10) Eserler örnekleri

10. 1 Otomatik Geri Alma Politikası (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Yapılandırma geri dönüş manifestosu

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. 3 Kill-switch bayrağı

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Veri geçişleriyle çalışma

• Genişlet: Okumayı kesmeden yeni sütunlar/dizinler ekleyin.
• Geçiş: çift giriş/yeniden oynatma, tutarlılık denetimi.
• Sözleşme: Sadece başarılı bir serbest bırakma + gözlem penceresinden sonra eski silin.
• Aşağı komut dosyaları: gerekli; Zaman ve kilitlerin değerlendirilmesi.
• Gölge okur: eski/yeni yolun sonuçlarının karşılaştırılması (yan etkileri olmadan).
• İptal kriteri sözleşmesi: herhangi bir korkuluk "kırmızı".

12) Süreçler ve RACI

Release Manager: boru hattı sahibi ve politikaları.
Hizmet Sahibi: Etki alanı kurallarını onaylar, riski kabul eder.
SRE: dedektörler, geri çekilme mekaniği, gösterge panoları uygular.
Güvenlik/Uyumluluk: SoD, PII/RG kontrolü, denetim.
Çağrı IC/CL: iletişim, durum sayfası.
CAB: otomatik geri dönüşler, kural ayarlamaları hakkında bilgi sonrası genel bakış.

13) KPI/KRI işlevleri

Otomatik Geri Alma Oranı: Otomatik olarak geri alınan sürümlerin oranı (norm: düşük, ancak sıfır değil).
Geri Alma Süresi: detekt ^ otkat (median/p95).
SLO-İhlali Önlendi: Otomatik geri izlemenin hedeflerin ihlal edilmesini önlediği durumlar.
Yanlış Pozitifler: "Yanlış" geri dönüşlerin oranı (hedef - ↓).
Otomatik geri dönüşün uygulanmasından önce/sonra CFR.
Geri Dönüşlerin Maliyeti: ekstra zaman, kanaryalar, bilgi işlem kaynakları.
Denetim Tamlığı: Tam zaman çizelgesi ve dağılımları olan % olayları.

14) Uygulama Yol Haritası (6-10 hafta)

Ned. 1-2: kritik metriklerin ve temel eşiklerin kataloğu; Strateji seçimi (kanarya/mavi-yeşil/bayraklar); Geçiş geri döndürülebilirlik envanteri.
Ned. 3-4: dedektörlerin ve politika motorunun uygulanması; Olay-bot ile entegrasyon; Yapılandırmalar için GitOps-rollback; Pano korkulukları.
Ned. 5-6: Payments etki alanında pilot (auth-success, PSP-routing), masa üstü eğitimi; WORM günlüğü ve raporları.
Ned. 7-8: Games/KYC'de genişleme; Otomatik bayrak duraklatma; DR mavi-yeşil ile egzersiz yapar.
Ned. 9-10: eşik kalibrasyonu, yanlış pozitif azaltma, FinOps maliyet tahmini, RACI ve öğrenme formalizasyonu.

15) Antipatterns

"Bir şekilde geri çekilin": Bir planın olmaması ve göçlerin tersine çevrilebilirliği.
Adımlar olmadan küresel anlık aktivasyon/deaktivasyon.
Ham metrikler bağlam olmadan geri alma (GEO/PSP/BIN tabakalaşması yok).
SRM'yi yok sayma ve deneylerde gözetleme.
Histerezis olmadan uyarıları serbest bırakın - geri alma çırpma.
Git/Denetim olmadan üründeki yapılandırmaların manuel olarak düzenlenmesi.
Gözlem penceresini geçmeden önce eski şemayı siler.

Sonuç

Otomatik serbest bırakma geri dönüşü, platformun koruyucu ızgarasıdır: kod olarak politikalar, doğru seçilmiş sinyaller ve eşikler, geri dönüşümlü mimari çözümler (kanarya/mavi-yeşil/bayraklar/geri dönüşümlü geçişler), yerleşik iletişim ve tam denetim. Bu döngü, serbest bırakma riskini önemli ölçüde azaltır, SLO'yu ve geliri korur ve düzenleyicilerin ve ortakların güvenini arttırır.