Автоматты түрде кері қайтару

1) Не үшін авто-кері қайту қажет

• CFR және MTTR төмендетеді;
• SLO (auth-success, p99 «ставка → сеттл», error-rate) қорғайды;
• комплаенс-инциденттерді (PII/RG/AML) болдырмайды.

2) Қағидаттар

1. Revert is a feature: шығару дизайны кезінде кері қайту жоспарланады.
2. Policy-as-Code: табалдырықтар, терезелер, ерекшеліктер - конвейердегі валидация.
3. Canary-first: баспалдақтармен жуылады, кері - айнадай.
4. Data-safe: көші-қон қайтарымды/жиынтық; конфиги - нұсқаланатын.
5. SLO-gates: қызыл SLI/guardrails → дереу авто-кері қайту.
6. Explainability: таймлайн, диффалар, себептер - WORM журналына.
7. No single button of doom: шектеулер, тәуекел әрекетін растау, SoD.

3) Авто-кері шегініс триггерлері (сигналдар)

3. 1 Техникалық SLI/KRI

GEO/PSP/BIN бойынша auth_success_rate drop (мысалы, − 10% TR ≥ 10 мин).
latency p99/error-rate негізгі жолдар (депозит/шығару/сеттл).
queue lag / DLQ rate / retry storm.
db replication lag / cache miss surge.

3. 2 Бизнес-сигналдар

deposit_conversion қарсы канареяда X п.т. −.
settle throughput негізгі сызыққа қатысты құлау.
chargeback/decline spikes (soft/hard).

3. 3 Сыни оқиғалар

Белсенді A/B SRM сәтсіздігі (трафикті бұрмалау).
security/PII guardrail іске қосылады.
Схемалардың/пішіндердің үйлеспеушілігі (валидатор/линтер).

4) Қайтымдылықтың сәулеттік үлгілері

Canary → Ramp → Full: 5% → 25% → 100%; кері қайтару - кері тәртіппен (100 → 25 → 5 → 0).
Blue-Green: Blue мен Green арасындағы атомарлық трафик свитші, кері қайтару - бірден қайтару.
Feature Flags: мінез-құлық өзгерістеріне арналған kill-switch (TTL, guardrails, SoD).
Config as Data: GitOps-алдыңғы нұсқаны промоут/ре-промоут; runtime-снапшоттар.

• екі фазалы (expand → contract),
• reversible (down-скрипттер),
• write-shadow (жаңа өрістер қайталанып жазылады),
• read-compat (ескі код жаңа схеманы түсінеді).

5) Кері қайтару саясаты (policy-engine)

• `auto_rollback if auth_success_rate. drop(geo="TR") > 10% for 10m AND coverage>=5%`
• `auto_rollback if bet_settle_p99 > SLO1. 25 for 15m`
• `auto_pause_flag if api_error_rate > 1. 5% for 5m`
• `deny_promote if slo_red in {"auth_success","withdraw_tat_p95"}`
• `require_dual_control if change. affects in {"PSP_ROUTING","PII_EXPORT"}`

Барлық ережелер нұсқаланады, тестіленеді және ревьтен өтеді.

6) Авто-кері қайтару ағыны (end-to-end)

1. Регрессия детекторы іске қосылады (метрика/алерт/валидатор).
2. Ерекшеліктерді тексеру (мерекелік шыңдар, тестілік терезелер).

7) Интеграция

Инцидент-бот: '/release rollback <id> ', авто-таймлайндар, дашбордтар мен диффтерге сілтемелер.
Metrics API: дайын SLO-view және guardrail-мәртебелері; RCA үшін exemplars.
Feature Flags: '/flag off <id> ', guardrail бойынша автопауза.
GitOps/Config: `/config rollback <snapshot>`; drift-детектор нәтижені растайды.
Status-бет: опциондық жария апдейттер (CL/саясат арқылы).

8) Бақылау және кері қайтару телеметриясы

Release Dashboard: auth-success, error-rate, p95/p99, settle throughput, PSP по GEO/BIN.
Guardrail Board: белсенді/іске қосылған ережелер, терезелер, гистерезис.
Жабындылардың тарихы: уақыттағы канарея/жалаулар/аймақтар%.
Аудит: кім/не/қашан/неліктен; артефактілер диффалары; саясаттың нұсқасы; нәтижесі.

9) Қауіпсіздік, SoD және комплаенс

/ PII/RG төлемдеріне әсер ететін іс-қимылдар үшін 4-eyes/JIT.
Geo-fences: реттегіш талаптарды қозғайтын еңістер жергілікті қолданылады.
WORM журналдары: тексеруге арналған өзгермейтін ізі.
Көпшілік комм-пакеттері: CL/Legal-мен сәйкес келеді; эксперименттердің егжей-тегжейі сыртқа ашылмайды.

10) Артефактілердің үлгілері

10. 1 Автоматты кері қайтару саясаты (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Конфигурацияны қайтару манифесі

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. Жалаудың 3 Kill-switch

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Деректер миграциясымен жұмыс

• Expand: жаңа бағандарды/индекстерді оқуды бұзбай қосу.
• Migrate: қос жазба/реплика, консистенттілікті салыстыру.
• Contract: ескісін тек бақылау терезесін сәтті шығарғаннан кейін ғана жою.
• Down скрипттері: міндетті; уақыт пен бұғаттауды бағалау.
• Shadow оқу: ескі/жаңа жолдың нәтижелерін салыстыру (жанама әсерлерсіз).
• contract болдырмау өлшемдері: кез келген guardrail «қызыл».

12) Процестер және RACI

Release Manager: конвейер иесі және саясаткер.
Service Owner: домен ережелерін бекітеді, тәуекелді қабылдайды.
SRE: детекторлар, қайтару механикасы, дашбордтарды іске асырады.
Security/Compliance: SoD, PII/RG-бақылау, аудит.
On-call IC/CL: коммуникация, статус-бет.
CAB: авто-кері қайтаруды шолу, ережелерді түзету.

13) KPI/KRI функциялары

Auto-Rollback Rate: автоматты түрде қайтарылған релиздердің үлесі (норма: төмен, бірақ нөлдік емес).
Time-to-Rollback: детект → кері қайту (медиана/п95).
SLO-Breach Avoided: авто-кері қайту мақсаттардың бұзылуын болдырмаған жағдайлар.
False Positives: «жалған» кері қайтару үлесі (мақсаты - ↓).
CFR авто-қайтаруды енгізгенге дейін/кейін.
Cost of Rollbacks: қосымша уақыт, канарейка, есептеу ресурстары.
Audit Completeness: Оқиғалар% толық таймлайнмен және белгілермен.

14) Енгізудің жол картасы (6-10 апта)

Нед. 1-2: критикалық метриктер мен базалық шектердің каталогы; стратегияларды таңдау (canary/blue-green/flags); көші-қонның қайтымдылығын түгендеу.
Нед. 3-4: детекторлар мен policy-engine іске асыру; инцидент-ботпен интеграциялау; Конфигурациялар үшін GitOps-rollback; dashbords guardrails.
Нед. 5-6: Payments доменіндегі ұшқыш (auth-success, PSP-роутинг), tabletop жаттығулары; WORM журналы және есептер.
Нед. 7-8: Games/KYC кеңейту; жалаулардың автоматты түрде үзілуі; DR-жаттығулар blue-green.
Нед. 9-10: шекті калибрлеу, false positive төмендету, FinOps-құнды бағалау, RACI формализациясы және оқыту.

15) Антипаттерндер

«Қалай да кері шегінейік»: көші-қон жоспарының жоқтығы.
Сатысыз жаһандық жылдам белсендіру/деактивациялау.
Түпмәтінсіз шикі метриктер бойынша қайту (GEO/PSP/BIN стратификациясы жоқ).
Эксперименттерде SRM және peeking игноры.
Гистерезисіз релиз-алерталар → қайтару флаппингі.
Git/Audit емес өнімдегі конфигурацияларды қолмен түзету.
Бақылау терезесі өткенге дейін ескі схеманы жою.

Жиынтық

Релиздерді автоматты түрде қайтару - бұл платформаның қорғаныш торы: саясат код ретінде, дұрыс таңдалған сигналдар мен табалдырықтар, қайтарымды сәулет шешімдері (canary/blue-green/flags/reversible migrations), кіріктірілген коммуникациялар және толық аудит. Мұндай контур релиздер тәуекелін күрт төмендетеді, SLO мен түсімді қорғайды және реттеушілер мен әріптестердің сенімін арттырады.