Автоматтык чыгаруу

1) Эмне үчүн авто-артка кетүү керек

• CFR жана MTTR азайтат;
• SLO (auth-success, p99 "коюм → сеттл", error-rate) коргойт;
• комплаенс инциденттердин алдын алуу (PII/RG/AML).

2) Принциптер

1. Revert is a feature: Release дизайны менен кайра пландаштырылган.
2. Policy-as-Code: босоголор, терезелер, өзгөчөлүктөр - конвейерде валидация.
3. Canary-first: тепкичтер менен жууп, артка - күзгү тепкичтер.
4. Data-safe: миграция кайтарылуучу/суммардык; конфиги - версиялануучу.
5. SLO-gates: кызыл SLI/guardrails → токтоосуз auto-артка.
6. Explainability: таймлайн, диффалар, себептер - WORM журналына.
7. No single button of doom: чектөөлөр, тобокелдиктерди ырастоо, SoD.

3) Auto-артка триггерлер (сигналдар)

3. 1 Техникалык SLI/KRI

auth_success_rate drop GEO/PSP/BIN (мисалы, − 10% TR ≥ 10 мин).
latency p99/error-rate негизги жолдор (депозиттик/чыгаруу/сеттл).
queue lag / DLQ rate / retry storm.
db replication lag / cache miss surge.

3. 2 Бизнес сигналдары

deposit_conversion − X п.п. Канареяда көзөмөлгө каршы.
settle throughput негизги сызыкка карата түшүү.
chargeback/decline spikes (soft/hard).

3. 3 Маанилүү окуялар

Активдүү A/B (трафикти бурмалоо) боюнча SRM ийгиликсиздиги.
security/PII guardrail.
Схемалардын/конфигурациялардын шайкештиги (валидатор/линтер).

4) архитектуралык кайтарымдуулугу үлгүлөрү

Canary → Ramp → Full: 5% → 25% → 100%; артка - тескери тартипте (100 → 25 → 5 → 0).
Blue-Green: Blue жана Green ортосунда атомдук жол бурмалоо, артка - тез кайтып.
Feature Flags: жүрүм-турум өзгөрүүлөр үчүн kill-switch (TTL, guardrails, SoD).
Config as Data: GitOps-промоутер/мурунку нускасын кайра промоутер; runtime-снапшот.

• эки фазалуу (expand → contract),
• reversible (down скрипттери),
• write-shadow (жаңы талаалар кайталанып жазылган),
• read-compat (эски код жаңы схеманы түшүнөт).

5) Кайра кайтаруу саясаты (policy-engine)

• `auto_rollback if auth_success_rate. drop(geo="TR") > 10% for 10m AND coverage>=5%`
• `auto_rollback if bet_settle_p99 > SLO1. 25 for 15m`
• `auto_pause_flag if api_error_rate > 1. 5% for 5m`
• `deny_promote if slo_red in {"auth_success","withdraw_tat_p95"}`
• `require_dual_control if change. affects in {"PSP_ROUTING","PII_EXPORT"}`

Бардык эрежелер версияланат, сыналат жана ревлюдан өтөт.

6) Auto-артка агымы (end-to-end)

1. Регрессия детектору иштейт (метрика/алерт/валидатор).
2. Өзгөчөлүктөрдү текшерүү (майрамдык чокулар, тесттик терезелер).

7) Интеграция

Окуя-бот: '/release rollback <id> ', авто-тайм, дашбордддорго жана диффтерге шилтемелер.
Metrics API: даяр SLO жана guardrail статусун; RCA үчүн exemplars.
Feature Flags: '/flag off <id> ', guardrail боюнча автопауза.
GitOps/Config: `/config rollback <snapshot>`; drift detector натыйжасын тастыктайт.
Status-бет: кошумча коомдук апдейттер (CL/саясат аркылуу).

8) байкоо жана кайра телеметрия

Release Dashboard: auth-success, error-rate, p95/p99, settle throughput, PSP по GEO/BIN.
Guardrail Board: активдүү/иштеген эрежелер, терезелер, histeresis.
каптоо тарыхы:% канарея/желектер/убакыт региондор.
Аудит: ким/эмне/качан/эмне үчүн; артефакттардын таралышы; саясат версиясы; натыйжасы.

9) Коопсуздук, SoD жана комплаенс

4-eyes/JIT/PII/RG таасир этүүчү иш-аракеттер үчүн.
Geo-fences: жөнгө салуучу талаптарды таасир этет, жергиликтүү колдонулат.
WORM журналдар: текшерүү үчүн өзгөрүлбөс изи.
Коомдук Com пакеттери: CL/Legal менен шайкеш келет; эксперименттердин чоо-жайы ачыкка чыкпайт.

10) Артефакттардын мисалдары

10. 1 Auto Rebound саясаты (YAML)

yaml apiVersion: policy.platform/v1 kind: AutoRollbackRule metadata:
id: "payments-auth-success-tr"
spec:
scope: { tenants: ["brandA","brandB"], regions: ["EU"], geo: ["TR"] }
signal:
metric: "auth_success_rate"
condition: "drop > 10% for 10m"
compareTo: "canary_control"
action:
strategy: "step_down"  # 100%->25%->5%->0%
cooldown: "15m"
exceptions:
calendar: ["2025-11-29:black_friday"]
manualOverride: false audit:
owner: "Payments SO"
riskClass: "high"

10. 2 Конфигурацияны кайтаруу манифести

yaml apiVersion: cfg.platform/v1 kind: ConfigRollback metadata:
id: "psp-routing-revert-2025-11-01"
spec:
from: "payments-routing-2025-11-01"
to:  "payments-routing-2025-10-29"
criteria:
- metric: "auth_success_rate"
where: "geo=TR"
condition: "drop>10% for 10m"
notify:
incidentBot: true stakeholders: ["Payments","SRE","Support"]

10. 3 желек Kill-switch

yaml apiVersion: flag.platform/v1 kind: KillSwitch metadata:
id: "deposit.flow.v3"
spec:
guardrails: ["api_error_rate<1.5%","latency_p99<2s","slo_green:auth_success"]
autoPauseOnBreach: true ttl: "30d"

11) Маалыматтарды көчүрүү менен иштөө

• Expand: жаңы колонкалар/индекстер окуу сындырбай кошуу.
• Migrate: кош жазуу/реплика, консистенттүүлүк салыштыруу.
• Contract: гана ийгиликтүү бошотулгандан кийин эски жок + байкоо терезе.
• Down скрипт: милдеттүү; убакыт жана блокторду баалоо.
• Shadow-окуу: эски/жаңы жолдун натыйжаларын салыштыруу (эч кандай терс таасирлери).
• contract жокко чыгаруу критерийлери: ар кандай guardrail "кызыл".

12) Процесстер жана RACI

Release Manager: конвейер ээси жана саясатчы.
Service Owner: домен эрежелерин бекитет, тобокелдикти кабыл алат.
SRE: детекторлор ишке ашырат, механика, дашборддор.
Security/Compliance: SoD, PII/RG-башкаруу, аудит.
On-call IC/CL: байланыш, статус-бет.
CAB: auto-racks post-faktum карап чыгуу, эрежелерди тууралоо.

13) KPI/KRI функциялары

Auto-Rollback Rate: релиздердин үлүшү, автоматтык түрдө жокко чыгарылган (норма: төмөн, бирок нөл эмес).
Time-to-Rollback: Detect → артка (mediana/p95).
SLO-Breach Avoided: auto-rebound максаттардын бузулушун алдын алган учурлар.
False Positives: үлүшү "жалган" кайра (максаты - ↓).
CFR чейин/кийин auto-кайра киргизүү.
Rollbacks наркы: кошумча убакыт, канарейка, эсептөө ресурстары.
Audit Completeness: Full Time жана Diffs менен окуялардын%.

14) Жол картасы киргизүү (6-10 жума)

Нед. 1-2: критикалык метриктердин жана негизги босоголордун каталогу; стратегияларды тандоо (canary/blue-green/flags); миграциянын кайтарымдуулугун инвентаризациялоо.
Нед. 3-4: детекторлор жана policy-engine ишке ашыруу; окуя-бот менен бириктирүү; Конфигурациялар үчүн GitOps-rollback; dashbord guardrails.
Нед. 5-6: Payments домендеги учкуч (auth-success, PSP-роутинг), tabletop окутуу; WORM журналы жана отчеттор.
Нед. 7-8: Games/KYC боюнча кеңейтүү; желектердин автоматтык тыныгуу; көк-жашыл менен DR-машыгуу.
Нед. 9-10: босого калибрлөө, жалган positive азайтуу, FinOps-баалоо, RACI жана окутуу жол-жоболоштуруу.

15) Антипаттерндер

"Кандайдыр бир жол менен артка кетели": миграциянын планынын жана кайтарымдуулугунун жоктугу.
Глобалдык тез активдештирүү/баскычсыз деактивациялоо.
Чийки метриктер боюнча контекст жок (GEO/PSP/BIN стратификациясы жок).
Ignor SRM жана эксперименттерде peeking.
Гистерезисиз релиздик алерталар → артка кайтуу.
Git/Audit жок өндүрүштөгү кол менен түзөтүү конфигурациялары.
Байкоо терезеден өткөнгө чейин эски схеманы алып салуу.

Жыйынтык

Automatic Release коргоо тор платформа болуп саналат: туура тандалган сигналдар жана босоголор, кайра архитектуралык чечимдер (canary/blue-green/flags/reversible migrations), ички байланыш жана толук аудит сыяктуу саясат. Бул контур кескин бошотуу коркунучун азайтат, SLO жана киреше коргойт жана жөнгө салуучу жана өнөктөштөрдүн ишенимин жогорулатат.