Қателерді автоматты түрде түзету

1) Мақсаты мен қағидаттары

Мақсаты: MTTR-ді қысқарту және SLO-ны, түсімді және талаптарға сәйкестікті сақтай отырып, оқыс оқиғалардың өршуін болдырмау.

• SLO-first: автоматты әрекеттерге тек бюджетке қате төнген жағдайда ғана рұқсат етіледі.
• Қауіпсіздік ең алдымен: ең аз blast-radius, айқын лимиттер мен таймбокстар.
• Explainable by design: әрбір әрекет түсінікті және аудиттелетін.
• Rollback-дайындық: кез келген қадам қайтару критерийлерімен сүйемелденеді.
• Тәуекел жоғары жерде Human-in-the-loop: P1-сыни өзгерістер - dual control немесе IC/он-коллмен растау арқылы (егер саясатта өзгеше белгіленбесе).

2) Терминдер

Auto-remediation: адамның қатысуынсыз оқиғаға бағдарламалық реакция (алерт/аномалия).
Guardrails: шектеу саясаты (шекті, ұзақтығы, әрекеттердің саны, әсер ету аймағы).
Runbook-Action: алдын ала/кейін тексерулермен және кері қайтарумен атомарлық әрекет.
Decision Engine: оқиғаны саясатпен салыстырып, әрекетті іске қосатын қызмет.

3) Шешім сәулеті

1. Сигналдар: SLO/burn-rate, KRI, синтетика, RUM, deep-health.
2. Контекст корреляциясы: релиздер, фичфлагтар, жоспарлы жұмыстар, тәуелді провайдерлер.
3. Decision Engine: ережелер/саясат (policy-as-code), импакт пен тәуекелді бағалау, сценарийді таңдау.
4. Орындау: runbook әрекеттерінің оркестрі (іспеттестік, джиттермен ретра).
5. Бақылау: алдын ала валидаторлар, пост-верификаторлар, таймбокс, кері қайту.
6. Аудит және бақылау: іс-әрекет трейсі, жетістік метрикасы, журнал (WORM/immutable).
7. Коммуникация: статус-бет (Comms Lead арқылы), вар-рум, саппорт үшін макростар.

4) Саясат және рұқсаттар (policy-as-code)

• `allow if burn_rate(payments. auth) > fast && impact>threshold && psp_alt. healthy && within_limits("psp_reroute")`

• `allow if p99(bet_settlement)>3x && queue_lag>limit && feature("replay_center"). enabled`

• `allow if consumer_lag>target && cost_budget. ok && region_capacity. available`

• `allow if export_spike && no_ticket && data_class=PII -> action=block + notify(Compliance)`

Әрбір саясат мыналарды қамтиды: шарт, әрекет, лимит (scope/уақыт/жиілік), табыс критерийлері, кері қайтару.

5) Қауіпсіз әрекеттер каталогы (атомарлық runbook-actions)

Төлемдер: трафикті баламалы PSP/банкке ауыстыру; health × fee × conversion роутингінің басымдықтарын өзгерту; жеңілдетілген 3DS қосыңыз; джиттермен ретрайлардың лимиттерін арттыру.
Ставкалар/ойындар: сеттла воркерлерін масштабтау; cache-warmup қосыңыз; сындарлы емес фичтерді (анимациялар, қайталама фидтер) уақытша өшіру; waiting-room/queue-page қосылсын.
Инфрақұрылым: тозатын даналарды (outlier-detector) алып тастау, трафикті көрші AZ/аймаққа эвакуациялау; пул/квотаны ұлғайту; линт тексерулері бар воркерлерді қайта іске қосу.
Деректер/кезектер: партияларды қайта бөлу; тұтынушыларды cap-қа дейін көтеру; read-трафикті салауатты репликаға ауыстыру; трассалардың бейімделген семплингін қосу.
Қауіпсіздік/комплаенс: PII экспортын тикетсіз уақытша бұғаттау; қорытындылардың velocity-лимиттерін күшейту; сезімтал операцияларға dual control қосыңыз.
Комм-қабат: Comms Lead үшін статустың авто-жоба жобасы + апдейт слоттары; PSP деградациясы кезінде серіктестерді хабардар ету.

6) Алдын ала және кейінгі валидация

• Проблеманың шынайы және жаңа екенін тексеру (N-M терезесінен; сайленс/жоспарлы жұмыстар жоқ).
• Іс-әрекетке саясаттың рұқсат бергеніне және ресурстық бюджет екеніне көз жеткізу.
• Құнын бағалау (FinOps) және комплаенс-шектеулер.

• Burn-rate/метриктің төмендеуін растау; нәтижені жазу; шарттары бойынша қайтаруды (auto-rollback) жоспарлау.

7) Rollback и “escape hatch”

Метрлерді тұрақтандыру кезінде және max-TTL әрекеті арқылы авто-қайтару.
Варрумда IC/он-колла үшін кері қайтару түймешігі.
Break-glass тек авариялық қол жеткізу үшін; пост-аудит міндетті.

8) Алертингпен және инциденттермен интеграциялау

Кез келген auto-әрекет инцидент карточкасына тіркеледі: кім/не/қашан/неге, нәтиже, кестеге сілтемелер.
Пейджер дубликаттар үшін естіледі, бірақ сәтсіз авто-фикстер үшін емес (эскалация).
Мәртебе-бет үлгі бойынша Comms Lead арқылы жаңартылады.

9) Қауіпсіздік және комплаенс дизайны

Оркестратор үшін ең аз артықшылықтар; әрекетке/доменге жеке рөлдер.
high-risk үшін SoD және dual control: PSP-роутинг, бонустар лимиттері, PII экспорты.
Кіріс сигналдары мен саясат нұсқаларын қоса алғанда, барлық автоматты шешімдердің WORM/immutable аудиті.
PII-гигиена: лейблдер мен іс-қимыл логтарында жеке сәйкестендіргіштерсіз.

10) Авто-контурларды бақылау

Метрика: success-rate әрекеттері, реакция уақыты,% кері қайтару, MTTR үнемдеу, SLO-ға әсер ету.
Трестер: «сигнал → шешім → әрекет → әсер» үшін өтпелі trace.
Логи: құрылымдалған, policy_id, нұсқалары және алдын ала/кейінгі тексерулері бар.
Дашбордтар: Exec (түсімге әсер ету/SLO), Ops (әрекет матрицасы × домендер), FinOps (авто-өлшем құны).

11) Сценарий мысалдары (iGaming)

11. 1 PSP-деградациясы (TR/EU)

Сигнал: auth-success PSP-1 ↓ 10 минут ішінде 25%, қамту> 30% транзакциялар.
Әрекеттер: трафиктің 40% -ын PSP-2/3 қайта бөлу; жеңілдетілген 3DS қосыңыз; джиттермен бірге X банкінің сұрауларының ретрациясын көтеру.
Шектері: бір баламалы PSP-ге жалпы трафиктің 60% артық емес; TTL 45 мин.
Rollback: 15 минут ішінде мақсатты ≥ success-rate қалыпқа келтірілген кезде.

11. 2 Мөлшерлемелер кестесінде p99 өсуі

Сигнал: p99 «bet → settle»> 3 × нормалар + consumer-lag> табалдырық.
Әрекеттер: scale-out воркерлер cap дейін; коэффициенттер кэшінің қызуы; қайталау тарихын уақытша өшіру.
Rollback: 20 минут нормада headroom> X және p99 кейін.

11. 3 БД репликасы артта қалды

Сигнал: replication-lag> N секунд, lock-wait өсуі.
Іс-әрекеттер: read-трафикті салауатты репликаға апару; төмен басымдықты throttling write операцияларын қосу.
Rollback: lag қалыпқа келтірілгеннен және блоктау қателерінен кейін.

11. 4 Экспорт спайк PII

Сигнал: rate экспорт> K × базалық сызығы, тикеттер жоқ.
Әрекеттер: экспорт блогы, Compliance хабарламасы, dual control қосылымы.
Rollback: сұраулар расталғаннан және ауытқулар жабылғаннан кейін.

12) KPI и KRI

MTTR ↓ авто-фикс іске қосылған оқиғалар үшін.
TTD → Action: детектордан әрекетті орындауға дейінгі уақыт.
Success-rate және Rollback-rate (төмен - жақсы, егер жалған іске қосылудан болмаса).
False-action rate (әсерсіз немесе теріс әсері бар әрекеттер).
SLO impact saved (минут/түсім, алдын алынған айыппұлдар).
Pager fatigue ↓ (сол/үздік SLO кезінде қол пейджерлері аз).

13) Енгізудің жол картасы (8-12 апта)

Нед. 1-2: 3-5 жоғары ROI сценарийін таңдау (PSP-фейловер, autoscale lag, feature-degrade); саясатты/лимиттерді/қайтарымдарды сипаттау.
Нед. 3-4: әрекеттер оркестрін, құпиялар мен рөлдерді, инцидент-платформамен интеграцияны іске асыру; бақылау мен аудитті қосу.
Нед. 5-6: «көлеңкелі» режимдегі ұшқыш (simulate-only) → A/B-әсерді бағалау; содан кейін шағын қамтылатын сынамаға қосу керек.
Нед. 7-8: сценарийлер каталогын кеңейту (ДБ/кэш/кезек/фронт), мәртебе-парақпен және Comms байланыстыру.
Нед. 9-10: FinOps-лимиттердің ережелерін қосу (құны/SLI), high-risk үшін dual control енгізу.
Нед. 11-12: tabletop/chaos-жаттығулар, KPI/KRI қайта қарау, гайдлайндарды жариялау және он-колла оқыту.

14) Артефактілер мен шаблондар

Auto-Remediation Policy: шарт, әрекет, лимиттер, TTL, кері қайту, иесі, тәуекел сыныбы.
Runbook-Action Spec: алдын ала шарттар, қадамдар, тексерулер, қателер, мониторинг, кері қайтару логикасы.
Change-Control: саясат, PR-ревью, тесттер, дифф және нұсқаны кім басқара алады.
Evidence Pack: SLO-ға әсер ету өлшемдері, пост-мортем/аудит үшін есеп.

15) Антипаттерндер

«Симптомды емдейміз» себебін тексермей және SLO → флаппинг.
Қайтарымсыз әрекеттер және TTL → қатып қалған тозулар.
guardrails → каскадты ақаулары жоқ әмбебап скрипттер.
Аудиттің және саясатты нұсқалаудың болмауы.
Құн игноры (лимитсіз автоскейл) және комплаенс (PII-экспорт).
P1-тәуекелдерінде Human-in-the-loop жоқ толық автономия.

Жиынтығы

Қателерді автоматты түрде түзету - бұл басқарылатын контур: SLO сигналдары → guardrails саясаты → қауіпсіз runbook әрекеттері → бақылау және аудит → оқыс оқиғаларды оқыту. Мұндай тәсіл MTTR-ді азайтады, түсімді шыңдарда сақтайды және қауіпсіздік пен реттегіш талаптарымен үйлесімді болып қала отырып, он-колдан рутинаны алады.