Auto-healing и самовосстановление

(Раздел: Технологии и Инфраструктура)

Краткое резюме

Auto-healing — это не «магия Kubernetes», а набор дисциплин: корректные пробы и лимиты, контролируемые ретраи, изоляция неисправных инстансов, автоматика по SLO и рунабук-действия по кнопке/ботом. Цель — сократить MTTR без «снежного кома» перегрузок и сохранить p95/p99, платежи и TTW даже в пике.

1) Принципы самовосстановления

1. Fail-fast & isolate: быстро выявляйте и изолируйте плохие поды/инстансы.
2. Backoff + jitter: любой ретрай/скейл-аут — с экспоненциальной задержкой и джиттером.
3. SLO-aware: автоматика включается/усиливается при fast-burn бюджета ошибок.
4. Idempotency: повтор операций безопасен (особенно платежи/очереди).
5. Defense in depth: пробы, квоты, лимиты, circuit-breaker, outlier-ejection, rate-limit, деградационный режим.

2) Базис в Kubernetes

2.1 Пробы: liveness / readiness / startup

startupProbe защищает от преждевременных рестартов тяжелых сервисов.
readinessProbe определяет готовность к трафику (прогретые кэши/соединения).
livenessProbe перезапускает «зависшие» процессы.

yaml readinessProbe:
httpGet: { path: /health/ready, port: 8080 }
periodSeconds: 5 timeoutSeconds: 1 failureThreshold: 3

livenessProbe:
httpGet: { path: /health/live, port: 8080 }
initialDelaySeconds: 20 periodSeconds: 10 failureThreshold: 3

startupProbe:
httpGet: { path: /health/startup, port: 8080 }
periodSeconds: 5 failureThreshold: 30

2.2 Лимиты, PDB и приоритеты

requests/limits исключают «noisy neighbor».
PodDisruptionBudget (PDB) предотвращает одновременное падение всех подов.

yaml apiVersion: policy/v1 kind: PodDisruptionBudget spec:
minAvailable: 2 selector: { matchLabels: { app: payments-api } }

PriorityClass для критичных путей (payments, gateway).

2.3 Перезапуск и стратегия деплоя

`maxUnavailable: 0` для критичных сервисов; rollingUpdate с малым шагом.
PodAntiAffinity распределяет поды по нодам/зонам.

3) Автоскейлинг и событийное масштабирование

HPA (CPU/пользовательские метрики)

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler spec:
minReplicas: 3 maxReplicas: 30 metrics:
- type: Resource resource: { name: cpu, target: { type: Utilization, averageUtilization: 70 } }
- type: Pods pods:
metric:
name: http_requests_per_second target:
type: AverageValue averageValue: "50"

VPA

Используйте для фоновых воркеров/пакетных задач; в прод-API — осторожно (перезапуски).

KEDA (очереди/внешние события)

Триггеры по Kafka lag, RabbitMQ, Redis, Prometheus-запросам — увеличиваем потребителей, когда накапливается работа.

4) Сетевые защиты: circuit-breaker и выбраковка «плохих»

Envoy/Istio outlier detection (идея)

yaml outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Circuit breaker ограничивает одновременные запросы/подключения, чтобы не уронить зависимость.

Rate limiting

Лимитируйте входные вызовы/PSP-маршруты/игровых провайдеров, чтобы волна ретраев не усиливала аварию.

5) Ретраи, таймауты и backoff с джиттером

Правило: сначала таймаут, затем ретрай, всегда с джиттером и ограничением попыток.

python def backoff(attempt, base=0. 1, cap=2. 0):
import random, math sleep = min(cap, base (2 attempt))
jitter = random. uniform(0, sleep 0. 4)
return sleep + jitter

Для платежей — идемпотентные ключи + дедупликация.
Для очередей — dead-letter и отложенные повторные попытки.

6) Самовосстановление в очередях/стриминге

DLQ + алерты на рост; изолированный репроцессинг.
Контроль lag: авто-скейл консьюмеров (KEDA), backpressure к продюсерам.
Exactly-once/at-least-once — выбирается осознанно; операции — идемпотентны.

7) Кэши и warm-up

Версионные ключи (`v2:`) для безопасной инвалидации/отката.
Теплые пулы соединений к БД/PSP; прогрев перед переключениями (blue-green/canary).
Stale-while-revalidate для снижения «холодных» ударов по БД.

8) Auto-remediation по SLO (действия по сигналам)

• Stop canary / rollback при fast-burn.
• Scale-out воркеров при росте `queue_lag_seconds`.
• Включение degrade-mode (упрощенный UX, отключение тяжелых фич).
• Переключение PSP-маршрута при timeouts spike.
• Активация feature-flag kill-switch.

yaml alert: WithdrawalsQueueLag labels: { action: "scale_workers", target: "withdrawals-consumers", by: "+5" }

9) Деградационный режим (graceful degradation)

Упростить UI (меньше запросов), выключить «дорогие» виджеты.
Больше кэширования, меньше фан-аутов/аггрегаций.
Для LLM/рекомендаций — снизить размер контекста/модель, включить «fast path».

10) GitOps-подход к автоисправлениям

Все политики auto-remediation и параметры (таймауты, пороги) — в Git.
Любое автоматическое действие создает аннотацию в Grafana и запись в журнале изменений.
Canary-политики и SLO-гейты — тоже код.

11) Хаос-инжиниринг: проверяем, что healing работает

Инъекции сбоев: задержки сети, падение подов, отказ PSP-эмулятора, лаг очереди.
Сценарии game-day: измеряем MTTR, качество авто-действий, наличие артефактов.
Результаты → обновление рунабуков, порогов, фичефлагов.

12) Наблюдаемость для auto-healing

Exemplars: быстрый прыжок из метрики p95 в трассу.
Логи с `trace_id` и полями `retry`, `attempt`, `degrade_mode=true`.
Дашборды release compare (stable vs canary), карта SLO.
Аудит авто-действий: кто/что/когда, исходные метрики, результат.

13) Безопасность и соответствие

Никаких секретов в логах/метриках авто-ремедиаций.
Для действий над платежами — двойное подтверждение/роль.
Гео/PII — не уводите трафик в «не тот» регион при фейловере.

14) Практические шаблоны

Istio DestinationRule — connection pool & outlier

yaml trafficPolicy:
connectionPool:
http: { http1MaxPendingRequests: 1000, maxRequestsPerConnection: 100 }
outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Flagger — canary c автопромоушеном/откатом

yaml analysis:
interval: 1m threshold: 5 metrics:
- name: request-success-rate thresholdRange: { min: 99 }
- name: request-duration thresholdRange: { max: 300 }
webhooks:
- name: smoke url: http://tester/smoke

KEDA ScaledObject — Kafka lag

yaml triggers:
- type: kafka metadata:
topic: withdrawals bootstrapServers: broker:9092 consumerGroup: w-consumers lagThreshold: "5000"

15) Чек-лист внедрения

1. Настроены startup/readiness/liveness и health-эндпоинты.
2. Лимиты/запросы ресурсов + PDB/anti-affinity.
3. HPA/KEDA для API и воркеров; метрики lag/throughput.
4. Circuit-breaker, outlier-ejection, rate-limit в гейте/меше.
5. Ретраи с backoff+jitter, идемпотентность платежных операций.
6. Версионные кэши и degrade-mode.
7. SLO-гейты → авто-действия (rollback/scale/reroute/kill-switch).
8. GitOps-код политик + аудит действий, аннотации релизов.
9. Хаос-тесты и game-day на ключевые сценарии.
10. Дашборды MTTR/Alert Quality и отчеты по авто-ремедиациям.

16) Анти-паттерны

Liveness «прибивает» процесс из-за временной зависимости → флаппинг.
Ретраи без таймаутов/джиттера → шторм запросов.
HPA по CPU при IO-зависимых сервисах → «в никуда».
Общий кэш без версий при откатах → порча данных.
Автоматические действия без аудита/Runbook URL.
Нет DLQ/метрик lag → тихое накопление долга.
Смешение auto-healing и «скрытие проблем»: автоматика лечит симптомы, корень не устраняется → повтор инцидентов.

Итоги

Самовосстановление — это инженерная дисциплина: качественные пробы и лимиты, грамотные ретраи и изоляция, автоматические действия по SLO-сигналам, плюс хаос-проверки и аудит. Такой контур делает платформу устойчивой к сбоям, сокращает MTTR и бережет ключевые метрики iGaming — p99, конверсию платежей и TTW — даже в самые горячие часы.