Auto-healing y auto-recuperación

(Sección: Tecnologías e Infraestructura)

Resumen breve

Auto-healing no es la «magia de Kubernetes», sino un conjunto de disciplinas: muestras y límites correctos, retraídas controladas, aislamiento de instancias defectuosas, automatización por SLO y runaback-action por botón/bot. El objetivo es reducir el MTTR sin sobrecargas de «bola de nieve» y mantener p95/p99, pagos y TTW incluso en su punto máximo.

1) Principios de auto-recuperación

1. Fail-fast & isolate: identifique y aísle rápidamente las pistas/instancias malas.
2. Backoff + jitter: cualquier retray/skale out - con retardo exponencial y jitter.
3. SLO-aware: la automatización se activa/amplifica con un presupuesto de error rápido.
4. Idempotency: la repetición de operaciones es segura (especialmente pagos/colas).
5. Defense in depth: muestras, cuotas, límites, circuit-breaker, outlier-ejection, rate-limit, modo de degradación.

2) Base en Kubernetes

2. 1 Muestras: liveness/readiness/startup

startupProbe protege contra los restarts prematuros de servicios pesados.
readinessProbe determina la preparación para el tráfico (cachés/conexiones calientes).
livenessProbe reinicia los procesos «dependientes».

yaml readinessProbe:
httpGet: { path: /health/ready, port: 8080 }
periodSeconds: 5 timeoutSeconds: 1 failureThreshold: 3

livenessProbe:
httpGet: { path: /health/live, port: 8080 }
initialDelaySeconds: 20 periodSeconds: 10 failureThreshold: 3

startupProbe:
httpGet: { path: /health/startup, port: 8080 }
periodSeconds: 5 failureThreshold: 30

2. 2 Límites, PDB y prioridades

requests/limits excluyen «noisy neighbor».
PodDisruptionBudget (PDB) evita la caída simultánea de todas las pistas.

yaml apiVersion: policy/v1 kind: PodDisruptionBudget spec:
minAvailable: 2 selector: { matchLabels: { app: payments-api } }

PriorityClass para rutas críticas (payments, gateway).

2. 3 Reinicio y estrategia de desinstalación

'maxUnavailable: 0' para servicios críticos; rollingUpdate con paso pequeño.
PodAntiAffinity distribuye las podas por nodos/zonas.

3) Auto Scaling y escala de eventos

HPA (CPU/métricas personalizadas)

yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler spec:
minReplicas: 3 maxReplicas: 30 metrics:
- type: Resource resource: { name: cpu, target: { type: Utilization, averageUtilization: 70 } }
- type: Pods pods:
metric:
name: http_requests_per_second target:
type: AverageValue averageValue: "50"

VPA

Utilice para tareas de fondo/por lotes; en prod-API - precaución (reinicios).

KEDA (colas/eventos externos)

Los desencadenantes de Kafka lag, RabbitMQ, Redis, Prometheus-request - aumentar los consumidores cuando el trabajo se acumula.

4) Protección de red: circuit-breaker y selección de «malo»

Envoy/Istio outlier detection (идея)

yaml outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Circuit breaker limita las solicitudes/conexiones simultáneas para no dañar la dependencia.

Rate limiting

Limite las llamadas de entrada/rutas PSP/proveedores de juegos para que la ola de retraídas no amplifique el accidente.

5) Retraídas, temporizadores y backoff con el jitter

Regla: primero taimaut, luego retray, siempre con jitter y limitación de intentos.

python def backoff(attempt, base=0. 1, cap=2. 0):
import random, math sleep = min(cap, base (2 attempt))
jitter = random. uniform(0, sleep 0. 4)
return sleep + jitter

Para pagos: claves idempotentes + deduplicación.
Para las colas, dead-letter y retornos aplazados.

6) Auto-recuperación en colas/streaming

DLQ + alertas de crecimiento; Recreccionamiento aislado.
El control de la lag: auto-skale de los consumers (KEDA), backpressure a los productores.
Exactly-once/at-least-once - elegido conscientemente; operaciones - idempotentes.

7) Caché y warm-up

Llaves de versión ('v2:') para invalidez/reversión segura.
Grupos de conexiones calientes al DAB/PSP; calentamiento antes de cambiar (azul-verde/canario).
Stale-while-revalidate para reducir los golpes «fríos» en la DB.

8) Auto-remediación por SLO (acciones por señales)

• Stop canary / rollback при fast-burn.
• Scale-out workers cuando 'queue _ lag _ seconds' crece.
• Habilita el modo degrade (UX simplificado, desactivación de fiches pesados).
• Cambia la ruta PSP con timeouts spike.
• Activación de la función-flag kill-switch.

yaml alert: WithdrawalsQueueLag labels: { action: "scale_workers", target: "withdrawals-consumers", by: "+5" }

9) Modo de degradación (degradación graceful)

Simplifique la IU (menos consultas), apague los widgets «caros».
Más caché, menos fan outs/agregaciones.
Para LLM/recomendaciones - reducir el tamaño del contexto/modelo, habilitar «fast path».

10) Enfoque de GitOps para la automoción

Todas las directivas y opciones de auto-remediación (temporizadores, umbrales) están en Git.
Cualquier acción automática crea una anotación en Grafana y una entrada en el registro de cambios.
Canary-Policy y SLO-Gates son también un código.

11) Ingeniería del caos: verificamos que la salud funciona

Inyecciones de fallas: retrasos en la red, caídas en las pistas, fallas en el emulador PSP, maga de cola.
Scripts game-day: medimos MTTR, la calidad de las acciones automáticas, la presencia de artefactos.
Resultados → actualización de runabooks, umbrales, fichflags.

12) Observabilidad para auto-salud

Exemplars: salto rápido de la métrica p95 a la pista.
Los registros con 'trace _ id' y los campos 'retry', 'attempt',' degrade _ mode = true '.
Dashboards release compare (stable vs canary), mapa de SLO.
Auditoría de auto-acciones: quién/qué/cuándo, métricas originales, resultado.

13) Seguridad y cumplimiento

No hay secretos en los logotipos/métricas de auto-remediaciones.
Para las acciones de pago, doble confirmación/función.
Geo/PII - No desvíe el tráfico a la región «equivocada» cuando Faylover.

14) Plantillas prácticas

Istio DestinationRule — connection pool & outlier

yaml trafficPolicy:
connectionPool:
http: { http1MaxPendingRequests: 1000, maxRequestsPerConnection: 100 }
outlierDetection:
consecutive5xx: 5 interval: 5s baseEjectionTime: 30s maxEjectionPercent: 50

Flagger - canary con promoción automática/eliminación

yaml analysis:
interval: 1m threshold: 5 metrics:
- name: request-success-rate thresholdRange: { min: 99 }
- name: request-duration thresholdRange: { max: 300 }
webhooks:
- name: smoke url: http://tester/smoke

KEDA ScaledObject — Kafka lag

yaml triggers:
- type: kafka metadata:
topic: withdrawals bootstrapServers: broker:9092 consumerGroup: w-consumers lagThreshold: "5000"

15) Lista de verificación de implementación

1. Startup/readiness/liveness y los endpoints de salud están configurados.
2. Límites/solicitudes de recursos + PDB/anti-affinity.
3. HPA/KEDA para API y workers; métricas lag/throughput.
4. Circuit-breaker, outlier-ejection, rate-limit en gate/mesha.
5. Retrés con backoff + jitter, idempotencia de las operaciones de pago.
6. Cachés de versión y modo degrade.
7. SLO-gates → acción automática (rollback/scale/reroute/kill-switch).
8. GitOps código de directivas + auditoría de acciones, anotaciones de versiones.
9. Pruebas de caos y día de juego en escenarios clave.
10. Los dashboards MTTR/Alert Quality y los informes de auto-remediaciones.

16) Anti-patrones

Liveness «clava» el proceso debido a la dependencia temporal → flapping.
Retiros sin temporizadores/jitter → una tormenta de peticiones.
HPA por CPU en servicios dependientes de IO → «a ninguna parte».
Caché compartida sin versiones cuando se revierten → se dañan los datos.
Acciones automáticas sin auditoría/URL de Runbook.
No hay DLQ/métricas de lag → acumulación silenciosa de deuda.
Mezclar auto-healing y «ocultar problemas»: la automatización trata los síntomas, la raíz no se elimina → la repetición de incidentes.

La auto-recuperación es una disciplina de ingeniería: muestras y límites de calidad, retraídas y aislamiento competentes, acciones automáticas sobre señales SLO, además de auditorías y auditorías de caos. Este circuito hace que la plataforma sea resistente a fallas, reduce el MTTR y cuida las métricas clave de iGaming - p99, conversión de pagos y TTW - incluso en las horas más calientes.