Predicción de la carga y los riesgos

1) Por qué es necesario

• Planificación de capacidad (planificación de capacidad) y presupuestación;
• Configuración de SLO/SLI, presupuestos de errores y políticas de alerta;
• selección de la estrategia de lanzamiento (canario, azul-verde, dark launch);
• gestión de riesgos: prevención de degradaciones, colas, drop de transacciones, multas SLA.

2) Conceptos básicos

Carga (Load): intensidad de eventos/operaciones entrantes (RPS, TPS, events/sec), así como consumo de CPU/RAM/IO/NET.
Capacidad (Capacity): rendimiento sostenible y alcanzable a un costo y SLO especificados.
Riesgo: probabilidad × impacto de un evento no deseado (falla SLA, incidente, sobrecosto).
Indicadores iniciales: métricas que crecen antes del incidente (latency p95/p99, queue depth, GC pauses, error rate, saturation).
Margen de seguridad (Headroom): relación entre la capacidad disponible y la carga actual.

3) Fuentes de datos y métricas

Fuentes: logs y métricas (Prometheus/OTel), tracks, eventos empresariales (Kafka), CDN/WAF/AMB logs, datos de marktech (campañas), calendarios de eventos, facturación/dados (FinOps), fichas/lanzamientos, colas (Kafka/Rabbit), CD/caché.

• Tráfico: RPS/TPS, usuarios activos (DAU/MAU), sesiones, conversión de pasos.
• Rendimiento: latency p50/p95/p99, throughput, errores (4xx/5xx), timeouts, retries.
• Ресурсы: CPU/LoadAvg, RAM/GC, disk IOps/lat, network bw, connection pool usage.
• Colas: backlog, lag, lag consumer, time-in-queue.
• БД: QPS, lock waits, slow queries, replication lag.
• Кэши: hit ratio, eviction rate, hot keys.
• Nivel de negocio: depósitos/apuestas por minuto, fallos de pago, cola KYC/AML.
• Fiabilidad: SLI/SLO, error budget burn rate (1h/6h/24h).

4) Modelos básicos de predicción

1. Determinista y calendario: regresión por conductores conocidos (fecha/hora, partidos, torneos, pools de mercado, geo, cañones de acción).
2. Estadística: estacionalidad/tendencia (ARIMA/ETS), regresión con las vacaciones, enfoques similares a Prophet.
3. ML/ensembles: boosting/Random Forest/XGBoost/LightGBM; añadimos los fichajes: tiempo, tipo de cambio, noticias del deporte, eventos de la competencia.
4. Mezclado: estadísticas para estacionalidad básica + ML para factores exógenos (campañas, lanzamientos).
5. Cuoti/Cuantili: pronóstico no sólo de la media, sino también de p90/p95 para la planificación de la sala de cabecera.

Salidas del modelo: pronóstico de RPS/TPS y distribución de latencia/error en horizontes T + 1h/T + 24h/T + 7d/T + 30d a intervalos de confianza.

5) Colas y límites: mini teoría

Ley de Little: L = λ × W (número medio en el sistema = intensidad × tiempo medio).
Cuellos de botella: DB/caché/bus/grupo de conexiones/límites de API de los proveedores.
Saturation: cuando se carga> 70-80% la latencia crece no lineal.
Backpressure: protección de los consumidores contra la sobrecarga (límites, colas, políticas de shed, degradación de fich).

6) Planificación de capacidad (Capacity Planning)

Método «de SLO»: la latencia p99 requerida y la tasa de error válida → qué tipo de paso se mantiene en la sala N%.
Método «desde escenarios»: «Partido LCH», «Black Friday», «Torneo a gran escala» → principales cuantiles de tráfico + fallo de un único AZ/nodo.
Método «costo-aware»: seleccione configuraciones por $/RPS, teniendo en cuenta descuentos, reservas, spot/suscripciones, autoscaling.

Artefactos: Capacity Model per servicio, límites y cuotas (API, DB, colas), tabla «cuello de botella → acción» (charding, caché, réplica, CQRS, async).

7) Gestión de riesgos

Registro de riesgos: identificación, descripción, probabilidad, impacto (finanzas/SLA/regulaciones), propietarios, planes de prevención/reacción.
Categorías: carga (sobrecarga), infraestructura (fail de AZ/región), dependencias (proveedores de pago), lanzamiento (retroceso), productos (la campaña se disparó más fuerte que las expectativas), cumplimiento (límites/regulador).
Matriz: Heatmap (Bajo/Medio/Alto × Impacto).
KRI (Key Risk Indicators): profundidad de las colas, aumento de p99, caída de hit-ratio, tasa burn> 2 ×, errores de proveedores.

8) Alerta temprana y alerting

Early-warning SLIs: crecimiento de p95, reducción de los hits de caché, aumento de la latencia del tail, crecimiento de retry/timeout, aumento de la tasa de consumo.
Alertas de tasa de error de presupuesto: ventanas rápidas (1h) y lentas (6-24h).
Alertas basadas en umbrales y anomalías: umbrales base + modelos de anomalías (IQR, STL, detectores de flujo).
Agregación de señales: Corelación de eventos de lanzamientos/fichflags/campañas con degradación.

9) Análisis escénico y «what-if»

«Si el aumento del tráfico es de + 60% en 10 minutos?»

«Si CDN/WAF corta el 5% del tráfico legítimo?»

«Si el proveedor de pago pierde el 30% de las autorizaciones?»

Para cada escenario: métricas esperadas, cuellos de botella, pasos de degradación (toggle off no-critic fich), manual/auto-skale, conmutación de proveedores.

10) Pruebas y verificación de predicciones

Pruebas de carga: tráfico sintético (k6/JMeter/Locust), perfiles de «mezcla real».
Días de juego/Chaos: desactivación de AZ, degradación de la base de datos, agotamiento de la agrupación.
Shadow/Dark: tráfico «a la sombra» de una nueva ruta sin afectar al prod.
Retrospectiva de precisión: MAPE/SMAPE/RMSE + post-mortem "¿dónde se equivocaron? ”.

11) Procesos y roles

• Responsable: SRE/Plataforma/Análisis DS.
• Accountable: Head of Ops/SRE.
• Consulted: Dev Leads, Marketing, Finance (FinOps).
• Informed: Support/Compliance/Business.
• Cadens: apdates semanales de predicciones, revisión mensual de SLO/Capacity, var rooms pre-eventos.

12) Herramientas y pila

Datos: Kafka, ClickHouse/BigQuery, Lake/DWH, dbt.
Monitoreo: Prometheus, Grafana, Tempo/Jaeger, Loki/ELK, OTel.
ML/Predicciones: Airflow/Argo, feature store, modelos ARIMA/ETS/GBM, servicio de predicciones (gRPC/NAT).
Тесты: k6/JMeter/Locust, Fault-injection/Chaos Mesh.
Control: Características Flags, Autoscaling (HPA/KEDA), Policy-as-Code.
FinOps: explorador de costo, showback/chargeback, dashboards $/RPS.

13) Metodología práctica de implementación (roadmap)

1. Inventario de métricas y dependencias → mapa de rutas críticas (depósito, tasa, retiro).
2. SLO/SLI y presupuestos de error → objetivo p95/p99, error-rates, burn-alertas.
3. Recopilación y limpieza de datos → una sola capa de eventos/métricas, deduplicación, retraso.
4. Pronóstico básico de estacionalidad → patrones diurnos/semanales, vacaciones/partidos.
5. Los conductores de expansión → campañas de mercado, lanzamientos, geo, ventanas de pago.
6. Modelos de capacidad por servicio → sala de cabecera, límites, cuellos de botella, plan de optimización.
7. Guión «what-if» y tabla de degradación (kill-switches, read-only, grace).
8. Verificación a través de pruebas/sombras → ajuste de modelos y umbrales.
9. Rutina operativa → predicciones semanales, revuelo previo, retro post-evento.
10. Automatización → Auto Skale según pronóstico, Auto Translation Providers, Auto-Fichflags.

14) Antipattern

Pronóstico «sólo en promedio» sin colas p95/p99.
Ignorar las colas y las piscinas - los problemas aparecen en el pico.
«Manualmente a la vista» sin validación y métricas de precisión.
No hay relación con los costos → el exceso de escala.
Falta de un plan de degradación y fichflags.

15) Dashboards y presentación de informes

Exec-dashboard: pronóstico RPS/TPS (p50/p90/p95), headroom, tarjeta de calor de riesgo, burn-rate.
Tam-dashboard: p95/p99 latency por servicios, colas/lag, hit-ratio, pool de conexiones, DB/caché, límites de APIs externas.
Financiero: $/RPS, previsión de costos, efecto de optimización.
Exactitud de las predicciones: predicción vs real, error por períodos/geo/canales.

16) Patrones de artefactos

Risk Register: ID, riesgo, probabilidad/impacto, propietario, KRI, plan de prevención, plan de reacción.
Capacity Sheet: servicio, throughput actual, límite, cuello de botella, sala de cabecera, extensión requerida, ETA/costo.
What-If Cards: script, factores de entrada, métricas esperadas, acciones, criterio de finalización.
Playbook Degrade: lista de fichas para desconectar, niveles de QoS, rutas a caché/static, límites retry/timeout.

17) Funciones clave de KPI

Ejecución de SLO (% de los períodos en el objetivo), tiempo de respuesta a los primeros indicadores, precisión de predicciones (MAPE/SMAPE), número de incidentes debido a la sobrecarga, proporción de escalas automáticas, ahorro de $/RPS sin degradación de SLO.

Resultado

La predicción sistémica de carga y riesgo es un conjunto: datos cualitativos → métricas significativas → modelos verificables → escenarios y playbooks → automatización de escalado y degradación. Este circuito garantiza la sostenibilidad, la previsibilidad del gasto y una experiencia de usuario estable incluso en picos extremos.