Operaciones y Gestión → Reducción de incidentes

Reducir las consecuencias de los

1) Objetivos y principios

Objetivo: evitar que el incidente se intensifique en la negativa del servicio y minimizar los daños: por tiempo de inactividad, dinero, reputación y riesgos regulatorios.

• Containment first: detener la propagación del fallo (blast radius ↓).
• Degradación Graceful: mejor «funciona peor» que «no funciona en absoluto».
• Decouple & fallback: componentes independientes y alternativas seguras.
• Decision speed> perfect info: acciones reversibles rápidas (feature flag, route switch).
• Comunicate early: una fuente de verdad, estados claros y ETA por etapas.

2) Modelo de incidente y taxonomía de las consecuencias

Impacto: usuarios (región, segmento), dinero (GGR/NGR, procesamiento), cumplimiento (KYC/AML), socios/proveedores.
Tipos: degradación del rendimiento, falla parcial de la dependencia (PSP, KYC, proveedor de juegos), retroceso de la liberación, incidente de datos (retardo de escaparates/ETL), DDoS/spike de carga.
Niveles (P1-P4): desde el downtime crítico del flow principal hasta el defecto local.

3) Patrones de reducción de efectos (técnicos)

3. 1 Localización y limitación de blast radius

Aislamiento por sharts/regiones: desactivamos la problemática shard/región, el resto continúan trabajando.
Circuit Breaker: elimina rápidamente las dependencias en caso de errores/tiempos de espera ⇒ protege a los agentes.
Bulkhead (particiones): grupos de conexiones/colas individuales para rutas críticas.
Traffic Shadowing/Canary: ejecuta parte del tráfico a través de la nueva versión antes de cambiar completamente.

3. 2 Degradación controlada (graceful)

Modo sólo lectura: bloqueo temporal de mutaciones (por ejemplo, apuestas/depósitos) mientras se mantiene la navegación y el historial.
Cortes funcionales: desactivar widgets/lendskapes menores, recomendaciones pesadas, búsquedas «calientes».
Cache follback: respuestas de servicio desde la caché stale (stale-while-revalidate), modelos simplificados.
Límites simplificados: reducir el tamaño del batch/page, extender el TTL, desactivar los filtros caros.

3. 3 Gestión de la carga

Shed/Throttle: descartar solicitudes redundantes «con razón»: por IP/clave/endpoint, con prioridad de operaciones centrales.
Backpressure: restricción de los productores a los consumidores de la ley; altavoz retry con jitter.
Queue shaping: colas dedicadas bajo P1-flow (pagos, autorización) y análisis de fondo.

3. 4 Interruptores rápidos

Características Flags & Kill-switch: desconexión instantánea de un fiche problemático sin lanzamiento.
Ruta de tráfico: conmutación de proveedor (PSP A→B), elusión del centro de datos de demolición, traducción a réplica «cálida».
Toggle confites: temporizadores, retraídas, límites QPS - a través de un centro de configuración con auditoría.

3. 5 Datos e informes

Mutaciones diferidas: entrada en outbox/registro seguida de entrega.
Denormalización temporal: reducción de la carga de DB por lectura de vitrinas materializadas.
Degrade BI: mostrar temporalmente el last-good-snapshot con la etiqueta «datos a las 12:00 UTC».

4) Ejemplos de dominio (iGaming)

Fallo del proveedor KYC: incluimos un proveedor alternativo; para los límites de «bajo riesgo»: verificación temporal en un escenario simplificado con límites de cuentas reducidos.
Alta latencia PSP: prioridad temporal en monederos locales, reducción de los límites de pago, poner una parte de los pagos en la cola «T + Δ».
Fallo del proveedor de juegos: ocultamos títulos/proveedores específicos, guardamos lobbies y alternativas, mostramos el banner «Se está trabajando, intente X/Y».

5) Organización y roles (ICS - Sistema de Comandos Incidentales)

IC (Incident Commander): coordinación única, priorización de acciones.
Ops Lead/SRE: contenido, rutinas, banderas de fichas, infraestructura.
Comms Lead: actualizaciones de estado, páginas de estado, chat/correo interno.
Subject Matter Owner: propietario del subsistema afectado (PSP, KYC, proveedor de juegos).
Liaison al negocio: producto, soporte, finanzas, cumplimiento.
Scribe: línea de tiempo, soluciones, artefactos para post-mortem.

Regla: no más de 7 ± 2 personas en el «war-room» activo, el resto son «bajo petición».

6) Comunicaciones

Canales: página de estado, canal interno # incident, PagerDuty/telemost, plantillas de apdate.

Tempo: P1 - cada 15-20 min; P2 — 30–60 minutos

Plantilla de apdate: lo que ha roto → quién se ha visto afectado → lo que ya se ha hecho → el siguiente paso → la referencia en el tiempo del próximo apdate.
Atención al cliente: macros y FAQ prediseñados para L1/L2, marcadores de degradación parcial, política de compensación.

7) Métricas de éxito y disparadores

MTTD/MTTA/MTTR, Containment Time, SLO Burn Rate (1h/6h/24h de la ventana).
Revenue at risk: estimación de GGR/NGR perdidos por segmento.
Blast radius%: porcentaje de usuarios/regiones/funciones influenciadas.
Comms SLA: la puntualidad de los apdates de estado.
False-positive/false-negative alertas, incidentes secundarios.

• p95 API clave> umbral de 5 min seguidos → habilitar el cache-follback y el trottling.
• Registro de consumo> 2 min → congelar los productores no críticos, elevar los workers.
• PSP success <97% 10 min → transferir una fracción del tráfico a PSP de respaldo.

8) Playbucks (comprimidos)

8. 1 «Latencia de ↑ en/api/depósito»

1. Comprobar error% y los temporizadores externos PSP → habilitar los temporizadores cortos y los retratos jitter.
2. Habilitar la caché de límites/referencias, deshabilitar las comprobaciones de sitio pesadas.
3. Transfiera parcialmente el tráfico a un PSP redundante.
4. Reducir temporalmente los límites de pago/depósito para reducir el riesgo.
5. Post-fix: índice/denorm, mejorar la asincronía.

8. 2 «KYC se cuelga»

1. Cambiar a un proveedor alternativo, habilitar «KYC simplificado» con restricciones.
2. Almacenar en caché los estados KYC para los que ya se han completado.
3. Comunicación: pancarta en el perfil, ETA.

8. 3 «ETL/BI se queda atrás»

1. Marcar los paneles «stale» + timestamp.
2. Pausa las recomposiciones pesadas, habilita las incrementales.
3. El paralelismo de los jobs ↑, prioridad en los escaparates con KPI operativos.

9) Soluciones de diseño antes del incidente (proactivo)

Tabla de Flags: interruptores atómicos por endpoints/proveedores/widgets.
Políticas de Trottling/Schedding: niveles preconcebidos de «bronce/plata/oro» según las prioridades.
Pruebas de degradación: "fire-drills' regulares, días de juego, experimentos de caos (agregando retrasos/errores).
Cuotas de dependencias externas: límites, presupuesto de errores, estrategias de backoff.
Runbook 'i: breves instrucciones paso a paso y comandos/configuraciones con ejemplos.

10) Seguridad y cumplimiento

Fail-safe: cuando se degrada, bloquea las operaciones con riesgo de infracción, en lugar de «amplificar retraídas».
PII y Findans: En las rondas manuales - auditoría estricta, privilegios mínimos, tokenización.
Huellas: registro completo de actividades de IC/operadores, cambio de banderas/configuraciones, exportación de línea de tiempo.

11) Anti-patrones

«Esperamos a que quede claro» - la pérdida del tiempo de oro containment.
«Retorcemos los retraídos hasta la victoria» es una bola de nieve y una tormenta en las dependencias.
Banderas globales sin segmentación - apagar la vela, no la electricidad en la ciudad.
El silencio «para no asustar» es el crecimiento de los tickets, la pérdida de confianza.
Procedimientos manuales frágiles sin auditoría - riesgo de cumplimiento.

12) Hojas de cheques

Antes de lanzar los cambios críticos

• Ruta canaria + retroceso rápido (flag feature).
• SLO guardrails y alertas por p95/error%.
• La carga de los servicios dependientes se simula.
• Plan de comunicación y propietarios.

Durante el incidente

• Definido por IC y canales de comunicación.
• Contenido aplicado (aislamiento/banderas/enrutamientos).
• La degradación controlada está habilitada.
• Se ha actualizado la página de estado y se ha notificado el soporte.

Después del incidente

• Post mortem ≤ 5 días hábiles, sin «encontrar culpables».
• Acción con los propietarios y los deadline.
• Prueba de repetibilidad: el escenario se reproduce y se cubre con alertas/pruebas.
• Playbooks y entrenamientos actualizados.

13) Mini artefactos (patrones)

• Qué sucedió → Impacto → Causa raíz → Lo que funcionó/no funcionó → Fijos a largo plazo → Acciones items (propietarios/plazos).

14) Resultado

Reducir los efectos de los incidentes es una disciplina de soluciones rápidas y reversibles: localizar, degradar manejablemente, redistribuir la carga, comunicar de manera transparente y consolidar las mejoras. Usted gana una «estabilidad táctica» minuciosa hoy - y lo convierte en una sostenibilidad estratégica mañana.