Operaciones y Gestión → Control de calidad de las operaciones

Control de calidad de las

1) Por qué es necesario

La calidad de las operaciones es la previsibilidad y la reproducibilidad de las acciones de las que dependen los ingresos, los SLA y la confianza de los usuarios. Un fuerte sistema de control de calidad reduce la variabilidad, acelera los hendovers entre turnos, reduce el número de errores en los lanzamientos y mejora la velocidad de respuesta a incidentes.

• Hacer que los procesos sean medibles y manejables.
• Reducir la variabilidad de la ejecución (estabilidad).
• Reducir los residuos (espera, alteraciones, «muletas manuales»).
• Incorporar la mejora continua (Kaizen) en el trabajo diario.

2) Modelo de calidad: QA vs QC

QA (Quality Assurance) - Calidad «incorporada»: estándares, SOP, entrenamientos, gates, comprobaciones automatizadas antes y durante la ejecución del proceso.
Control de calidad (Quality Control): validación de resultados/muestreo/auditoría después de la ejecución (tickets de rugido, verificación de registros, control de tarjetas SPC).

Principio: máxima calidad - en la fase de diseño y ejecución (QA), el control de calidad sigue siendo un «seguro» y una fuente de datos para mejoras.

3) Elementos clave del sistema

1. Normas y SOP: instrucciones paso a paso, modelo de rol, hojas de cheques.
2. Mapa de procesos: entradas/salidas, propietarios, procesos SLO, artefactos.
3. Gates de calidad: tolerancias de paso (pre-checks), «stop grúa» para riesgos.
4. SPC (control estadístico del proceso): mapas de control, disparadores.
5. Auditorías y muestreos: verificación periódica del cumplimiento de las normas.
6. Retroalimentación y RCA: postmortem, 5 Why/« fish bone ».
7. Formación y certificación: matriz de habilidades, turnos de sombras.
8. Automatización: verificación automática, bots, políticas, pruebas de integración.

4) Procesos bajo control de calidad (ejemplos)

Rutinas de turnos (monitoreo, rotación de llaves, backups, controles de turno).
Hendover y escaladas (matriz de escaladas, canales de comunicación, tiempos de espera).
Gestión de incidentes (detección → comunicación → recuperación).
Lanzamientos/fiches/cruces de tráfico.
Operaciones con proveedores (PSP/KYC), reconciliaciones, informes.
Gestión de contenidos/límites, botes/bonos.
Trabajo con datos (ETL, archiving, privacidad).

5) Proceso SLO y KPI de calidad

• FPY (First Pass Yield): una fracción de los procesos que han pasado sin alteración.
• RFT (Right First Time): porcentaje de tareas sin errores/devoluciones.
• DPMO: defectos por millón de posibilidades (para operaciones masivas).
• Proceso SLO: p95/p99 de duración,% de finalización exitosa.
• Compliance Rate: cumplimiento de las cláusulas SOP/check-list obligatorias.
• Change Failure Rate: porcentaje de lanzamientos con retrocesos/incidentes.
• Proceso MTTD/MTTR: detección/recuperación de fallas.
• Puntuación de calidad Handoff: calidad hendover (plenitud, puntualidad).

6) Normas y listas de comprobación (QA)

• Comprobación de salud de los dashboards clave (API p99, lag, DB connections).
• Estados de proveedores (PSP/KYC/estudio), cuotas y límites.
• Colas de incidentes y postmortemas sin cubrir.
• Plan de lanzamientos/fichflags por intervalo de turno.
• Canales de comunicación redundantes y disponibilidad de escalaciones.
• Backups/llaves/secretos - control programado.
• Hendover del cambio anterior (artefactos, riesgos, observaciones).

• Todas las pruebas/linternas/seguridad son verdes.
• CDC/Contratos realizados con instrumentos externos.
• Plan de reversión y flagelación; el canario está listo.
• Se ha confirmado el runbook actual, se han tenido en cuenta las ventanas de los proveedores.
• Anotaciones de lanzamiento en dashboards incluidas.

7) SPC y tarjetas de control

• Lo que es un monitorim: duración de las operaciones,% de los defectos, tiempo de reacción a las alertas, tiempo de hendover.
• Reglas: 1 punto fuera de los límites, 7 puntos consecutivos con crecimiento/caída, 8 puntos a un lado del promedio - señal de cambio de proceso.
• Acciones: con señales SPC → RCA cortas y medidas correctivas (corrección SOP, entrenamiento, automatización).

8) Muestreo y auditorías (control de calidad)

Plan de muestreo: procesos críticos: comprobaciones puntuales diarias; promedios - semanales; baja - en los disparadores.
Criterios de auditoría: integridad de las listas de comprobación, exactitud de la ejecución, corrección de las comunicaciones, cumplimiento de SLO, cumplimiento de la seguridad.
Puntuación de auditoría: 0-100 con pesos de criticidad; resultados - en calidad general dashboard.

9) Calidad de hendover y turnos

Paquete de mano: estado breve, riesgos, «tendencias observadas», acciones pendientes, SLO por intervalo.
Comunicaciones: formato único de apdate (plantilla), SLA de respuesta en canal de incidentes, cajas de tiempo para la toma de decisiones.
Turnos de sombras: los nuevos operadores están de servicio «en la sombra», luego pasan a turnos independientes en la lista de certificados.

10) Calidad de gestión de incidentes

Definición de Don: el incidente se cierra sólo después de restaurar el SLO, publicar un apdate para el negocio/sapport y crear tareas de corrección.
Postmortem sin acusaciones: hechos, cronología, «que irá de otra manera la próxima vez».
Action Items SLA: dlline y propietarios; conciliación semanal del estado.
Métricas:% de incidentes sin regresión, tiempo medio hasta el primer apdate, tiempo completo.

11) Automatización del control de calidad

Verificadores automáticos: los bots comprueban si las listas de comprobación están llenas, si hay anotaciones de lanzamiento, si las rutas de Alertmanager son correctas.
Políticas/reglas: gaitas obligatorias en CI/CD, validación de confecciones (JSON/YAML), escáneres de secretos.
Proceso de minería: análisis de registros para encontrar cuellos de botella y desviaciones de la ruta «de referencia».
Recordatorios automáticos: postmortem caducado, items de acción sin cubrir, puntos SOP omitidos.

12) Métricas y dashboards (conjunto mínimo)

Overview Operations Quality: FPY, RFT, DPMO, proceso SLO, Change Failure Rate, items de acción abierta.
Shifts Board: ejecución de listas de verificación, puntuación de calidad de mano, tiempo de reacción a alertas, cobertura de monitoreo.
Incidents Quality: MTTD/MTTR, primer apdate del cliente, RCA enterity, regresiones.
Calidad de relevo: porcentaje de canarios con degradación, retrocesos, duración media de los apdates de steikholder.
Compliance & Security: ejecución de procedimientos obligatorios (backups, rotación de claves, accesos), infracciones y plazos de resolución.

13) Alertas de calidad (ideas)

ALERT ShiftChecklistMissed
IF operations_shift_checklist_completed == 0 FOR 15m
LABELS {severity="warning", team="ops"}

ALERT HandoffQualityLow
IF handoff_quality_score < 80 FOR 1h
LABELS {severity="warning", team="ops"}

ALERT IncidentUpdatesSLA
IF incident_first_update_minutes > 10
LABELS {severity="critical", team="incident"}

ALERT ChangeFailureRateSpike
IF rate(release_rollbacks_total[7d]) > 1. 5 baseline_28d
LABELS {severity="warning", team="platform"}

14) Procedimiento de mejora (bucle PDCA)

1. Plan: seleccionar métricas/objetivos, identificar cuellos de botella según SPC/auditorías.
2. Do: piloto de cambio (SOP, entrenamiento, automatización) en un área limitada.
3. Check: comparar métricas (FPY/RFT/SLO/incidentes) antes/después.
4. Act: escalar el éxito, retroceder el error; actualizar los estándares.

15) Funciones y responsabilidades

Propietario del proceso: SLO, estándares, dashboards, mejoras.
Operadores: ejecución, listas de verificación, incidentes-comunicaciones.
SRE/Plataforma: automatización, monitoreo, rutas de Alertmanager.
Operaciones de QA: auditorías, muestras, tarjetas de control, capacitación.
Gestor de calidad: coordinación del PDCA, priorización de las mejoras.

16) Anti-patrones

«Verifiquémoslo después» es la ausencia de QA, una dependencia solo del control de calidad post-factum.
Listas de cheques en aras de la marca de verificación (sin consecuencias para las ausencias).
No hay un estándar único de hendover → pérdida de contexto y repetición de errores.
Miden «todos seguidos» sin objetivo → métricas sin acción.
Los postmortemas sin items de acción y plazos → regresiones constantes.
Comprobaciones manuales de lo que se puede automatizar.

17) Lista de verificación de implementación

• Mapa de procesos, propietarios, entradas/salidas, SLO.
• SOP y listas de cheques (turnos, lanzamientos, incidentes, proveedores).
• Gates de calidad en CI/CD e instrumentos operativos.
• Dashboards y tarjetas de control SPC.
• Plan de selección y auditorías periódicas.
• Plantilla de hendover y aprendizaje de turnos de sombras.
• Reglamento de posmortems y seguimiento de acciones items.
• Automatización de comprobaciones y recordatorios.
• Objetivos trimestrales de mejora (FPY/RFT/SLO/MTTR).

18) Plantillas (fragmentos)

Handoff: <date/time>
SLO summary: <p95 API, errors, incidents>
Releases/features: <what's at work, risks, windows>
Providers: <statuses, quotas, restrictions>
Risks/observations: <trends, potential bottlenecks>
Action items before <time>: <list, owners>
Contacts: <on-call, escalations>

Impact: <who was affected, metrics>
Timeline: <UTC + timezone, key events>
Root cause: <5 Why / fishbone>
Corrective actions: <what we change now>
Preventive actions: <what we will change in the process/tools>
Owners & Due dates: <who and when>
Signals to watch: <metrics and alerts>

19) Inicio rápido (30 días)

Semana 1: describir 3-5 procesos críticos, SLO, propietarios; ejecutar las listas de comprobación de cambios/versiones básicas.
Semana 2: habilitar dashboards de calidad y 3 alertas (ShiftChecklist, Handoff, IncidentSLA).
Semana 3: ejecutar muestreos/auditorías y SPC para 1-2 métricas.
Semana 4: realizar 2 postmortem por metodología y aprobar el plan del PDCA para el trimestre.

20) FAQ

P: ¿Cómo ver el efecto rápidamente?
R: Comience con hendover e IncidentSLA: esto da una reducción instantánea de MTTR y una mayor previsibilidad.

P: ¿Necesita SPC si ya hay alertas?
R: Sí. Las alertas atrapan «fuegos», SPC - desplazamientos del proceso antes del incendio.

P: ¿Qué automatizar primero?
R: Gates de lanzamientos, check-list de turnos, anotaciones de lanzamientos y recordatorios de acciones items.