KPI y puntos de referencia
KPI y puntos de referencia
KPI (Key Performance Indicators) traduce la estrategia en objetivos medibles, y los índices de referencia dan una «línea de horizonte» - con qué comparar los resultados (ayer, competidores, mercado). A continuación, un marco práctico: desde la selección de métricas y objetivos hasta la normalización, la estadística, la visualización y los rituales de gestión.
1) Taxonomía métrica
North Star Metric (NSM): el principal indicador de valor del producto (por ejemplo, «Usuarios activos pagando en 30 días»).
Outcome vs Process: resultado (ingresos, retención) y proceso (velocidad de lanzamiento, SLA de la ficha).
Leading vs Lagging: predictores líderes (conversión de pasos) y resultados atrasados (LTV).
Métricas de Guardrail: restricciones de seguridad (modelo FPR ≤ 1%, latencia p95 ≤ 200 ms).
Jerarquía: corporativa → de producto/funcional → de equipo → individual.
2) Buen KPI: criterios
SMART: Specific, Measurable, Achievable, Relevant, Time-bound.
Controlabilidad: el KPI se ve afectado por el comando, no por la volatilidad externa.
Baja manipulabilidad: resistente a la «lectura», se describe el método de cálculo y las fuentes de datos.
Señalización: sensible a los cambios, pero no hace ruido (varianza razonable).
3) Fórmulas y estándares (constructor)
Actividad: DAU/WAU/MAU, Stickiness = DAU/MAU.
Retención: Retention <sub> d </sub> = Users active day d/Cohort size; Churn = 1 − Retention.
Conversión: CR = Conversiones/Visitantes (por embudo - per-step CR).
Monetización: ARPU = Revenue/Users; ARPPU = Revenue / Paying users; LTV = Σ (Net cashflow<sub>t</sub> · discount<sub>t</sub>).
Calidad de los modelos: ROC-AUC/PR-AUC; logloss; Calibration (Brier); Recall@FPR≤x%; uplift@k.
Operaciones/infraestructura: Disponibilidad = Tiempo total/Tiempo máximo; SLA breach rate; p50/p95/p99 latency.
Datos: Freshness (archivo de datos), Completeness (% de ocupación), Consistency (conflicto de esquema), PSI (deriva).
Desarrollo: Deploy Frequency, Lead Time for Changes, Change Failure Rate, MTTR.
4) Propósito: OKR + KPI
OKR: «Lente → 3-5 resultados medibles (KR)». KPI - Forma numérica KR.
Objetivos:- Commit (barra base, ≥80% de probabilidad).
- Stretch (ambicioso, 30-50%).
- Ceiling (parte superior de lo razonable).
- El incremento vs es absoluto: el objetivo se establece como Δ (por ejemplo, «+ 10% a Retention D30») o como nivel («MAU ≥ 1 millón»).
5) Benchmarks: de dónde tomar la «norma»
Interno: períodos pasados (YoY/Yo2Y), mercados/segmentos vecinos, grupos de control, mejores equipos.
Externo: informes de la industria, datasets abiertos, referencias académicas para modelos (MNIST/GLUE/ROCStories, etc. - por dominio).
Competitivos: market intelligens, métricas públicas, revisiones del regulador/de las asociaciones.
- Absoluto: KPI ≥ umbral de la industria.
- Percentil: «en el 25% superior del mercado».
- Análisis gap: Δ a la mediana/líder; Velocidad de cierre de rotura.
6) Normalización y ajustes
Estacionalidad y calendario: vacaciones, promociones, fines de semana → uso de índices de temporada o comparación YoY.
Cambios de mezcla: la estructura de tráfico/segmentos ha cambiado → haga un KPI mix-ajustado (pesaje).
Suavizado: medianas EMA/7 días para revisiones tácticas; almacene las filas «crudas» y suavizadas.
Muestreo y escala: dar lugar a «por usuario/sesión/1000 consultas»; vigile la estabilidad del denominador.
7) Estadísticas y fiabilidad
Confianza en el cambio: efecto ≥ mínimo significativo (MDE); intervalos de confianza (butstrap).
Cultura A/B: métricas guardrail (errores/latencia); el tiempo del experimento ≥ el ciclo completo del usuario.
Anomalías y emisiones: métricas robustas (mediana, Huber), vinzorización p1/p99.
Muestras pequeñas: intervalos beyesianos; agregaciones por semanas.
8) Dashboards y rituales de gobierno
Capas: Executive (NSM + 3-5 principales), Product/Domain (embudos, cohortes), Ops/ML (SLA, deriva, métricas de modelos).
Estándares de gráficos: YoY/DoD, cuantili p50/p95, descomposición en factores (mix, precio, volumen).
Ritmos: standup diario (incidentes/alertas), review semanal (táctica), monthly QBR (estrategia), retrospectivas OKR trimestrales.
Runbooks: qué hacer cuando se rechaza un KPI (umbral → RCA → plan de corrección).
9) Anti-patrones y riesgos
Ley de Goodhart: «cuando la métrica es el objetivo, deja de ser métrica». Utilice los paquetes métricas y guardrails.
Optimización de proxy: crecimiento de clics sin crecimiento de ingresos; rastrear North Star.
No se tienen en cuenta los retrasos: los KPI del «efecto» se retrasan: mantenga las métricas de liderazgo.
Cambio de definición: la edición «oculta» de la fórmula rompe las tendencias → versiona los KPI y almacena el diccionario de términos.
Embudo sin denominador: aumento de la conversión en la caída del tráfico - mostrar los absolutos y las acciones.
10) Mapa de KPI por área (parche)
11) Proceso de implementación de KPI & Benchmarks
1. Definir el objetivo y la hipótesis de influencia (qué acción mueve el KPI).
2. Describir la fórmula, fuente, frecuencia, niveles de agregación (día/semana/mes, segmentos).
3. Seleccione los puntos de referencia (internos/externos), negocie los objetivos (commit/stretch).
4. Recoge el dashboard y las alertas (umbral, histéresis, suppression de la ventana).
5. Inicie un ciclo de revisiones (semanal/monthly), fije las soluciones y el efecto.
6. Realice una revisión trimestral: relevancia, manipulabilidad, comunicación con NSM.
7. Versionar: KPI v1 → v2 (recuento de historia/mapping).
12) Patrones y artefactos
Plantilla de pasaporte KPI
Título y código: 'RET _ D30 _ v2'
Definición: porcentaje de usuarios de cohorte que regresaron el día 30
Fórmula/SQL: link a portátil/script (versionable)
Fuente de datos: escaparate 'dm _ user _ cohorts _ v3'
Granularidad/latencia: diurna, aprox. ≤ 12 h
Segmentación: país, canal, plataforma
Guardrails: error de muestreo ≤ 2 p.p.; emisiones de vintage p1/p99
Propietario/contactos: equipo de análisis de productos
Historial de cambios: registro de versiones/fechas
Plantilla de destino (KPI-target)
Base (Q0): 24% Retention D30
Commit (Q1): 26% (YoY neutralized)
Stretch: 28%
Iniciativas: mejoras en el entorno, recomendaciones, cadenas de correo electrónico
Riesgos: estacionalidad, cambio en la mezcla de tráfico
Comprobación del efecto: A/B, causal lift
13) Check-list de métricas de calidad
- La fórmula y la fuente están documentadas, el KPI se versiona
- Hay segmentación y guardrails
- Se tiene en cuenta la estacionalidad y el cambio de mezcla
- Intervalos de confianza/bootstrap en el dashboard
- Alertas con histéresis; Rubik en desviaciones
- Revisión trimestral de la cartera de KPI
Resultado
La clave de la gestión no está en una única métrica «perfecta», sino en un conjunto equilibrado de KPI asociados a North Star, provistos de claros parámetros de referencia, correctamente normalizados e incrustados en los rituales de toma de decisiones. Tal esquema hace que los objetivos sean transparentes, que las comparaciones sean honestas y que los cambios sean manejables.