KPI e benchmark
KPI e benchmark
Os KPI (Key Performance Indicators) traduzem a estratégia em objetivos mensuráveis, enquanto os benchmarks fornecem uma «linha de horizonte» para comparar os resultados (ontem, concorrentes, mercado). A seguir, um marco prático, desde a escolha de métricas e metas até a normalização, estatística, visualização e rituais de gestão.
1) Taxonomia de métricas
North Star Metric (NSM): o principal indicador de valor do produto (por exemplo, «Usuários pagantes ativos em 30 dias»).
Outcome vs Processs: resultado (receita, retenção) e processo (velocidade de lançamento, SLA fiesstore).
Liding vs Lagging: Predictor (conversão de passo) e resumos atrasados (LTV).
Guardrail métricas: limitações de segurança (modelo FPR ≤ 1%, latência p95 ≤ 200 ms).
Hierarquia: empresas → alimentos, funcionais → comandos → individuais.
2) Bom KPI: critérios
SMART: Specific, Measurable, Achievable, Relevant, Time-bound.
Controle: O KPI é afetado pelo comando, não pela volatilidade externa.
Baixa manipulabilidade: resistente a «leitura», descrito como calcular e fontes de dados.
Sinalização: sensível a alterações, mas não ruído (dispersão inteligente).
3) Fórmulas e padrões (construtor)
Atividade: DAU/WAU/MAU, Stickiness = DAU/MAU.
Retenção <sub> d </sub> = Users action day d/Cohort size; Churn = 1 − Retention.
Conversão: CR = Conversions/Visitors (por vórtice - per-step CR).
Monetização: ARPU = Revenue/Users; ARPPU = Revenue / Paying users; LTV = Σ (Net cashflow<sub>t</sub> · discount<sub>t</sub>).
Qualidade dos modelos: ROC-AUC/PR-AUC; logloss; Calibration (Brier); Recall@FPR≤x%; uplift@k.
Operações/infraestrutura: Availability = Uptime/Total; SLA breach rate; p50/p95/p99 latency.
Dados: Freshness, Completeness (% de preenchimento), Consistency (em conflitos de padrão), PSI (à deriva).
Desenvolvimento: Deploy Frequency, Lead Time for Changes, Mudança Failure Rate, MTTR.
4) Destino: OKR + KPI
OKR: «Lente 3-5 resultados mensuráveis (KR)». KPI - Forma numérica KR.
Targets:- Commit (barra básica, ≥80% de probabilidade).
- Stretch (ambicioso, 30-50%).
- Ceiling (topo do razoável).
- O implemento vs absolve: o alvo é definido como um alvo (por exemplo, «+ 10% para o Retent D30») ou um nível («MAU ≥ 1 milhão»).
5) Benchmark: de onde tirar «normal»
Internos: períodos passados (YoY/Yo2Y), mercados/segmentos vizinhos, grupos de controle, equipes melhores.
Externos: relatórios da indústria, datasets abertos, benchmarks acadêmicos para modelos (MNIST/GLUE/ROCStories, etc.).
Concorrentes: market intelectuais, paraplégicos, revisões regulatórias/associações.
- Absoluto: KPI ≥ limiar da indústria.
- Percentil, «no topo de 25% do mercado».
- Análise Gap: A mediana/líder; velocidade de encerramento do rompimento.
6) Normalização e ajustes
Sazonalidade e calendário: feriados, promoções, fins de semana → use seasonal indices ou comparação de YoY.
Movimentos de mix: a estrutura de tráfego/segmentos mudou → faça mix-adjusted KPI (pesagem).
Suavização: EMA/medianos de 7 dias para revisões táticas; guardem as filas «crus» e suaves.
Semente e escala: leve a «por usuário/sessão/1.000 consultas»; Cuidado com a estabilidade do denominador.
7) Estatísticas e confiabilidade
Credibilidade de alterações: Efeito ≥ valor mínimo (MDE); Espaçamento de confiança (butstrap).
A/B-cultura: aurrail-métricas (erros/latência); tempo de experiência ≥ ciclo completo do usuário.
Anomalias e emissões: métricas robásticas (mediana, huber), vinzorização p1/p99.
Pequenas amostras: intervalos de beira; agregações semanais.
8) Dashboards e rituais de controle
Camadas: Executive (NSM + 3-5 apresentadores), Product/Domain (vórtices, cômodos), Ops/ML (SLA, deriva, métricas de modelos).
Padrões de gráficos: YoY/DoD, quantili p50/p95, decomposição em fatores (mix, preço, volume).
Ritmos: daily standup (incidentes/alertas), semana review (táticas), monthly QBR (estratégia), retrospectivas OKR trimestrais.
Runbooks: O que fazer quando o KPI é desviado (limite → RCA → plano de correção).
9) Anti-pattern e riscos
Goodhart's Law: «Quando a métrica é um alvo, ela deixa de ser uma métrica». Use pacotes de métricas e guardrails.
Otimização do proxy: crescimento dos cliques sem crescimento da receita; Siga a North Star.
Não contabiliza atrasos: KPI de efeito atrasado - mantenha as métricas de liderança.
Mudança de definição: editar a fórmula «oculta» quebra as tendências → versione o KPI e guarde o dicionário de termos.
Vórtice sem denominador: aumento da conversão quando o tráfego cai - mostre-se absoluto e frações.
10) Mapa KPI por área (esparguete)
11) Processo de implementação do KPI & benchmark
1. Defina o alvo e a hipótese de influência (a ação que move o KPI).
2. Descreva a fórmula, a origem, a frequência, os níveis de agregação (dia/semana/mês, segmentos).
3. Selecione os benchmarks (internos/externos) e chegue a um acordo sobre os objetivos (commit/stretch).
4. Junte dashboard e alertas (limiar, histerese, supressão da janela).
5. Inicie o ciclo de revisões (weekly/monthly) e verifique soluções e efeitos.
6. Faça uma revisão uma vez por trimestre, atualidade, manipulação, comunicação com o NSM.
7. Versionize: KPI v1 → v2 (contagem histórica/mapping).
12) Modelos e artefatos
Modelo de passaporte KPI
Nome e código: 'RET _ D30 _ v2'
Definição: proporção de usuários que retornaram no dia 30
Fórmula/SQL: referência para laptop/script (versionável)
Origem de dados: vitrine 'dm _ user _ cohorts _ v3'
Granularidade/latência: diurno, liga ≤ 12 h
Segmentação: país, canal, plataforma
Guardrails: erro de semente ≤ 2 p.p.; emissões de vinosorização p1/p99
Dono/contatos: equipe de analistas de produto
Histórico de alterações: registro de versões/datas
Modelo de alvo (meta KPI)
Base (Q0): 24% Retenção D30
Commit (Q1): 26% (YoY neutralized)
Stretch: 28%
Iniciativas: aperfeiçoamento, recomendações, cadeias de email
Riscos: sazonalidade, alteração do mix de tráfego
Verificação de impacto: A/B, causal lift
13) Folha de cheque da qualidade das métricas
- A fórmula e a origem estão documentados, o KPI é versionizado
- Há segmentação e guardrails
- Leva em conta a sazonalidade e a mudança do mix
- Espaçamento de confiança/butstrap em dashbord
- Alerts com histerese; runibook para desvios
- Revisão trimestral da carteira da KPI
Resultado
A chave de controle não está em uma métrica «perfeita», mas em um conjunto equilibrado de KPI associado ao North Star, equipado com benchmarks claros, normalizados corretamente e integrados em rituais de decisão. Este caminho torna os objetivos transparentes, as comparações honestas e as mudanças controláveis.