KPI і бенчмарки
KPI і бенчмарки
KPI (Key Performance Indicators) переводять стратегію у вимірювані цілі, а бенчмарки дають «лінію горизонту» - з чим порівнювати результати (вчора, конкуренти, ринок). Нижче - практична рамка: від вибору метрик і цілей до нормалізації, статистики, візуалізації та управлінських ритуалів.
1) Таксономія метрик
North Star Metric (NSM): головний показник цінності продукту (наприклад, «Активні платять користувачі за 30 днів»).
Outcome vs Process: результат (виручка, утримання) і процес (швидкість релізів, SLA фічестора).
Leading vs Lagging: провідні предиктори (конверсія кроку) і запізнюючі підсумки (LTV).
Guardrail-метрики: обмеження безпеки (FPR моделі ≤ 1%, латентність p95 ≤ 200 мс).
Ієрархія: корпоративні → продуктові/функціональні → командні → індивідуальні.
2) Хороший KPI: критерії
SMART: Specific, Measurable, Achievable, Relevant, Time-bound.
Контрольованість: на KPI впливає команда, а не зовнішня волатильність.
Низька маніпульованість: стійкий до «читерства», описаний спосіб розрахунку і джерела даних.
Сигнальність: чутливий до змін, але не шумить (розумна дисперсія).
3) Формули і стандарти (конструктор)
Активність: DAU/WAU/MAU, Stickiness = DAU/MAU.
Утримання: Retention<sub>d</sub> = Users active day d / Cohort size; Churn = 1 − Retention.
Конверсія: CR = Conversions/Visitors (по воронці - per-step CR).
Монетизація: ARPU = Revenue / Users; ARPPU = Revenue / Paying users; LTV = Σ (Net cashflow<sub>t</sub> · discount<sub>t</sub>).
Якість моделей: ROC-AUC/PR-AUC; logloss; Calibration (Brier); Recall@FPR≤x%; uplift@k.
Операції/інфраструктура: Availability = Uptime / Total time; SLA breach rate; p50/p95/p99 latency.
Дані: Freshness (лаг даних), Completeness (% заповненості), Consistency (кількість конфліктів схем), PSI (дрейф).
Розробка: Deploy Frequency, Lead Time for Changes, Change Failure Rate, MTTR.
4) Цілепокладання: OKR + KPI
OKR: «Об'єктив → 3-5 вимірних результатів (KR)». KPI - числова форма KR.
Таргети:- Commit (базова планка, ≥80% ймовірність).
- Stretch (амбітно, 30-50%).
- Ceiling (верх розумного).
- Інкремент vs абсолют: ціль задається як Δ (наприклад, «+ 10% до Retention D30») або як рівень («MAU ≥ 1 млн»).
5) Бенчмарки: звідки брати «норму»
Внутрішні: минулі періоди (YoY/Yo2Y), сусідні ринки/сегменти, контрольні групи, кращі команди.
Зовнішні: звіти галузі, відкриті датасети, академічні бенчмарки для моделей (MNIST/GLUE/ROCStories та ін. - по домену).
Конкурентні: маркет-інтелідженс, паблік-метрики, огляди регулятора/асоціацій.
- Абсолютне: KPI ≥ галузевий поріг.
- Перцентиль: «у топ-25% ринку».
- Gap-аналіз: Δ до медіани/лідера; швидкість закриття розриву.
6) Нормалізація та коригування
Сезонність і календар: свята, акції, вихідні → використовуйте seasonal indices або YoY-порівняння.
Мікс-зрушення: структура трафіку/сегментів змінилася → робіть mix-adjusted KPI (зважування).
Згладжування: EMA/7-денні медіани для тактичних оглядів; зберігайте і «сирі», і згладжені ряди.
Семплювання і масштаби: приводьте до «на користувача/сеанс/1000 запитів»; слідкуйте за стабільністю знаменника.
7) Статистика і надійність
Довіра до змін: ефект ≥ мінімально значущому (MDE); довірчі інтервали (бутстреп).
A/B-культура: guardrail-метрики (помилки/латентність); час експерименту ≥ повного циклу користувача.
Аномалії та викиди: робастні метрики (медіана, Huber), вінзоризація p1/p99.
Малі вибірки: бейесівські інтервали; агрегації по тижнях.
8) Дашборди та ритуали управління
Шари: Executive (NSM + 3-5 ведучих), Product/Domain (воронки, когорти), Ops/ML (SLA, дрейф, метрики моделей).
Стандарти графіків: YoY/DoD, квантилі p50/p95, розкладання на фактори (mix, ціна, обсяг).
Ритми: daily standup (інциденти/алерти), weekly review (тактика), monthly QBR (стратегія), квартальні OKR-ретроспективи.
Runbooks: що робити при відхиленні KPI (поріг → RCA → план корекції).
9) Анти-патерни і ризики
Goodhart’s Law: «коли метрика - мета, вона перестає бути метрикою». Використовуйте пакети метрик і guardrails.
Оптимізація проксі: зростання кліків без зростання виручки; відстежуйте North Star.
Неврахування затримок: KPI «ефекту» запізнюються - тримайте leading-метрики.
Зміна визначення: «прихована» правка формули ламає тренди → версіонуйте KPI і зберігайте словник термінів.
Воронка без знаменника: зростання конверсії при падінні трафіку - показуйте і абсолюти, і частки.
10) Карта KPI по областях (шпаргалка)
11) Процес впровадження KPI & бенчмарків
1. Визначте мету і гіпотезу впливу (яка дія рухає KPI).
2. Опишіть формулу, джерело, частоту, рівні агрегації (день/тиждень/місяць, сегменти).
3. Виберіть бенчмарки (внутрішні/зовнішні), домовтеся про таргети (commit/stretch).
4. Зберіть дашборд і алерти (поріг, гістерезис, suppression вікна).
5. Запустіть цикл оглядів (weekly/monthly), фіксуйте рішення та ефект.
6. Проводьте ревізію раз на квартал: актуальність, маніпульованість, зв'язок з NSM.
7. Версіонуйте: KPI v1 → v2 (перерахунок історії/мепінг).
12) Шаблони та артефакти
Шаблон паспорта KPI
Назва та код: `RET_D30_v2`
Визначення: частка користувачів когорти, які повернулися на 30-й день
Формула/SQL: посилання на ноутбук/скрипт (версіонується)
Джерело даних: вітрина'dm _ user _ cohorts _ v3 '
Гранулярність/латентність: денна, лаг ≤ 12 год
Сегментація: країна, канал, платформа
Guardrails: помилка семплювання ≤ 2 п. п.; викиди вінзоризувати p1/p99
Власник/контакти: команда аналітики продукту
Історія змін: журнал версій/дат
Шаблон цілі (KPI-таргет)
База (Q0): 24% Retention D30
Commit (Q1): 26% (YoY neutralized)
Stretch: 28%
Ініціативи: поліпшення онбордингу, рекомендації, email-ланцюжки
Ризики: сезонність, зміна міксу трафіку
Перевірка впливу: A/B, causal lift
13) Чек-лист якості метрик
- Формула і джерело задокументовані, KPI версіонується
- Є сегментація і guardrails
- Враховуються сезонність і зміна міксу
- Довірчі інтервали/бутстреп на дашборді
- Alerts з гістерезисом; рунібук при відхиленнях
- Квартальна ревізія портфеля KPI
Підсумок
Ключ до управління - не в «ідеальній» одній метриці, а в збалансованому наборі KPI, пов'язаних з North Star, забезпечених ясними бенчмарками, коректно нормалізованих і вбудованих в ритуали прийняття рішень. Такий контур робить цілі прозорими, порівняння - чесними, а зміни - керованими.