KPI və bençmarklar
KPI və bençmarklar
KPI (Key Performance Indicators) strategiyanı ölçülə bilən hədəflərə çevirir və bençmarklar nəticələri müqayisə etmək üçün «üfüq xətti» verir (dünən, rəqiblər, bazar). Aşağıda - praktiki çərçivə: metrik və məqsədlərin seçilməsindən tutmuş normallaşma, statistika, vizuallaşdırma və idarəetmə rituallarına qədər.
1) Metrik taksonomiya
North Star Metric (NSM): məhsulun dəyərinin əsas göstəricisi (məsələn, «30 gün ərzində aktiv ödəyən istifadəçilər»).
Outcome vs Process: nəticə (gəlir, saxlama) və proses (buraxılış sürəti, SLA fichestora).
Leading vs Lagging: aparıcı proqnozlar (addım dönüşümü) və gecikmiş nəticələr (LTV).
Guardrail metrik: təhlükəsizlik məhdudiyyətləri (FPR modelləri ≤ 1%, gecikmə p95 ≤ 200 ms).
Hiyerarxiya: korporativ → məhsul/funksional → komanda → fərdi.
2) Yaxşı KPI: meyarlar
SMART: Specific, Measurable, Achievable, Relevant, Time-bound.
Nəzarət: KPI xarici dəyişkənliyə deyil, komandaya təsir edir.
Aşağı manipulyasiya: «fırıldaqçılığa» davamlı, hesablama üsulu və məlumat mənbələri təsvir edilmişdir.
Siqnalizasiya: dəyişməyə həssas, lakin səs-küy vermir (ağlabatan dispersiya).
3) Formullar və standartlar (konstruktor)
Fəaliyyət: DAU/WAU/MAU, Stickiness = DAU/MAU.
Saxlama: Retention <sub> d </sub> = Users active day d/Cohort size; Churn = 1 − Retention.
Konvertasiya: CR = Conversions/Visitors (huni - per-step CR).
Monetizasiya: ARPU = Revenue/Users; ARPPU = Revenue / Paying users; LTV = Σ (Net cashflow<sub>t</sub> · discount<sub>t</sub>).
Model keyfiyyəti: ROC-AUC/PR-AUC; logloss; Calibration (Brier); Recall@FPR≤x%; uplift@k.
Əməliyyat/infrastruktur: Availability = Uptime/Total time; SLA breach rate; p50/p95/p99 latency.
Verilənlər: Freshness (verilənlər), Completeness (doldurulma%), Consistency (sxemlər münaqişələrinin sayı), PSI (sürüklənmə).
Development: Deploy Frequency, Lead Time for Changes, Change Failure Rate, MTTR.
4) Məqsədyönlü: OKR + KPI
OKR: «Obyektiv → 3-5 ölçülə bilən nəticələr (KR)». KPI - KR ədədi forması.
Hədəf:- Commit (əsas bar, ≥ 80% ehtimal).
- Stretch (iddialı, 30-50%).
- Ceiling (ağıllı üst).
- Inkrement vs mütləq: məqsəd Δ kimi (məsələn, «Retention D30 + 10%») və ya səviyyə kimi («MAU ≥ 1 milyon») verilir.
5) Bençmarklar: «norma» haradan alınır
Daxili: keçmiş dövrlər (YoY/Yo2Y), qonşu bazarlar/seqmentlər, nəzarət qrupları, ən yaxşı komandalar.
Xarici: sənaye hesabatları, açıq datasetlər, modellər üçün akademik standartlar (MNIST/GLUE/ROCStories və s. - domen vasitəsilə).
Rəqabətli: market-intelligence, ictimai metrika, tənzimləyici/assosiasiya rəyləri.
- Mütləq: KPI ≥ sənaye həddi.
- Persentil: «bazarın ən yaxşı 25% -i».
- Gap-analiz: Δ/liderə; boşluğu bağlamaq sürəti.
6) Normallaşdırma və düzəlişlər
Mövsümlük və təqvim: bayramlar, promosyonlar, həftə sonları → seasonal indices və ya YoY-müqayisə istifadə edin.
Qarışıq yerdəyişmə: trafik/seqmentlərin strukturu dəyişdi → mix-adjusted KPI (tartı) edin.
Hamarlama: Taktiki rəylər üçün EMA/7 günlük medianlar; həm «xam», həm də hamarlanmış sıraları saxlayın.
Sempleme və miqyas: «istifadəçi/seans/1000 sorğu başına» səbəb olur; məxrəcin sabitliyini izləyin.
7) Statistika və etibarlılıq
Dəyişikliklərə etimad: minimal əhəmiyyətli ≥ effekti (MDE); etibarlı intervallar (butstrep).
A/B-mədəniyyət: guardrail-metriklər (səhvlər/gecikmə); Təcrübənin vaxtı istifadəçinin tam dövrü ≥.
Anomaliyalar və emissiyalar: yaramaz metriklər (mediana, Huber), p1/p99 şərablaşma.
Kiçik nümunələr: Beyes intervalları; həftələrdə aqreqasiya.
8) Daşbordlar və idarəetmə ritualları
Laylar: Executive (NSM + 3-5 aparıcı), Product/Domain (hunilər, kohortlar), Ops/ML (SLA, drift, modellərin metrikası).
Qrafik standartları: YoY/DoD, p50/p95 kvantilləri, faktorlara parçalanma (qarışıq, qiymət, həcm).
Ritmlər: daily standup (insidentlər/alertlər), weekly review (taktika), monthly QBR (strategiya), retrospektivlər.
Runbooks: KPI (eşik → RCA → düzəliş planı) kənara çıxdıqda nə etmək lazımdır.
9) Anti-nümunələr və risklər
Goodhart 's Law: «Metrika məqsəd olduqda, metrik olmağı dayandırır». Metrik və guardrails paketlərindən istifadə edin.
Proxy optimallaşdırılması: gəlir artımı olmadan klik artımı; North Star izləyin.
Gecikmələrin hesablanması: KPI «effekt» gecikir - lider metrikləri saxlayın.
Tərifin dəyişdirilməsi: Formulun «gizli» düzəlişi trendləri pozur → KPI versiyasını verin və terminlər lüğətini saxlayın.
Paysız huni: trafikin azalması zamanı dönüşün artması - həm mütləq, həm də payları göstərin.
10) Sahələr üzrə KPI xəritəsi (şparqalka)
11) KPI və bençmarkların tətbiqi prosesi
1. Hədəf və təsir fərziyyəsini müəyyən edin (KPI hansı hərəkəti hərəkətə gətirir).
2. Düsturu, mənbəyi, tezliyi, aqreqasiya səviyyələrini (gün/həftə/ay, seqmentlər) təsvir edin.
3. Nişanları seçin (daxili/xarici), hədəfləri razılaşdırın (commit/stretch).
4. Daşbord və alertləri (eşik, histerezis, pəncərə suppression) toplayın.
5. Baxış dövrünü başlatın (weekly/monthly), həlləri və təsiri düzəldin.
6. Rübdə bir dəfə yoxlama aparın: aktuallıq, manipulyasiya, NSM ilə əlaqə.
7. Versiyası: KPI v1 → v2 (tarix/mapping yenidən hesablanması).
12) Şablonlar və artefaktlar
KPI pasport şablonu
Adı və kodu: 'RET _ D30 _ v2'
Tərif: 30-cu gündə qayıdan kohorta istifadəçilərinin nisbəti
Formula/SQL: laptop/skript link (version)
Məlumat mənbəyi: vitrin 'dm _ user _ cohorts _ v3'
Qranulyarlıq/gecikmə: gündüz, gecikmə ≤ 12 saat
Seqmentasiya: ölkə, kanal, platforma
Guardrails: sample səhv ≤ 2 pp; emissiyaları vinzorize p1/p99
Sahibi/əlaqə: məhsul analitikası komandası
Dəyişiklik tarixi: versiyalar/tarixlər jurnalı
Hədəf şablonu (KPI-hədəf)
Baza (Q0): 24% Retention D30
Commit (Q1): 26% (YoY neutralized)
Stretch: 28%
Təşəbbüslər: onbordinq təkmilləşdirilməsi, tövsiyələr, email zəncirləri
Risklər: mövsümilik, trafik qarışığının dəyişməsi
Təsir yoxlama: A/B, causal lift
13) Metr keyfiyyətinin yoxlama siyahısı
- Formula və mənbə sənədləşdirilmiş, KPI versiyası
- Seqmentasiya və guardrails var
- Mövsümilik və qarışıq dəyişikliyi nəzərə alınır
- Dashboard-da etibarlı intervallar/butstrep
- Histerezis ilə Alerts; sapmalar zamanı Runibook
- KPI portfelinin rüblük auditi
Yekun
İdarəetmə açarı "ideal 'bir metrikada deyil, North Star ilə əlaqəli balanslaşdırılmış KPI dəsti, aydın standartlarla təchiz edilmiş, düzgün normallaşdırılmış və qərar qəbul etmə rituallarına daxil edilmişdir. Bu konturlar hədəfləri şəffaf edir, müqayisələr dürüst və dəyişikliklər idarə oluna bilər.