KPI'lar ve Kıyaslamalar

KPI'lar ve Kıyaslamalar

KPI'lar (Temel Performans Göstergeleri) stratejiyi ölçülebilir hedeflere dönüştürür ve ölçütler bir "ufuk çizgisi" verir - sonuçları (dün, rakipler, pazar) ile karşılaştırır. Aşağıda pratik bir çerçeve bulunmaktadır: metriklerin ve hedeflerin seçiminden normalleştirme, istatistik, görselleştirme ve yönetim ritüellerine kadar.

1) Metriklerin taksonomisi

Kuzey Yıldızı Metriği (NSM): Ürün değerinin önemli bir ölçüsü (örneğin, 30 Gün boyunca Aktif Ödeme Yapan Kullanıcılar).
Sonuç vs Süreç: sonuç (gelir, elde tutma) ve süreç (serbest bırakma hızı, SLA fichestore).
Lider vs Gecikme: Lider öngörücüler (adım dönüştürme) ve gecikme toplamları (LTV).
Korkuluk metrikleri: güvenlik kısıtlamaları (FPR modelleri ≤ %1, p95 gecikme ≤ 200 ms).
Hiyerarşi: Kurumsal? Ürün/fonksiyonel? Takım? Bireysel.

2) İyi KPI: Kriterler

SMART: Spesifik, Ölçülebilir, Ulaşılabilir, İlgili, Zamana Bağlı.
Kontrol edilebilirlik: KPI'lar dış volatiliteden değil, ekipten etkilenir.
Düşük manipüle edilebilirlik: "hile'ye karşı direnç, açıklanan hesaplama yöntemi ve veri kaynakları.
Sinyalleme: değişime duyarlı ancak gürültülü değil (makul varyans).

3) Formüller ve standartlar (yapıcı)

Aktivite: DAU/WAU/MAU, Yapışkanlık = DAU/MAU.
Tut: Tutma _d = Kullanıcılar aktif gün d/Kohort boyutu; Churn = 1 − Tutma.
Dönüşüm: CR = Dönüşümler/Ziyaretçiler (huni başına - adım başına CR).
Para kazanma: ARPU = Gelir/Kullanıcılar; ARPPU = Gelir/Ödeme yapan kullanıcılar; LTV = Σ (Net nakit akışı _t· indirim _t).
Modellerin kalitesi: ROC-AUC/PR-AUC; logloss; Kalibrasyon (Brier); % Recall@FPR≤x; uplift @ k.
İşlemler/Altyapı: Kullanılabilirlik = Çalışma Süresi/Toplam süre; SLA ihlal oranı; P50/p95/p99 gecikme süresi.
Veri: Tazelik, Bütünlük, Tutarlılık, PSI.
Geliştirme: Dağıtım Frekansı, Değişiklikler için Teslim Süresi, Hata Oranını Değiştirme, MTTR.

4) Hedef belirleme: OKR + KPI

OKR: "Lens> 3-5 ölçülebilir sonuç (KR). "KPI - KR sayısal formu.

• Commit (temel çubuk, % ≥80 olasılık).
• Streç (iddialı, %30-50).
• Tavan (makul üst).
• Artış vs mutlak: hedef Δ (örneğin, "+ 10 % to Retention D30") veya seviye ("MAU ≥ 1 milyon") olarak ayarlanır.

5) Ölçütler: "norm" nereden alınır

Dahili: Geçmiş dönemler (YoY/Yo2Y), komşu pazarlar/segmentler, kontrol grupları, en iyi takımlar.
Dış: endüstri raporları, açık veri kümeleri, modeller için akademik ölçütler (MNIST/GLUE/ROCStories, vb. - etki alanına göre).
Rekabetçi: piyasa istihbaratı, kamu ölçümleri, düzenleyici/dernek incelemeleri.

• Mutlak: KPI ≥ endüstri eşiği.
• Percentile: "Pazarın ilk %25'inde".
• Boşluk analizi: Medyan/lidere Δ; rüptür kapanma oranı.

6) Normalleştirme ve ayarlamalar

Mevsimsellik ve takvim: tatiller, promosyonlar, hafta sonları - mevsimsel endeksleri veya YoY karşılaştırmasını kullanın.
Mix vardiyaları: trafiğin/segmentlerin yapısı değişti - mix ayarlı KPI (tartım) yapın.
Yumuşatma: Taktik incelemeler için EMA/7-day medians; Hem "ham'hem de düzleştirilmiş satırları saklayın.
Örnekleme ve ölçekler: "kullanıcı/oturum/1000 istek başına" sonuçlanır; payda istikrarına dikkat et.

7) İstatistikler ve güvenilirlik

Değişime güven: etki ≥ minimal anlamlı (MDE); Güven aralıkları (bootstrap).
A/B kültürü: korkuluk metrikleri (hatalar/gecikme); Deneme zamanı ≥ tam kullanıcı döngüsü.
Anomaliler ve aykırı değerler: sağlam metrikler (medyan, Huber), vinzorizasyon p1/p99.
Küçük örnekler: Bayesian aralıkları; haftalık toplama.

8) Panolar ve yönetim ritüelleri

Katmanlar: Yönetici (NSM + 3-5 liderleri), Ürün/Etki Alanı (huniler, kohortlar), Ops/ML (SLA, sürüklenme, model metrikleri).
Grafik standartları: YoY/DoD, quantiles p50/p95, çarpanlara ayırma (mix, fiyat, hacim).
Ritimler: günlük standup (olaylar/uyarılar), haftalık inceleme (taktikler), aylık QBR (strateji), üç aylık OKR retrospektifleri.
Runbooks: KPI reddedilirse ne yapmalı (RCA - eşik - düzeltme planı).

9) Anti-kalıplar ve riskler

Goodhart Yasası: "Metrik bir hedef olduğunda, metrik olmaktan çıkar. "Metrik ve korkuluk paketleri kullanın.
Proxy optimizasyonu: gelir artışı olmadan büyümeyi tıklayın; Kuzey yıldızını takip et.
Gecikmeleri hesaba katmamak: "Etki'nin KPI'ları geç kaldı - önde gelen metrikleri tutun.
Tanım değişikliği: "Gizli" formül düzenleme eğilimleri kırar - KPI'ları versionize eder ve terimlerin sözlüğünü saklar.
Paydasız huni: Trafik düştüğünde dönüşümdeki artış - hem mutlak hem de kesirleri gösterir.

10) Alana göre KPI haritası (hile sayfası)

11) KPI ve Benchmark Uygulama Süreci

1. Hedef ve etki hipotezini tanımlayın (hangi eylem KPI'yı yönlendirir).
2. Formülü, kaynağı, sıklığı, toplama seviyelerini (gün/hafta/ay, segmentler) açıklayın.
3. Kriterleri seçin (iç/dış), hedefler üzerinde anlaşın (taahhüt edin/gerin).
4. Pano ve uyarıları toplayın (eşik, histerezis, pencerenin bastırılması).
5. Bir inceleme döngüsü başlatın (haftalık/aylık), kararları ve etkileri kaydedin.
6. Üç ayda bir denetim: alaka düzeyi, manipüle edilebilirlik, NSM ile iletişim.
7. Sürüm: KPI v1 - v2 (geçmiş yeniden hesaplama/haritalama).

12) Desenler ve eserler

KPI pasaport şablonu

Adı ve kodu: 'RET _ D30 _ v2'

Tanım: 30. günde geri dönen kohort kullanıcılarının oranı

Formül/SQL: dizüstü/komut dosyasına bağlantı (sürüm)

Veri kaynağı: vitrin 'dm _ user _ cohorts _ v3'

Granülerlik/gecikme: günlük, gecikme ≤ 12 saat

Segmentasyon: ülke, kanal, platform

Korkuluklar: örnekleme hatası ≤ 2 pp; Emisyonlar vinzorize p1/p99

Sahibi/Kişiler Ürün İstihbarat Ekibi

Revizyon Geçmişi - Sürüm/Tarih Geçmişi

Hedef şablon (KPI-hedef)

Temel (Q0): %24 Tutma D30

Commit (Q1): %26 (YoY nötralize edildi)

Streç: %28

Girişimler: onboarding, öneriler, e-posta zincirlerini geliştirmek

Riskler: mevsimsellik, trafik karışımı değişikliği

Darbe kontrolü: A/B, nedensel kaldırma

13) Metrikler kalite kontrol listesi

• Formül ve kaynak belgelenmiş, KPI sürümlenmiş
• Segmentasyon ve korkuluklar var
• Mevsimsellik ve karışım değişikliği dikkate alınır
• Gösterge tablosundaki güven aralıkları/önyükleme
• Histerezis ile uyarılar; Sapmalar için Runibook
• KPI portföyünün üç aylık denetimi

Sonuç

Kontrol etmenin anahtarı "ideal'bir metrikte değil, Kuzey Yıldızı ile ilişkili, net kriterlerle donatılmış, doğru şekilde normalleştirilmiş ve karar verme ritüellerine yerleştirilmiş dengeli bir KPI setindedir. Bu kontur, hedefleri şeffaf, karşılaştırmaları dürüst ve değişiklikleri yönetilebilir hale getirir.