Meta-analitik ve metrikler

1) Meta-analitik nedir

Meta-analitik, ölçümün kendisinin yönetimidir: formüller, kaynaklar, tazelik, istikrar ve metrik elde etme maliyeti. Amaç, her metriğin test edilebilir bir bilgi birimi olmasıdır: tekrarlanabilir, zamanında, ekipler arasında karşılaştırılabilir ve ekonomik.

2) Metrik İskelet (Metrik Varlık Modeli)

• Tanımlayıcı: 'Metric _ key', sahip (Ürün/Veri Sahibi), kritiklik (Altın/Gümüş/Bronz).
• Anlamı: tanım, birimler, toplama, pencereler (day/wow/mom/rolling).
• Formül ve katman: SQL/DSL, semantik katman (boyutlar, filtreler), geçerli bölümler.
• Kaynaklar ve soylar: tablolar, sürümler, bağımlılıklar (özellikler/vitrinler/modeller).
• SLO метрики: gecikme p95, tazelik, kapsama, doğruluk, kararlılık.
• Güven Sinyalleri: Son kontroller, DQ durumu, formül CI testleri.
• Ekonomi: baytlar taranmış, grafik başına maliyet (CPC), içgörü başına maliyet (CPI)
• Erişim kontrolü: RLS/CLS, hassasiyet.
• Sürüm oluşturma: semver formülleri ('gr @ 2. 3. 0 '), günlüğü değiştir.

3) "Metrik metrikleri": neyin ölçüleceği

Kalite ve güven

Doğruluk: Referans/muhasebe (MAE/APE) ile tutarsızlık.
Tutarlılık: Kaynaklar/gösterge panoları arasındaki tesadüf (kanonik formül).
Tazelik: verilerin yaşı vs SLO (sn/dk).
Tamamlama: Tamamlanan segmentlerin/tarihlerin oranı.
Kararlılık: Sabit koşullar altında varyans/volatilite (Levene/varyans oranı).
Açıklanabilirlik: Kartta formül/bağlantı/CI/aralıklarının varlığı.

Performans ve maliyet

Gecikme p95/p99 hesaplama/oluşturma.
Baytlar tarandı/sorgu.
CPC/CPI: Grafik/içgörü maliyeti.
Önbellek vuruş hızı ve materyalizasyon.

Risk ve kullanım

Benimseme: Metriği kullanan panoların/çözümlerin oranı.
Kırılma oranı: Test damlaları/tazelik bozulmaları oranı.
Sürüklenme skoru-Formül/kaynak değişikliklerinden sonra dağılımları değiştirir.
Destek yükü: metriğe göre vakalar/olaylar.

4) Semantik katman ve "Metrik Mağaza"

Birleşik dilbilgisi: ölçüler, boyutlar, filtreler, toplama ve uyumluluk kuralları.
API/Metrics kataloğu: arama, kartlar, sürüm oluşturma, soy grafiği.
Ara hesaplamalar: materyalizasyonlar (günlük/haftalık), kanonik kar fırtınaları.
Yayınlama politikası: Yalnızca Metric Store'dan üretim panolarına/AI görselleştirmesine.

5) Sürüm oluşturma ve uyumluluk

Metrikler için SemVer: 'MAJOR' - anlam/toplamalardaki değişimi kırmak; 'MINOR' - yeni bölüm/özellik; 'PATCH' - değeri değiştirmeden optimizasyonlar.
Depresyon akışı: uyarı, paralel mod v1/v2, kapatma tarihi, geçiş kılavuzu.
Sözleşme testleri: eşitlik/eşitsizlik, değişmezler (alt kümelerin toplamı = tamsayı).

6) Soy ve metrik denetimi

Upstream: kaynaklar, DQ kuralları, versiyonlar.
Dönüştürme: SQL/DBT/DAG düğümü, şema uyumluluğu denetimleri.
Downstream: metriği tüketen panolar/modeller/raporlar.
Denetim: Formülü kimin ve ne zaman değiştirdiği, hangi olayın veya sürümün etkilendiği.

7) Metrik Gözlemlenebilirlik

Zaman profilleri: mevsimsellik, takvim efektleri, promosyon.
Anormallikler: STL/ESD/BOCPD; Kritiklik hassasiyeti olan uyarılar.
Kapıları kontrol edin: serbest bırakılmadan önce - "altın" dilimdeki eski/yeni formülün karşılaştırılması.
Drift izleme: Segmentine göre PSI/JS; Kaynak değişikliği belirteçleri.

8) Metrik Ekonomi ve FinOps

Kotalar/sınırlar: maksimum bayt tarandı, çalışma zamanı, yoğun olmayan yeniden oluşturma.
Ters ibraz: Takımlar zorlu raporlar için "neredeyse" ödeme yapar.
Önbellek/materyalizasyon: karo ve TTL profilleri.
En iyileştirme: sütun formatları, ZSTD, sıralama/kümeleme, ön toplama.

9) Mgmt değiştir

RFC metrikleri: hedef, risk, beklenen kayma, geri alma planı.
A/B formülleri: v1 ve v2 metriklerinin paralel hesaplanması ve karşılaştırılması.
İletişim: Kartta changelog, bağlantılı panolarda banner.
Geri alma: önceki materyalizasyona hızlı geçiş.

10) Roller

Metrik Sahibi: anlam, formül, sürümler, iletişim.
Veri Mühendisi: boru hattı güvenilirliği, performans.
Analist/Bilim adamı: Geçerlilik ve nedensel yorumlama.
FinOps: maliyet ve kotalar.
Uyumluluk/Gizlilik: erişim, maskeleme, raporlama.

11) Antipatterns

Metrik formülünde SEÇ.
Aynı metriğin iki "resmi" formülü.
Metrik Mağazasında değiştirmek yerine gösterge tablosunda manuel düzenlemeler.
Karşılaştırma penceresi/temeli yok.
Sıfır soy ve sahibi yok.
Gizli filtreler (farklı ülkeler/para birimleri) - farklı sayılar.

12) Uygulama Yol Haritası

1. Envanter: En iyi 50 metriğin listesi, sahipler, kritiklik, mevcut formüller.
2. Metrik Mağaza MVP: kartlar, SemVer, API, soy, CI testleri.
3. Gözlenebilirlik: tazelik/gecikme/bayt taranmış/anomaliler, SLO panelleri.
4. FinOps: limitler, önbellek, materyalizasyonlar, değer raporları.
5. Yönetişim: RFC/bozulma/geri tepme, amortisman politikası.
6. Ölçek: otomatik "metrik metrikleri", AI görselleştirme/bağlam ile entegrasyon.

13) Metrik kontrol listesi (yayınlanmadan önce)

• Metrik kart doludur (tanım, birimler, segmentler, pencere).
• Formül sürümlüdür; Tutarlılık/değişmezlik testleri yeşildir.
• Tazelik/Gecikme SLO'ları ayarlanır ve izlenir.
• DQ kaynakları yeşil; soy şeffaftır.
• Sınırlar içinde talep maliyeti; Önbellek/materyalizasyon yapılandırıldı.
• Erişim ilkeleri (RLS/CLS) ve maskeleme uygulandı.
• Değişikliklerin iletişimi hazırlanır; bir geri dönüş planı var.

14) Mini şablonlar

14. 1 Metrik Kart (YAML)

yaml metric:
key: ggr version: 2. 3. 0 owner: "product-data@company"
definition: "Bet amount minus win amount"
unit: "currency"
aggregation: "sum"
window: ["day","wow","mom"]
dims_allowed: ["country","device_os","provider","game"]
lineage:
sources: ["fact_bets","fact_payouts"]
transforms: ["ggr_daily. sql"]
slo:
freshness_s: 600 latency_p95_ms: 1500 accuracy_mae_pct: <=0. 5 finops:
max_bytes_scanned_mb: 2048 cache_ttl_min: 60 access:
sensitivity: "internal"
rls: ["tenant","region"]

14. 2 Formül testleri (dbt tarzı)

sql
-- invariant: GGR = bets - wins select count () as violations from (
select bets - payouts as ggr_calc, ggr from mart_daily
) t where abs(ggr_calc - ggr) > 1e-6;

14. 3 Uyarı Metrikleri Politikası

yaml alerts:
- name: ggr_freshness when: freshness_s > 600 severity: high action: [page:oncall-data, degrade:use_last_materialization]
- name: ggr_stability when: variance_ratio_week > 2. 5 severity: medium action: [open:investigation, add:banner_on_dashboards]

14. 4 Formül versiyonlarının karşılaştırılması

sql select dt, country,
ggr_v1, ggr_v2,
(ggr_v2 - ggr_v1) as delta,
100(ggr_v2 - ggr_v1)/nullif(ggr_v1,0) as delta_pct from compare_ggr_v1_v2 order by dt desc, abs(delta_pct) desc limit 100;

14. Pano için 5 "metrik metrik" raporu

yaml meta_dashboard:
tiles:
- metric: freshness_s target: <=600
- metric: latency_p95_ms target: <=1500
- metric: bytes_scanned_mb target: <=2048
- metric: anomaly_rate_7d target: <=0. 5%
- metric: adoption_rate target: >=80%

15) Alt satır

Meta-analitik, metrikleri güvenilir mühendislik nesneleri haline getirir: sahipleri, sürümleri, SLO'ları, testleri ve maliyeti vardır. Metrik kartlar, semantik katman, gözlemlenebilirlik ve FinOps birlikte çalıştığında, kuruluş "farklı gerçekler" yerine karşılaştırılabilir, doğrulanabilir ve uygun maliyetli sayılar alır. "Bu, hızlı analitik, doğru çözümler ve ölçeklenebilir büyümenin temelidir.