Nümunə və təmsilçilik
Nümunə və təmsilçilik
Nümunə ölçmə, eksperimentlər və modellərin öyrənilməsi üçün bir sıra müşahidələrin seçimidir. Reprezentativlik, nümunənin nəticələrinin sistematik səhv olmadan hədəf populyasiyasına ölçüldüyünü göstərir. Aşağıda - nümunəni necə dizayn etmək, keyfiyyətini qiymətləndirmək və yerdəyişmələri düzəltmək.
1) Əsas anlayışlar
Populyasiya: obyektlərin hədəf dəsti (bütün istifadəçilər/sessiyalar/əməliyyatlar).
Nümunə çərçivəsi (sampling frame): həqiqətən seçdiyimiz siyahı/mexanizm (örtükləri və «dəlikləri» müəyyən etmək vacibdir).
Seçim vahidi: istifadəçi, sessiya, hadisə, əməliyyat, cihaz.
Nümayəndəlik: nümunə və populyasiyada əsas əlamətlərin paylanmasının üst-üstə düşməsi (təsadüfi səhv ilə).
Təsadüfi vs sistematik səhv: yerdəyişməyə qarşı qiymətləndirmələrin dispersiyası (bias).
2) Nümunə növləri
2. 1 Ehtimal (üstünlük)
SRS (sadə təsadüfi): bərabər seçim ehtimalı.
Stratifikasiya: populyasiyanın təbəqələrə bölünməsi (ölkə/kanal/platforma), sonra strat daxilində SRS → aşağı dispersiya və daha yaxşı örtük.
Klaster: qrup seçimi (günlər/serverlər/mağazalar); ucuz, lakin daha yüksək daxili klaster korrelyasiya.
Sistematik: təsadüfi başlanğıcdan sonra hər bir k-ci element («sinxron olmayan» məlumatlar tələb olunur).
PPS (probability proportional to size): vahid ölçüsü ∝ ehtimal (məsələn, partnyor trafik həcmi).
2. 2 İnanılmaz (ehtiyatla)
Rahatlıq/könüllülər: sürətli sorğular, «tıklayan» loqlar → seleksiya yerdəyişmə riski.
Kvota/qar topası: niş qruplarında faydalıdır, lakin sonrakı kalibrləmə lazımdır.
3) Yerdəyişmə mənbələri
Örtük (coverage): populyasiyanın bir hissəsi çərçivədə yoxdur (məsələn, izləmə qadağan edildikdə iOS məlumatları).
Seleksiya: seçmə mexanizmi hədəf dəyişənlə bağlıdır (aktiv olanlar daha tez-tez düşür).
Seçilməməsi (nonresponse): cavab verməyənlər sistematik olaraq fərqlənir.
Sağ qalanlar (survivorship): getmiş/bloklanmış görməməzlik.
Etiket yerdəyişmələri: səs-küylü etiketlər, proxy etiketləri, «əl» düzəlişləri.
Likes: nümunə/fich formalaşmasında gələcək infa istifadə.
4) Nümunə ölçüsü və gücü
4. 1 Təqdimatlar
Pay (p) üçün (e) dəqiqliyi və etibarlılığı ilə (1-\alpha):[
n \approx \frac{z_{\alpha/2}^2, p(1-p)}{e^2}
]Konservativ (p = 0 {.} 5). Lazım gələrsə son populyasiyaya düzəliş edin.
məşhur (\sigma) ilə orta üçün:[
n \approx \left(\frac{z_{\alpha/2},\sigma}{e}\right)^2
]4. 2 Dizayn effekti və effektiv ölçüsü
Design Effect: (\mathrm {Deff} = 1 + (m-1 )\rho), burada (m) - klaster ölçüsü, (\rho) - klasterdaxili korrelyasiya.
Effektiv ölçüsü: (n_\text{eff}=n/\mathrm{Deff}). Klaster/balanslı dizaynlar çox vaxt daha çox (n) tələb edir.
4. 3 A/B və MDE
Simmetrik qruplarda ikili metrika üçün:[
n_{\text{на группу}} \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2, \bar{p}(1-\bar{p})}{\mathrm{MDE}^2}
]burada (\bar {p}) - əsas səviyyə, MDE - minimal aşkarlanan təsir.
Mövsümü və interferensiyanı (spillover) nəzərə alın, dispersiyanı azaltmaq üçün CUPED/kovariat istifadə edin.
5) Çəkilər və kalibrləmə (populyasiyaya «bənzəyir» nümunəsi edirik)
Dizayn çəkisi: (w_i=1/\pi_i) (tərs seçmə ehtimalı).
Post-stratifikasiya və raking: balanslı marginalları (ölkə/platforma/yarım yaş və s.) Məşhur paylara uyğunlaşdırırıq.
Kalibrləmə (calibration weighting): nəzarət totalları ilə dəqiq üst-üstə düşdükdə çəkilərin sapmasını minimuma endiririk.
Butstrep/replikasiyalar: tərəzidə dispersiyaların düzgün qiymətləndirilməsi.
Diaqnostika: ESS (effective sample size), tərəzinin yayılması (CV, p95/p5), əsas əlamətlərə görə əvvəl/sonra müqayisə.
6) Siniflərin imbalansı və nadir hadisələr
Stratifikasiya edilmiş hədəf seçimi: nadir sinif oversample, lakin həmişə təlim zamanı eşik/tərəzi düzəlişindən istifadə edin.
Cost-sensitive learning: sintetika əvəzinə balanslı qızılbalıq.
SMOTE/ADASYN: ehtiyatla - sızma/artefakt riski; ciddi müvəqqəti/qrup split saxlamaq.
Qiymətləndirmə: PR-AUC, Recall @FPR ≤ x%; ehtimalların kalibrlənməsi.
7) Axın və böyük məlumatlar
Reservoir sampling: Naməlum uzunluqlu axından nümayəndəlik əlavəsini saxlayın.
Hadisələrin nümunəsi: tezlik/əhəmiyyətə mütənasib; nadir üçün - tetik tamponlar.
Sayğaclar və eskizlər: Tezlik/unikallıq üçün Bloom/Count-Min; analitika üçün - dövri dəqiq hesablama ilə birləşdirin.
De-dup və idempotentlik: hadisə açarları, duplication pəncərələri.
8) Zaman və məkan aspektləri
Time-based sampling: sabit pəncərələr (rolling), nöqtə-in-time düzgünlük.
Cluster/geo-sampling: qovşaqlar/regionlar üzrə klasterləşdirmə; fəza avtomatik korrelyasiyasını nəzərə alın.
Mövsümlük/ritm: həftənin/günün/bayramların nümayəndəlik örtüyü.
9) Off-policy/log məlumatları və kauzallıq
10) Reprezentativliyin diaqnostikası
Marginalların müqayisəsi: cədvəllər populyasiyası vs əsas əlamətlərə görə nümunə.
Balans kovariat: SMD (standardized mean difference), Love plots.
Sıxlıqlar/kvantillər: KS testləri, quantile-plots, PSI.
Model sertifikatlaşdırma: out-of-time və out-of-domain kəsiklərində metrlərin sabitləşdirilməsi.
ESS və çəki: Aşağı ESS qiymətləndirmələrin yüksək dispersiyasını göstərir.
11) Anti-nümunələr
«Samplim yalnız aktiv dünən» → soyuq/yatmaq itkisi.
Çəkisiz «seqmentlər üzrə orta» faizləri orta hesabla.
Bir nümunədə aqreqasiya səviyyələrini (hadisələr və istifadəçilər) qarışdırın.
Hədəfdən asılı olan filtrlərdən sonra təsadüfi seçim (selection on the outcome).
Cross-val asılı data ilə qrup/vaxt split olmadan.
SMOTE-ni train/val (sızma) bölgüsünə qədər tətbiq edin.
12) Şəxsi ssenarilər (cases)
Oyunçuların sorğusu: ölkə/platforma/yaş üzrə təbəqələşmə; MAU paylarına post-stratifikasiya; qeyri-response yerdəyişmə nəzarət.
EDA üçün log: sistematik 1:N hadisələri + nadir növləri tam əhatə edir.
Frod Detect: hədəf-stratifikasiya, cost-sensitive loss, PR-AUC və Recall @FPR ≤ x%.
A/B məhdud trafik: MDE hesablanması, güc qaydalarına görə uzadılması, CUPED.
Off-policy promosyon qiymətləndirilməsi: IPS/DR tartı məhdudiyyəti (trimming), üst-üstə doğru dəstək yoxlama.
13) Artefakt şablonları
Nümunə planı (template)
Məqsəd/populyasiyası:...
Nümunə çərçivəsi: mənbələr, örtüklər/dəliklər
Seçim vahidi: istifadəçi/sessiya/hadisə
Dizayn: təbəqələr (country, platforma), hissələr, seçim üsulu
Ölçü (n): hesablama, fərziyyələr (α, power, MDE), Deff
Çəki sxemi: dizayn-çəki, post-stratifikasiya (nəzarət totalları)
Təqvim: günlərin/saatların/bayramların əhatə dairəsi
Keyfiyyət: örtük testləri, nonresponse planı, əlaqə prosedurları
Risklər: seleksiya, interferensiya, privacy/PII
Sahibləri və nəzarət: kim sayır/saxlayır/versiyası
Tartı pasportu (template)
Əsas çəkilər: (w_i=1/\pi_i)
Kalibrləmə: məqsədlər (country, platforma, age), metod (raking), toleranslar
Məhdudiyyətlər: trimming w ∈ [w_min, w_max]
Diaqnostika: ESS, CV (w), SMD əvvəl/sonra
Istifadə: hansı hesabatlar/modellər çəki tətbiq
Versiyası: v1 → v2, tarix, sahibləri
14) Gizlilik və etika
Privacy by Design: sahələri minimuma endirmək, aqreqasiya, təxəllüs.
Diferensial gizlilik: gizlilik (privacy amplification) gücləndirilməsi kimi randomization/subsempling.
Ədalət: Hata/çəki fərqini həssas atributlarla yoxlayın; qrupların «görünməzliyinə» yol verməyin.
15) Başlamazdan əvvəl çek siyahısı
- Nümunə çərçivəsi təsvir edilmişdir; aşkar və sənədləşdirilmiş «dəliklər» örtük
- Seçilmiş dizayn (stratalar/klasterlər), hesablanmış (n), Deff, MDE
- Dizayn çəkisi və kalibrləmə planı (nəzarət totalları razılaşdırılır)
- Müəyyən vaxt pəncərələri/mövsümi; nonresponse planı var
- Validasiya split vaxt/qrup nəzərə; heç bir sızma
- Keyfiyyət metrləri: ESS, SMD, PSI, butstrep intervalları
- Sənədləşmə və versiyalar; giriş hüquqları və privacy konturları yoxlanılır
Mini sözlük
Deff: Dizayn səbəbiylə qiymətləndirmələrin dispersiyasını artıran çarpan.
ESS: tartı sonra effektiv nümunə ölçüsü.
IPS/DR: off-policy/log məlumatları üçün tartı üsulları.
SMD: standart orta fərq (balans kovariat).
Reservoir sampling: təsadüfi sampla axını saxlamaq.
Yekun
Təmsilçilik «nümunə ilə şanslı» deyil, dizayn edilmiş bir prosesdir: düzgün çərçivə, düşünülmüş seçim dizaynı, kifayət qədər ölçü, tartı və kalibrləmə, dürüst split və ciddi diaqnostika. Təsvir olunan təcrübələrə əməl edərək, yerdəyişməni azaltır, nəticələrin dözümlülüyünü artırır və məhsul, marketinq, risk və ML üçün etibarlı həllər əldə edirsiniz.