Sample we wekilçilik

Sampleýirlemek we wekilçilik etmek

Samplirlemek - ölçegler, synaglar we modelleri öwretmek üçin gözegçilikleriň kiçi toparyny saýlamakdyr. Wekilçilik, nusgadan alnan netijeleriň maksatly ilata yzygiderli ýalňyşlyk bolmazdan ulalýandygyny aňladýar. Aşakda - nusgany nädip dizaýn etmeli, hiline baha bermeli we süýşmeleri sazlamaly.

1) Esasy düşünjeler

Ilat sany: obýektleriň maksatly toplumy (ähli ulanyjylar/sessiýalar/amallar).
Saýlama çarçuwasy (sampling frame): hakyky saýlaýan sanawy/mehanizmi (örtükleri we "deşikleri" kesgitlemek möhümdir).
Saýlama birligi: ulanyjy, sessiýa, waka, geleşik, enjam.
Wekilçilik: nusgada we ilatda esasy alamatlaryň paýlanyşynyň gabat gelmegi (tötänleýin ýalňyşlyga ýol bermek bilen).
Tötänleýin vs yzygiderli ýalňyşlyk: süýşmä garşy bahalaryň dispersiýasy (bias).

2) Sampletlemegiň görnüşleri

2. 1 Ähtimal (ileri tutulýan)

SRS (ýönekeý tötänleýin): saýlawyň deň mümkinçiligi.
Gatlaklaşdyrylan: populýasiýany gatlaklara bölmek (ýurt/kanal/platforma), soňra SRS gatyň içinde → aşaky dispersiýa we has gowy örtük.
Klaster: toparlary saýlamak (günler/serwerler/dükanlar); arzan, ýöne ýokary içerki korrelýasiýa.
Yzygiderli: tötänleýin başlanandan soň her bir k-y element ("sinhron däl" maglumatlar talap edilýär).
PPS (probability proportional to size): unit ululygyna ∝ ähtimallyk (mysal üçin, partnýor traffiginiň mukdary).

2. 2 Ajaýyp (seresaplylyk bilen)

Amatlyklar/meýletinçiler: çalt soraglar, "basýanlaryň" ýazgylary → seleksiýa süýşmegi töwekgelçiligi.
Kwota/gar topy: ýer toparlarynda peýdaly, ýöne indiki kalibrlemek zerur.

3) Göçürmegiň çeşmeleri

Örtük (coverage): ilatyň bir bölegi çarçuwada ýok (mysal üçin, yzarlamak gadagan edilende iOS maglumatlary).
Seleksiýa: saýlama mehanizmi maksat üýtgeýjisi bilen baglanyşyklydyr (aktiwler ýygy-ýygydan düşýärler).
Saýlawsyz (nonresponse): jogap bermeýänler yzygiderli tapawutlanýar.
Diri galanlar (survivorship): gidenleri/petiklenenleri äsgermezlik etmek.
Bellik çalşyklary: şowhunly bellikler, proksi bellikler, "el bilen" düzedişler.
Liki: geljekdäki infany nusgany emele getirmekde ulanmak/fiç.

4) Nusganyň ululygy we kuwwaty

4. 1 Ýakynlaşmalar

[
n \approx \frac{z_{\alpha/2}^2, p(1-p)}{e^2}
]

Konserwatiw alýarys (p = 0 {.} 5). Zerur bolsa ahyrky ilata düzediň.

[
n \approx \left(\frac{z_{\alpha/2},\sigma}{e}\right)^2
]

4. 2 Dizaýn täsiri we täsirli ululygy

Design Effect: (\mathrm {Deff} = 1 + (m-1 )\rho), bu ýerde (m) - klasteriň ululygy, (\rho) - klasteriň içindäki baglanyşyk.
Täsirli ululygy: (n_\text{eff}=n/\mathrm{Deff}). Klaster/deňagramly dizaýnlar köplenç has köp (n) talap edýär.

4. 3 A/B we MDE

[
n_{\text{на группу}} \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2, \bar{p}(1-\bar{p})}{\mathrm{MDE}^2}
]

(\bar {p}) - esasy dereje, MDE - iň az kesgitlenen täsir.
Möwsümliligi we interferensiýany (spillover) göz öňünde tutuň, dispersiýany azaltmak üçin CUPED/kowariatlary ulanyň.

5) Agramlar we kalibrlemek (ilata "meňzeş" nusga alýarys)

Dizaýn agramy: (w_i=1/\pi_i) (yzyna almak ähtimallygy).
Post-stratifikasiýa we raking: deňagramly marginallary (ýurt/platforma/ýarym ýaş we ş.m.) belli paýlara sazlaýarys.
Kalibrlemek (calibration weighting): Gözegçilik totallary bilen takyk gabat gelende agramlaryň gyşarmagyny azaldýarys.
Butstrep/replikasiýalar: agramda dispersiýalara dogry baha bermek.
Diagnostika: ESS (effective sample size), agramyň ýaýramagy (CV, p95/p5), esasy alamatlar boýunça öň/soň deňeşdirme.

6) Synplaryň imbalansy we seýrek wakalar

Maksatly gatlakly saýlama: oversample seýrek synp, ýöne elmydama okuw wagtynda bosaganyň/agramyň düzedilmegini ulanyň.
Cost-sensitive learning: sintetikanyň ýerine deňagramly losslar.
SMOTE/ADASYN: seresaplylyk bilen - syzmak/artefaktlaryň töwekgelçiligi; berk wagtlaýyn/toparlaýyn bölünişikleri saklaň.
Baha bermek: PR-AUC, Recall @FPR ≤ x%; ähtimallyklary kalibrlemek.

7) Akym we uly maglumatlar

Reservoir sampling: näbelli uzynlykdaky akymdan wekilçilik goldawyny saklaýarys.
Wakalaryň samplingi: ýygylyga/ähmiýetine proporsional; seýrek duş gelýänler üçin - trigger buferleri.
Hasaplaýjylar we eskizler: Ýygylyklar/özboluşlylyk üçin Bloom/Count-Min; analitika üçin - wagtal-wagtal takyk sanamak bilen birleşdiriň.
De-dup we idempotentlik: wakalaryň açarlary, duplikasiýa penjireleri.

8) Wagt we giňişlik taraplary

Time-based sampling: kesgitlenen penjireler (rolling), nokat-in-time dogrulygy.
Cluster/geo-sampling: düwünler/sebitler boýunça klaster; giňişlik awto-baglanyşygyny göz öňünde tutuň.
Möwsümlilik/ritm: hepdäniň sagatlarynyň/günleriniň/baýramçylyklarynyň wekilçilikli örtügi.

9) Off-policy/log maglumatlary we kauzallyk

10) Wekilçilik anyklaýyş

Marginallary deňeşdirmek: tablisalar ilat vs esasy alamatlar boýunça nusga almak.
Balans kowariaty: SMD (standardized mean difference), Love plots.
Dykyzlyklar/kwantiller: KS-synaglar, kwantile-plots, PSI.
Modeli tassyklamak: out-of-time we out-of-domain kesişlerinde metrikleri durnuklaşdyrmak.
ESS we agram: Pes ESS ýokary bahalaryň dispersiýasyny görkezýär.

11) Anti-patternler

"Samplim diňe işjeň düýn" → sowuk/uklaýanlaryň ýitmegi.
"Segmentler boýunça ortaça" göterimleri agramsyz ortaça alyň.
Bir nusgada agregasiýa derejelerini (wakalary we ulanyjylary) garyşdyrmak.
Nyşana bagly süzgüçlerden soň tötänleýin saýlama (selection on the outcome).
Garaşly maglumatlarda topar/wagt bölünişikleri bolmazdan cross-val.
SMOTE-ni train/val (syzmak) bölýänçä ulanyň.

12) Hususy ssenariýalar (wakalar)

Oýunçylaryň soragy: ýurt/platforma/ýaş boýunça gatlaklaşdyrmak; MAU paýnamalaryna post-stratifikasiýa; nonresponse süýşmegine gözegçilik etmek.
EDA üçin loglar: wakalaryň yzygiderli 1:N + seýrek görnüşleriň doly örtügi.
Frod-detekt: target-stratifikasiýa, cost-sensitive lossy, PR-AUC we Recall @FPR ≤ x%.
Çäkli traffikli A/B: MDE hasaplamak, güýç düzgünleri boýunça uzaltmak, CUPED.
Mahabata off-policy baha bermek: IPS/DR agramy çäklendirilen (trimming), goldawyň örtülmegini barlamak.

13) Artefaktlaryň şablonlary

Sampler meýilnamasy (template)

Maksat/Ilat:...

Saýlama çarçuwasy: çeşmeler, örtükler/deşikler

Saýlama birligi: ulanyjy/sessiýa/waka

Dizaýn: stratalar (country, platform), paýlar, saýlama usuly

Ölçegi (n): hasaplama, çaklama (α, power, MDE), Deff

Agram shemasy: dizaýn-agram, post-stratifikasiýa (gözegçilik totallary)

Senenama: günleri/sagatlary/baýramçylyklary ýapmak

Hil: örtük synaglary, nonresponse-meýilnama, aragatnaşyk amallary

Töwekgelçilikler: saýlama, interferensiýa, privacy/PII

Eýeler we gözegçilik: kim sanaýar/saklaýar/wersiýa edýär

Agram salmagyň pasporty (template)

Esasy agramy: (w_i=1/\pi_i)

Kalibrlemek: maksatlar (country, platform, age), usul (raking), rugsat

Çäklendirmeler: trimming w ∈ [w_min, w_max]

Anyklaýyş: ESS, CV (w), SMD öň/soň

Ulanyş: Haýsy hasabatlar/modeller agramy ulanýar

Wersiýalary: v1 → v2, senesi, eýeleri

14) Gizlinlik we ahlak

Privacy by Design: meýdanlary, agregasiýalary, lakamlary azaltmak.
Differensial gizlinlik: gizlinligi güýçlendirmek hökmünde randomizasiýa/subsempling (privacy amplification).
Adalat: duýgur atributlar boýunça ýalňyşlyklaryň/agramlaryň tapawudyny barlaň; toparlaryň "görünmezligine" ýol bermäň.

15) Başlamazdan öň çek-sanawy

• Nusganyň çarçuwasy beýan edilýär; örtügiň "deşikleri" ýüze çykaryldy we resminamalaşdyryldy
• Saýlanan dizaýn (stratalar/toparlar), hasaplanan (n), Deff, MDE
• Dizaýn agramy we kalibrlemek meýilnamasy sazlandy (gözegçilik totallary ylalaşyldy)
• Wagtlaýyn penjireler/möwsümlilik kesgitlenildi; nonresponse meýilnamasy bar
• Walidasiýa bölünişikleri wagty/toparyny göz öňünde tutýar; syzdyrylmady
• Hil ölçegleri: ESS, SMD, PSI, butstrap aralyklary
• Resminamalar we wersiýalar; giriş hukuklary we privacy-konturlar barlandy

Kiçi sözlük

Deff: dizaýn sebäpli bahalaryň deňsizligini ýokarlandyrýan köpeldiji.
ESS: Tereziden soň nusganyň täsirli ululygy.
IPS/DR: off-policy/log maglumatlary üçin ölçeg usullary.
SMD: ortaça standartlaşdyrylan tapawut (balans kowariaty).
Reservoir sampling: tötänleýin samply akymdan saklamak.

Jemi

Wekilçilik "sampl bilen bagtly" däl-de, düzülen proses: dogry çarçuwa, oýlanyşykly saýlama dizaýny, ýeterlik ululyk, agram salmak we kalibrlemek, dogruçyl bölünmek we berk anyklaýyş. Beýan edilen amallara eýerip, süýşmegi azaldýarsyňyz, netijeleriň çydamlylygyny ýokarlandyrarsyňyz we önüm, marketing, töwekgelçilik we ML üçin ygtybarly çözgütleri alarsyňyz.