Самплирлөө жана өкүлчүлүк

Самплирлөө жана өкүлчүлүк

Самплирлөө - бул өлчөө, эксперимент жана моделдерди окутуу үчүн байкоо топтомун тандоо. Репрезентативдүүлүк үлгүдөгү корутундулар максаттуу популяцияга системалуу катасыз масштабдалат дегенди билдирет. Төмөндө - үлгүсүн кантип долбоорлоо, анын сапатын баалоо жана жылыштарды тууралоо.

1) Негизги түшүнүктөр

Калк: объекттердин максаттуу топтому (бардык колдонуучулар/сессиялар/бүтүмдөр).
Тандоо алкагы (sampling frame): тизме/иш жүзүндө тандалып алынган механизм (жабууну жана "тешиктерди" аныктоо маанилүү).
Тандоо бирдиги: колдонуучу, сессия, окуя, транзакция, түзмөк.
Репрезентативдүүлүк: тандоодо жана популяцияда негизги белгилердин бөлүштүрүлүшүнүн дал келиши (кокусунан ката кетирүү менен).
Кокустук Vs системалуу ката: дисперсия баа каршы жылыш (bias).

2) Sampling түрлөрү

2. 1 Ыктымалдык (артыкчылык)

SRS (жөнөкөй кокустук): бирдей тандоо мүмкүнчүлүгү.
Стратификацияланган: популяцияны страталарга бөлүү (өлкө/канал/платформа), андан кийин стратадагы SRS → төмөнкү дисперсия жана жакшыраак каптоо.
Кластердик: топторду тандоо (күндөр/серверлер/дүкөндөр); арзан, бирок андан жогору.
Системалуу: кокустан башталгандан кийинки ар бир k-элемент ("синхрондуу эмес" маалыматтар талап кылынат).
PPS (probability proportional to size): бирдиктин өлчөмү ∝ ыктымалдыгы (мисалы, өнөктөш трафиктин көлөмү).

2. 2 Укмуштуудай (этияттык менен)

Ыңгайлуулук/ыктыярчылар: тез сурамжылоолор, "чыкылдатуучу" логдор → селекциялык жылыш коркунучу.
Квота/кар топтому: нишалык топтордо пайдалуу, бирок кийинки калибрлөө керек.

3) Орун которуу булактары

Coverage: Популяциянын бир бөлүгү алкакта жок (мисалы, iOS маалыматтары трекингге тыюу салынганда).
Тандоо: тандоо механизми максаттуу өзгөрмө менен байланышкан (активдүү көп түшөт).
Тандалбаган (nonresponse): жооп системалуу түрдө айырмаланат.
Survivorship (survivorship): көз жаздымда калган/бөгөттөлгөн.
Белги-жылыштар: ызы-чуу белгилер, прокси-белгилер, "кол" түзөтүүлөр.
Face: үлгү/fich түзүүдө келечектеги маалымат колдонуу.

4) үлгү көлөмү жана кубаттуулугу

4. 1 Жакындоо

[
n \approx \frac{z_{\alpha/2}^2, p(1-p)}{e^2}
]

консервативдүү алып (p = 0 {.} 5). Керек болсо акыркы популяцияга тууралаңыз.

[
n \approx \left(\frac{z_{\alpha/2},\sigma}{e}\right)^2
]

4. 2 Дизайн таасири жана натыйжалуу көлөмү

Design Effect: (\mathrm {Deff} = 1 + (m-1 )\rho), мында (m) - кластердин өлчөмү, (\rho) - кластер ичиндеги корреляция.
Натыйжалуу көлөмү: (n_\text{eff}=n/\mathrm{Deff}). Кластердик/салмактуу дизайн көп учурда көбүрөөк талап кылат (n).

4. 3 A/B жана MDE

[
n_{\text{на группу}} \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2, \bar{p}(1-\bar{p})}{\mathrm{MDE}^2}
]

мында (\bar {p}) - базалык деңгээл, MDE - минималдуу аныкталуучу эффект.
сезондук жана interference (spillover) эске алуу, дисперсия азайтуу үчүн CUPED/kovariates колдонуу.

5) Салмагы жана калибрлөө (тандоо "окшош" калк үчүн)

Дизайн салмагы: (w_i=1/\pi_i) (тескери тандоо ыктымалдыгы).
Пост-стратификация жана raking: салмактуу маргиналдарды (өлкө/платформа/жыныстык курак ж.б.) белгилүү үлүштөргө ылайыкташтыруу.
Калибрлөө (calibration weighting): контролдук жалпы менен так дал таразанын четтөө азайтуу.
Бутстреп/репликация: таразада дисперсияларды туура баалоо.
Диагностика: ESS (effective sample size), тараза (CV, p95/p5), негизги белгилери боюнча чейин/кийин салыштыруу.

6) Класстардын имбалансы жана сейрек окуялар

Таргет боюнча стратификацияланган тандоо: сейрек кездешүүчү класс oversample, бирок окуу учурунда ар дайым босого/таразаны тууралоону колдонуңуз.
Cost-sensitive learning: синтетикалык ордуна салмактуу лосось.
SMOTE/ADASYN: этият - агып чыгуу/артефакттар коркунучу; катуу убактылуу/топтук split сактоо.
Баа: PR-AUC, Recall @FPR ≤ x%; ыктымалдуулугун калибрлөө.

7) Агымы жана чоң маалыматтар

Reservoir sampling: белгисиз узундуктагы агымынан өкүлчүлүк кошумча колдоо.
Иш-чаралардын сэмплинги: жыштыкка/маанилүүлүккө пропорционалдуу; сейрек кездешүүчү үчүн - триггер буферлер.
Эсептегичтер жана эскиздер: Bloom/Count-Min жыштык/уникалдуулук үчүн; аналитика үчүн - мезгилдүү так эсептөө менен айкалыштырыңыз.
De-dup жана демпотенттүүлүк: окуялардын ачкычтары, дедупликация терезелери.

8) Убакыт жана мейкиндик аспектилери

Time-based sampling: белгиленген терезелер (rolling), пункту-in-time тууралыгы.
Cluster/geo-sampling: түйүндөр/региондор боюнча кластерлештирүү; автокорреляцияны эске алыңыз.
Сезондук/ритм: жуманын/күндөрдүн/майрамдардын өкүлчүлүгү.

9) Off-саясат/логикалык маалыматтар жана каузалдуулук

10) Өкүлчүлүк диагностикасы

Чектерди салыштыруу: таблицалар популяциясы vs негизги белгилери боюнча тандоо.
Баланс ковариат: SMD (standardized mean difference), Love plots.
тыгыздыгы/quantiles: KS-тесттер, quantile-plots, PSI.
Аттестация модели: out-of-time жана out-of-domain тилкелеринде метриктерди турукташтыруу.
ESS жана салмагы: төмөн ESS жогорку баа дисперсиясы жөнүндө белги.

11) Анти-үлгүлөрү

"Самплим гана активдүү кечээ" → суук/уктап жоготуу.
Салмагы жок "сегменттер боюнча орточо" пайыздарды орточо.
Бир үлгүдөгү агрегация деңгээлдерин (окуялар жана колдонуучулар) аралаштыруу.
максаттуу көз каранды чыпкалар кийин туш келди тандоо (outcome боюнча тандоо).
Cross-val көз каранды маалыматтар боюнча топтук/убакыт бөлүп жок.
train/val (агып) боюнча бөлүү чейин SMOTE колдонуу.

12) Жеке жагдайлар (учурлар)

Оюнчуларды сурамжылоо: өлкө/платформа/жаш боюнча катмарлаштыруу; MAU үлүштөрүнө пост-стратификация; nonresponse жылыштарды көзөмөлдөө.
EDA үчүн Логи: системалуу 1:N sample окуялар + сейрек кездешүүчү түрлөрүн толук камтыйт.
Фрод-деталь: максаттуу стратификация, cost-sensitive лосс, PR-AUC жана Recall @FPR ≤ x%.
A/B чектелген трафик: MDE эсептөө, Power эрежелери боюнча узартуу, CUPED.
Off-policy баа промо: IPS/DR салмак чектөө менен (trimming), текшерүү кайталап колдоо.

13) Артефакттардын үлгүлөрү

Самплирлөө планы (template)

Максаты/популяциясы:...

Тандоо алкагы: булактар, каптоо/тешиктер

Тандоо бирдиги: колдонуучу/сессия/окуя

Дизайн: страталар (өлкө, платформа), үлүштөр, тандоо ыкмасы

Көлөмү (n): эсептөө, болжолдоолор (α, Power, MDE), Deff

Салмак схемасы: дизайн-салмак, пост-стратификация (жалпы контролдоо)

Календарь: күндөрдү/сааттарды/майрамдарды жабуу

Сапаты: камтуу тесттер, nonresponse планы, байланыш жол-жоболору

Тобокелдиктер: тандоо, интерференция, privacy/PII

Ээлери жана көзөмөл: ким эсептейт/сактайт/версиялайт

Таразага паспорт (template)

Негизги салмагы: (w_i=1/\pi_i)

Калибрлөө: максаттары (country, платформа, age), ыкмасы (raking), жол-жоболору

Чектөөлөр: trimming w ∈ [w_min, w_max]

Диагностика: ESS, CV (w), SMD чейин/кийин

Колдонуу: кандай отчеттор/моделдер салмагы колдонулат

Version: v1 → v2, датасы, ээлери

14) Купуялык жана этика

Privacy by Design: талааларды минималдаштыруу, агрегация, псевдонимдештирүү.
Дифференциалдык купуялык: рандомизация/субсампирлөө катары купуялуулукту күчөтүү (privacy amplification).
Адилеттүүлүк: каталар/салмактардын айырмасын сезимтал атрибуттар боюнча текшерүү; топтордун "көрүнбөшүнө" жол бербеңиз.

15) башталганга чейин чек тизмеси

• тандоо алкагы сүрөттөлгөн; "тешиктер" аныкталган жана документтештирилген
• Тандалган дизайн (страталар/кластерлер), эсептелген (n), Deff, MDE
• Ылайыкташтырылган дизайн салмагы жана калибрлөө планы (жалпы контролдоо макулдашылган)
• Аныкталган убактылуу терезелер/сезондук; nonresponse боюнча план бар
• валидация сплиттери убакытты/топту эске алат; эч кандай агып
• Сапат көрсөткүчтөрү: ESS, SMD, PSI, Бутстреп интервалдары
• Документтер жана версиялар; Кирүү укуктары жана жеке контурлар текшерилди

Мини-глоссарий

Deff: улам дизайн баа дисперсиясын көбөйтүүчү.
ESS: таразага кийин натыйжалуу үлгү көлөмү.
IPS/DR: off-саясат/логикалык маалыматтар үчүн таразалоо ыкмалары.
SMD: орточо стандартташтырылган айырма (балансы ковариат).
Reservoir sampling: агымынан туш келди sampla сактоо.

Жыйынтык

Репрезентативдүүлүк - бул "үлгү менен бактылуу" эмес, иштелип чыккан процесс: туура алкак, ойлонулган тандоо дизайны, жетиштүү өлчөм, таразалоо жана калибрлөө, чынчыл сплиттер жана катуу диагностика. Сүрөттөлгөн тажрыйбаларды ээрчип, сиз жылыштарды азайтып, корутундулардын чыдамдуулугун жогорулатат жана продукт, маркетинг, тобокелдик жана ML үчүн ишенимдүү чечимдерди аласыз.