أخذ العينات والتمثيل

أخذ العينات والتمثيل

أخذ العينات هو اختيار مجموعة فرعية من الملاحظات للقياسات والتجارب والتدريب على النماذج. التمثيل يعني أن الاستنتاجات من العينة يتم توسيعها إلى السكان المستهدفين دون تحيز. فيما يلي كيفية تصميم عينة وتقييم جودتها والتعويضات الصحيحة.

1) المفاهيم الأساسية

السكان: المجموعة المستهدفة من الأشياء (جميع المستعملين/الدورات/المعاملات).
إطار أخذ العينات: القائمة/الآلية التي نختار منها بالفعل (من المهم تحديد الطلاءات و «الثقوب»).
وحدة الاختيار: المستخدم، الجلسة، الحدث، المعاملة، الجهاز.
التمثيل: مطابقة توزيع السمات الرئيسية في العينة والسكان (مع تحمل الخطأ العشوائي).
التحيز العشوائي مقابل التحيز: تباين التقديرات مقابل التحيز (التحيز).

2) أنواع أخذ العينات

2. 1 احتمالية (مفضلة)

SRS (عشوائي بسيط): احتمال متساوٍ للاختيار.
طبقات: طبقات السكان (البلد/القناة/المنصة)، ثم SRS داخل الطبقات → تباين أقل وتغطية أفضل.
المجموعة: اختيار المجموعات (أيام/حواسيب خدمة/مخازن) ؛ ارتباط رخيص ولكن أعلى داخل الرباط.
منهجي: كل عنصر kth بعد بداية عشوائية (البيانات «غير المتزامنة» المطلوبة).
PPS (احتمال متناسب مع الحجم) - احتمال ∝ حجم الوحدة (على سبيل المثال، حجم حركة المرور للشركاء).

2. 2 لا يصدق (بحذر)

وسائل الراحة/المتطوعون: استطلاعات الرأي السريعة، وسجلات «النقر» → وخطر التحيز في الاختيار.
الحصة/كرة الثلج: مفيد في المجموعات المتخصصة، ولكن هناك حاجة إلى المعايرة اللاحقة.

3) مصادر التشرد

التغطية: جزء من السكان ليس في الإطار (على سبيل المثال، بيانات iOS عند حظر التتبع).
الاختيار: ترتبط آلية الاختيار بالمتغير المستهدف (السقوط النشط في كثير من الأحيان).
عدم الاستجابة: يختلف عدم الاستجابة بشكل منهجي.
الناجون: تجاهل المغادرين/المحظورين.
ملصق التعويض: علامات صاخبة، ملصقات بالوكالة، تعديلات «يدوية».
الوجوه: استخدام المعلومات المستقبلية في تكوين العينة/الخاصية.

4) حجم العينة والطاقة

4. 1 تقديرات تقريبية

[
n/تقريبًا\frac {z _ {\alpha/2} ^ 2، p (1-p)} {e ^ 2}
]

نأخذ بشكل متحفظ (p = 0 {.} 5). قم بالتكيف مع السكان النهائيين إذا لزم الأمر.

[
n/حوالي\يسار (\frac {z _ {\alpha/2} ,\sigma} {e }\يمين) ^ 2
]

4. 2 تأثير التصميم والحجم الفعال

تأثير التصميم: (\mathrm {Deff} = 1 + (m-1 )\rho)، حيث (m) هو حجم التجمع، (\rho) هو الارتباط داخل التجمع.
الحجم الفعلي: (n_\text{eff}=n/\mathrm{Deff}). غالبًا ما تتطلب التصميمات العنقودية/المرجحة المزيد (ن).

4. 3 ألف/باء و MDE

[
n_{\text{на группу} }\تقريبًا\frac {2 (z_{1-\alpha/2}+z_{1-\beta}) ^ 2 ،\bar {p} (1-\bar {p})} {\mathrm {MDE} ^ 2}
]

حيث (\bar {p}) هو مستوى الأساس، MDE هو الحد الأدنى من التأثير القابل للكشف.
ضع في اعتبارك الموسمية والتداخل (الامتداد)، طبق CUPED/covariates لتقليل التباين.

5) الأوزان والمعايرة (نأخذ عينات «مماثلة» للسكان)

أوزان التصميم: (w_i=1/\pi_i) (الاحتمال العكسي للاختيار).
ما بعد التقسيم الطبقي والجرف: نقوم بتعديل الهامش المرجح (البلد/المنصة/العمر الجنساني، وما إلى ذلك) إلى الأجزاء المعروفة.
ترجيح المعايرة: تقليل انحراف الأوزان عند تزامنها بالضبط مع مجاميع التحكم.
Bootstrap/replication: التقدير الصحيح للفروق عند الأوزان.
التشخيص: ESS (حجم العينة الفعال)، انتشار الوزن (CV، p95/p5)، قبل/بعد المقارنة حسب الميزات الرئيسية.

6) اختلال التوازن الطبقي والأحداث النادرة

الاختيار الطبقي حسب الهدف: العينة الزائدة هي فئة نادرة، ولكنها تستخدم دائمًا تعديل العتبة/الوزن في التدريب.
التعلم الحساس من حيث التكلفة: الخسائر المرجحة بدلاً من المواد التركيبية.
SMOTE/ADASYN: الحذر - خطر التسرب/القطع الأثرية ؛ احتفظ بانقسامات زمنية/جماعية صارمة.
التصنيف: PR-AUC، Recall@FPR≤x٪ ؛ معايرة الاحتمالات.

7) البث والبيانات الضخمة

أخذ عينات الخزان: امسك مجموعة فرعية تمثيلية من تيار غير معروف الطول.
أخذ عينات من الأحداث: بما يتناسب مع التردد/الأهمية ؛ لحاجزات الزناد النادرة.
العدادات والرسومات: Bloom/Count-Min للترددات/التفرد ؛ للتحليلات - دمجها مع العد الدقيق الدوري.
De-dup and idempotency - مفاتيح الحدث، نوافذ التفريغ.

8) الجوانب الزمنية والمكانية

أخذ العينات على أساس الوقت: النوافذ الثابتة (الدوران)، وصحة النقطة في الوقت المناسب.
أخذ العينات العنقودية/الجغرافية: التجميع حسب العقدة/المنطقة ؛ النظر في الارتباط الذاتي المكاني.
الموسمية/الإيقاع: تغطية تمثيلية لساعات/أيام الأسبوع/العطلات.

9) البيانات غير الرسمية/السجل والسببية

10) تشخيص التمثيل

المقارنة الهامشية: الجداول السكانية مقابل العينة حسب السمات الرئيسية.
توازن المتغيرات: SMD (الفرق المتوسط الموحد)، مؤامرات الحب.
الكثافة/الكميات: اختبارات KS، الرسوم الكمية، PSI.
المؤهل النموذجي: تثبيت المقاييس على شرائح خارج الوقت وخارج النطاق.
ESS والأوزان: تشير ESS المنخفضة إلى تباين كبير في الدرجات.

11) الأنماط المضادة

«عينة نشطة بالأمس فقط» → فقدان البرد/النائمين.
متوسط النسب المئوية «متوسط القطاع» بدون أوزان.
مزج مستويات التجميع (الأحداث والمستخدمون) في عينة واحدة.
الاختيار العشوائي بعد المرشحات المعتمدة على الهدف (الاختيار على النتيجة).
Cross-val بدون انشقاقات المجموعة/الوقت مع البيانات المعتمدة.
طبق SMOTE قبل القطار/val (تسرب).

12) سيناريوهات خاصة (قضايا)

استقصاء اللاعبين: مصنفة حسب البلد/المنصة/العمر ؛ بعد التقسيم الطبقي لأسهم MAU ؛ عدم الاستجابة للسيطرة التعويضية.
سجلات EDA: عينة 1:N منتظمة + تغطية كاملة للأنواع النادرة.
كشف الغش: التقسيم الطبقي المستهدف، الخسارة الحساسة من حيث التكلفة، درجة PR-AUC و Recall@FPR≤x٪.
A/B مع تقييد حركة المرور: حساب MDE، تجديد قاعدة الطاقة، CUPED.
عرض ترويجي للتقييم خارج السياسة: IPS/DR مع الحد من الوزن (التشذيب)، التحقق من تداخل الدعم.

13) أنماط القطع الأثرية

خطة أخذ العينات (نموذج)

الهدف/السكان:...

صندوق العينات: المصادر والأغطية/الثقوب

وحدة الاختيار: المستخدم/الجلسة/الحدث

التصميم: الطبقات (البلد، المنصة)، الأسهم، طريقة الاختيار

الحجم (ن): الحسابات والافتراضات (α، القوة، MDE)، ديف

مخطط الوزن: أوزان التصميم، بعد التقسيم الطبقي (مجاميع المراقبة)

التقويم: تغطية اليوم/الساعة/العطلة

الجودة: اختبارات التغطية، خطة عدم الاستجابة، إجراءات الاتصال

المخاطر: الاختيار والتدخل والخصوصية/PII

المالكون والتحكم: من يحسب/المتاجر/الإصدارات

وزن جواز السفر (نموذج)

الأوزان الأساسية: (w_i=1/\pi_i)

المعايرة: الأهداف (البلد، المنصة، العمر)، الطريقة (الرفع)، التسامح

القيود: تقليم w ∈ [w_min، w_max]

التشخيص: ESS، CV (w)، SMD قبل/بعد

الاستخدام: ما هي التقارير/النماذج التي تطبق الأوزان

الإصدارات: v1→v2، التاريخ، المالكون

14) الخصوصية والأخلاق

الخصوصية حسب التصميم: تقليل المجال، التجميع، التسمية المستعارة.
الخصوصية التفاضلية: التوزيع العشوائي/التبعية كتضخيم للخصوصية.
الإنصاف: تحقق من الخطأ/فرق الوزن مقابل السمات الحساسة ؛ لا تسمح للجماعات بأن تكون «غير مرئية».

15) قائمة مرجعية قبل البدء

• يرد وصف لصندوق العينات ؛ تحديد وتوثيق ثقوب الطلاء
• تصميم مختار (طبقات/مجموعات)، محسوب (ن)، Deff، MDE
• وضع أوزان التصميم وخطة المعايرة (تم الاتفاق على مجاميع المراقبة)
• تحديد النوافذ الزمنية/الموسمية ؛ هناك خطة من قبل عدم الاستجابة
• تقسيم المصادقة مع مراعاة الوقت/المجموعات ؛ لا تسريبات
• مقاييس الجودة: ESS، SMD، PSI، فترات bootstrap
• الوثائق والنسخ ؛ فحص حقوق الوصول وخطوط الخصوصية

مسرد مصغر

ديف: مضاعف زيادة تباين الدرجات بسبب التصميم.
ESS: حجم العينة الفعال بعد الترجيح.
IPS/DR: طرق الترجيح لبيانات خارج السياسة/سجل.
SMD: متوسط الفرق الموحد (الرصيد المتغاير).
أخذ عينات الخزان: الاحتفاظ بعينة عشوائية من التيار.

المجموع

التمثيل ليس «محظوظًا بالعينة»، ولكنه عملية مصممة: إطار صحيح، وتصميم اختيار مدروس، وحجم كافٍ، ووزن ومعايرة، وانقسامات صادقة وتشخيص صارم. من خلال اتباع الممارسات الموصوفة، يمكنك تقليل التحيز وزيادة قابلية نقل الاستنتاجات والحصول على حلول موثوقة للمنتج والتسويق والمخاطر و ML.