სემპლაცია და წარმომადგენლობა

სიმულაცია და წარმომადგენლობა

სიმულაცია არის დაკვირვებების ქვესათაურის არჩევანი გაზომვების, ექსპერიმენტებისა და მოდელების მომზადებისთვის. წარმომადგენლობა ნიშნავს, რომ ნიმუშიდან მიღებული დასკვნები ფართოვდება მიზნობრივი მოსახლეობის გარეშე, სისტემატური შეცდომის გარეშე. ქვემოთ მოცემულია, თუ როგორ უნდა შეიმუშაოს ნიმუში, შეაფასოს მისი ხარისხი და შეცვალოს გადაადგილება.

1) ძირითადი ცნებები

მოსახლეობა: ობიექტების სამიზნე ნაკრები (ყველა მომხმარებელი/სესია/გარიგება).
ნიმუშის ჩარჩო: სია/მექანიზმი, საიდანაც ჩვენ ნამდვილად ვირჩევთ (მნიშვნელოვანია საფარის და „ხვრელების“ იდენტიფიცირება).
შერჩევის ერთეული: მომხმარებელი, სესია, ღონისძიება, გარიგება, მოწყობილობა.
წარმომადგენლობა: ნიმუშში და პოპულაციაში საკვანძო ნიშნების განაწილების დამთხვევა (შემთხვევითი შეცდომის დაშვებით).
შემთხვევითი vs სისტემატური შეცდომა: კლასიფიკაციის დისპერსია გადაადგილების საწინააღმდეგოდ (bias).

2) სემპლაციის ტიპები

2. 1 ალბათობა (სასურველი)

SRS (მარტივი შემთხვევითი): შერჩევის თანაბარი ალბათობა.
სტრატიფიცირებული: მოსახლეობის გაფანტვა სტრატებზე (ქვეყანა/არხი/პლატფორმა), შემდეგ SRS შიგნით სტრატში არის დისპერსია და უკეთესი საფარი.
კლასტერული: ჯგუფების შერჩევა (დღეები/სერვერები/მაღაზიები); იაფი, მაგრამ უფრო მაღალი, ვიდრე შიდა კლასის კორელაცია.
სისტემატური: თითოეული K ელემენტი შემთხვევითი დაწყების შემდეგ (საჭიროა „არაინქრონული“ მონაცემები).
PPS (probability protional to size): დანაყოფის ზომის ალბათობა (მაგალითად, პარტნიორის ტრაფიკის მოცულობა).

2. 2 წარმოუდგენელი (სიფრთხილით)

მოხერხებულობა/მოხალისეები: სწრაფი გამოკითხვები, „დაწკაპუნების“ ლოგოები - შერჩევის გადაადგილების რისკი.
კვოტა/თოვლის მანქანა: სასარგებლოა ნიშების ჯგუფებში, მაგრამ საჭიროა შემდგომი კალიბრაცია.

3) გადაადგილების წყაროები

საფარი (საფარი): მოსახლეობის ნაწილი არ არის ჩარჩოში (მაგალითად, iOS მონაცემები ტრეკინგის აკრძალვის დროს).
შერჩევა: შერჩევის მექანიზმი უკავშირდება მიზნობრივ ცვლას (აქტიურები უფრო ხშირად ხვდებიან).
Nonresponse: განუყოფელი სისტემატურად განსხვავდება.
გადარჩენილი (გადარჩენილი): გამგზავრების/დაბლოკვის უგულებელყოფა.
ეტიკეტის გადაადგილება: ხმაურიანი ეტიკეტები, მარიონეტული ეტიკეტები, „სახელმძღვანელო“ კორექტირება.
სახეები: მომავალი ინფოს გამოყენება შერჩევის/ფიჩის ფორმირებაში.

4) შერჩევის ზომა და ძალა

4. 1 მოახლოება

[
n \approx \frac{z_{\alpha/2}^2, p(1-p)}{e^2}
]

კონსერვატიულად ვიღებთ (p = 0 {.} 5). საჭიროების შემთხვევაში შეცვალეთ საბოლოო მოსახლეობა.

[
n \approx \left(\frac{z_{\alpha/2},\sigma}{e}\right)^2
]

4. 2 დიზაინის ეფექტი და ეფექტური ზომა

Design Effect: (\mathrm {Deff = 1 + (m-1 )\rho), სადაც (m) არის კლასტერის ზომა, (\rho) არის ინტრაკლასტიკური კორელაცია.
ეფექტური ზომა: (n _\text {eff} = n/\mathrm {Deff}). კლასტერული/შეჩერებული დიზაინები ხშირად მეტს მოითხოვს (n).

4. 3 A/B და MDE

[
n_{\text{на группу}} \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2, \bar{p}(1-\bar{p})}{\mathrm{MDE}^2}
]

სადაც (\bar {p}) არის ძირითადი დონე, MDE არის მინიმალური გამოვლენილი ეფექტი.
გაითვალისწინეთ სეზონური და ჩარევა (სპილოვერი), გამოიყენეთ CUPED/კოვარიატები დისპერსიის შესამცირებლად.

5) წონა და კალიბრაცია (გააკეთეთ ნიმუში „ჰგავს“ მოსახლეობას)

დიზაინის წონა: (w _ i = 1/\pi _ i) (შერჩევის საპირისპირო ალბათობა).
post- სტრატიფიკაცია და raking: ჩვენ ვაძლევთ დაბალანსებულ მარგინალებს (ქვეყანა/პლატფორმა/ნახევარი ასაკი და ა.შ.) ცნობილ აქციებს.
კალიბრაცია: ჩვენ მინიმუმამდე დავიყვანთ სასწორის გადახრა საკონტროლო ტოტალებთან ზუსტი დამთხვევით.
Bootstrap/რეპლიკაცია: წონაში დისპერსიების სწორი შეფასება.
დიაგნოზი: ESS (effective sample size), სასწორის გაფანტვა (CV, p95/p5), შედარება/შემდეგ ძირითადი მახასიათებლების მიხედვით.

6) კლასების იმბალანსი და იშვიათი მოვლენები

სტრატიფიცირებული მიზნობრივი შერჩევა: oversample იშვიათი კლასი, მაგრამ ყოველთვის გამოიყენეთ ბარიერის/სასწორის კორექტირება ვარჯიშის დროს.
Cost-sensitive learning: გაწონასწორებული ლოსები სინთეზის ნაცვლად.
SMOTE/ADASYN: ფრთხილად - გაჟონვის/არტეფაქტების რისკი; შეინარჩუნეთ მკაცრი დროებითი/ჯგუფური დანაყოფები.
შეფასება: PR-AUC, Recall @ FPR - x%; ალბათობის კალიბრაცია.

7) ნაკადი და დიდი მონაცემები

Reservoir sampling: ჩვენ ვატარებთ წარმომადგენლობითი შეჩერებას უცნობი სიგრძის ნაკადიდან.
მოვლენების სიმრავლე: სიხშირის/მნიშვნელობის პროპორციულად; იშვიათი - გამომწვევი ბუფერები.
მრიცხველები და ესკიზები: Bloom/Count-Min სიხშირე/უნიკალურობისთვის; ანალიტიკოსებისთვის - დააკავშიროთ პერიოდული ზუსტი დათვლა.
დე-დუპი და იდემპოტენტობა: მოვლენების გასაღებები, დედაპლაციის ფანჯრები.

8) დროებითი და სივრცითი ასპექტები

დროული ასორტიმენტი: ფიქსირებული ფანჯრები (rolling), წერტილოვანი დროის სისწორე.
Cluster/geo-sampling: კლასტერიზაცია კვანძებში/რეგიონებში; გაითვალისწინეთ სივრცითი ავტოკორელაცია.
სეზონური/რიტმი: წარმომადგენლობითი გაშუქება/კვირის/არდადეგების საათები.

9) Off-policy/დენის მონაცემები და სიმკვეთრე

10) წარმომადგენლობის დიაგნოზი

მარგინალების შედარება: მოსახლეობის ცხრილები ძირითადი ნიშნით.
კოვარიატის ბალანსი: SMD (standardized mean difference), Love plots.
სიმკვრივე/კვანტური: KS ტესტები, quantile-plots, PSI.
მოდელის სერტიფიკაცია: მეტრიკის სტაბილიზაცია out-time- ზე და out-domain სექციებზე.
ESS და წონა: დაბალი ESS მიუთითებს რეიტინგების მაღალ დისპერსიაზე.

11) ანტი შაბლონები

„Samplim მხოლოდ აქტიურია გუშინ“ არის ცივი/მძინარე დაკარგვა.
საშუალო პროცენტი „საშუალო სეგმენტებში“ წონის გარეშე.
აურიეთ აგრეგაციის დონე (მოვლენები და მომხმარებლები) ერთ ნიმუშში.
შემთხვევითი შერჩევა ფილტრების შემდეგ, რომლებიც დამოკიდებულია ტარგეტზე (შერჩევა გარეთ).
Cross-val ჯგუფური/დროებითი დანაყოფების გარეშე დამოკიდებული მონაცემებით.
გამოიყენეთ SMOTE სანამ გაჟონვა/გაჟონვა (გაჟონვა).

12) პირადი სკრიპტები (შემთხვევები)

მოთამაშეთა გამოკითხვა: სტრატიფიკაცია ქვეყანაში/პლატფორმა/ასაკი; MAU აქციების პოსტ-სტრატიფიკაცია; nonresponse გადაადგილების კონტროლი.
ლოგიკა EDA- სთვის: სისტემატური 1: N მოვლენების ნაკრები + იშვიათი ტიპების სრული დაფარვა.
Frode Diatect: target-stratification, cost-sensitive loss, შეფასება PR-AUC და Recall @ FPR - x%.
შეზღუდული ტრაფიკის მქონე A/B: MDE გაანგარიშება, ძალაუფლების წესების გახანგრძლივება, CUPED.
Off-policy პრომო ქულა: IPS/DR წონის შეზღუდვით, მხარდაჭერის გადახურვის შემოწმება.

13) არტეფაქტების შაბლონები

Semplate გეგმა

მიზანი/მოსახლეობა:...

ნიმუშის ჩარჩო: წყაროები, საფარი/ხვრელები

შერჩევის განყოფილება: მომხმარებელი/სესია/მოვლენა

დიზაინი: სტრატრი (ქვეყანა, პლატფორმა), აქციები, შერჩევის მეთოდი

ზომა (n): გაანგარიშება, დასაბუთება (, ძალა, MDE), Deff

წონის სქემა: დიზაინის წონა, პოსტ-სტრატიფიკაცია (საკონტროლო ტოტალები)

კალენდარი: დღის/საათების/არდადეგების დაფარვა

ხარისხი: საფარის ტესტები, nonresponse გეგმა, საკონტაქტო პროცედურები

რისკები: შერჩევა, ჩარევა, პირადი/PII

მეპატრონეები და კონტროლი: ვინ თვლის/ინახავს/ვერსიას

წონის პასპორტი

საბაზო წონა: (w _ i = 1/\pi _ i)

კალიბრაცია: მიზნები (country, platform, age), მეთოდი (raking), დაშვება

შეზღუდვები: trimming w - [w _ min, w _ max]

დიაგნოზი: ESS, CV (w), SMD ადრე/მის შემდეგ

გამოყენება: რომელი ანგარიშები/მოდელები იყენებენ წონას

ვერსიები: v1-v2, თარიღი, მფლობელები

14) კონფიდენციალურობა და ეთიკა

Privacy by Design: ველების შემცირება, აგრეგაცია, ფსევდონიზაცია.
დიფერენციალური კონფიდენციალურობა: რანდომიზაცია/სუბსამპლაცია, როგორც პირადი კონფიდენციალურობის გაძლიერება.
სამართლიანობა: შეამოწმეთ შეცდომების/მასშტაბების სხვაობა მგრძნობიარე ატრიბუტებში; ნუ დაუშვებთ ჯგუფების „უხილავობას“.

15) ჩეკის სია გაშვებამდე

ნიმუშის ჩარჩო აღწერილია; გამოვლენილია და დოკუმენტირებულია საფარის „ხვრელები“

• შეირჩა დიზაინი (სტრატები/მტევანი), შექმნილია (n), Deff, MDE
• დიზაინის წონა და კალიბრაციის გეგმა (შეთანხმებულია საკონტროლო ტოტალები)
• განსაზღვრულია დროებითი ფანჯრები/სეზონური; არსებობს nonresponse plan
• ვალიდაციის სპლიტები ითვალისწინებს დრო/ჯგუფებს; არ არის გაჟონვა
• ხარისხის მეტრიკა: ESS, SMD, PSI, bootstrap ინტერვალები
• დოკუმენტაცია და ვერსიები; შემოწმებულია წვდომის უფლებები და პირადი კონტურები

მინი გლოსარიუმი

Deff: ფაქტორი, რომელიც ზრდის შეფასების დისპერსიას დიზაინის გამო.
ESS: ნიმუშის ეფექტური ზომა წონის შემდეგ.
IPS/DR: წონის მეთოდები off-policy/დენის მონაცემებისთვის.
SMD: საშუალო სტანდარტიზებული განსხვავება (კოვარიატის ბალანსი).
Reservoir sampling: შემთხვევითი ნაკადის შენარჩუნება ნაკადიდან.

შედეგი

წარმომადგენლობა არ არის „გაუმართლა სეპლთან“, არამედ შექმნილია პროცესი: სწორი ჩარჩო, გააზრებული შერჩევის დიზაინი, საკმარისი ზომა, წონა და კალიბრაცია, გულწრფელი გაერთიანებები და მკაცრი დიაგნოზი. აღწერილი პრაქტიკის შემდეგ, თქვენ ამცირებთ გადაადგილებას, ზრდის დასკვნების ტოლერანტობას და მიიღებთ საიმედო გადაწყვეტილებებს პროდუქტის, მარკეტინგის, რისკების და ML- სთვის.