Sampling und Repräsentativität
Sampling und Repräsentativität
Sampling ist die Auswahl einer Teilmenge von Beobachtungen für Messungen, Experimente und Modelltraining. Repräsentativität bedeutet, dass die Schlussfolgerungen aus der Stichprobe ohne systematischen Fehler auf die Zielpopulation skaliert werden. Im Folgenden erfahren Sie, wie Sie eine Stichprobe entwerfen, ihre Qualität bewerten und die Verschiebungen korrigieren.
1) Grundbegriffe
Population: Zielsatz von Objekten (alle Benutzer/Sitzungen/Transaktionen).
Sampling Frame: Liste/Mechanismus, aus dem wir tatsächlich auswählen (es ist wichtig, Abdeckungen und „Löcher“ zu identifizieren).
Auswahleinheit: Benutzer, Sitzung, Ereignis, Transaktion, Gerät.
Repräsentativität: Übereinstimmung der Verteilung der Schlüsselmerkmale in der Stichprobe und der Grundgesamtheit (mit zufälliger Fehlertoleranz).
Zufälliger vs systematischer Fehler: Varianz von Schätzungen versus Bias.
2) Arten von Sampling
2. 1 Probabilistisch (bevorzugt)
SRS (Simple Random): gleiche Auswahlwahrscheinlichkeit.
Stratifiziert: Aufteilung der Population in Schichten (Land/Kanal/Plattform), dann SRS innerhalb der Stratas → niedrigere Varianz und bessere Abdeckung.
Cluster: Auswahl der Gruppen (Tage/Server/Stores); billig, aber höhere Intraclusterkorrelation.
Systematisch: Jedes k-te Element nach einem zufälligen Start („nicht-synchrone“ Daten erforderlich).
PPS (probability proportional to size): Wahrscheinlichkeit ∝ Größe der Einheit (z.B. Traffic-Volumen des Partners).
2. 2 Unglaublich (mit Vorsicht)
Einrichtungen/Freiwillige: schnelle Umfragen, Klickprotokolle → das Risiko einer Selektionsverschiebung.
Quoten-/Schneeball: sinnvoll in Nischengruppen, aber Nachkalibrierung notwendig.
3) Quellen von Verschiebungen
Abdeckung (Coverage): Ein Teil der Population fehlt im Rahmen (z. B. iOS-Daten, wenn Tracking verboten ist).
Selektion: Der Selektionsmechanismus ist mit der Zielvariablen verknüpft (Aktive werden häufiger getroffen).
Nicht-Auswahl (nonresponse): Die Nicht-Antworten unterscheiden sich systematisch.
Überlebende (Survivorship): Die Verstorbenen/Blockierten ignorieren.
Label-Offsets: laute Labels, Proxy-Labels, „manuelle“ Anpassungen.
Likes: Verwendung zukünftiger Informationen bei der Stichprobenbildung/-schnitt.
4) Stichprobengröße und Kapazität
4. 1 Annäherungen
Für den Anteil (p) mit Genauigkeit (e) und Vertrauen (1-\alpha):[
n \approx \frac{z_{\alpha/2}^2, p(1-p)}{e^2}
]Konservativ nehmen wir (p = 0 {.} 5). Bei Bedarf an die Endpopulation anpassen.
Für den Durchschnitt mit dem bekannten (\sigma):[
n \approx \left(\frac{z_{\alpha/2},\sigma}{e}\right)^2
]4. 2 Design-Effekt und effektive Größe
Design Effect: (\mathrm {Deff} = 1 + (m-1 )\rho), wobei (m) die Clustergröße, (\rho) die Intra-Cluster-Korrelation ist.
Effektive Größe: (n_\text{eff}=n/\mathrm{Deff}). Cluster/gewichtete Designs erfordern oft mehr (n).
4. 3 A/B und MDE
Für die binäre Metrik bei symmetrischen Gruppen:[
n_{\text{на группу}} \approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2, \bar{p}(1-\bar{p})}{\mathrm{MDE}^2}
]wobei (\bar {p}) der Basiswert ist, MDE der minimal nachweisbare Effekt.
Berücksichtigen Sie Saisonalität und Interferenz (Spillover), wenden Sie CUPEDs/Kovariaten an, um die Varianz zu reduzieren.
5) Gewichte und Kalibrierung (Probenahme „ähnlich“ der Population)
Designgewichte: (w_i=1/\pi_i) (umgekehrte Auswahlwahrscheinlichkeit).
Post-Schichtung und Raking: Wir passen die gewichteten Ränder (Land/Plattform/Geschlecht usw.) an die bekannten Anteile an.
Kalibrierung (calibration weighting): Wir minimieren die Abweichung der Gewichte bei genauer Übereinstimmung mit den Kontrollgesamtwerten.
Bootstrap/Replikation: Korrekte Schätzung der Varianzen bei Gewichten.
Diagnose: ESS (effective sample size), Gewichtsstreuung (CV, p95/p5), Vorher/Nachher-Vergleich nach Schlüsselmerkmalen.
6) Klassenbimbalance und seltene Ereignisse
Stratifizierte Targeting-Selektion: Oversample ist eine seltene Klasse, aber verwenden Sie beim Training immer eine Schwellen-/Gewichtsanpassung.
Cost-sensitive learning: gewichtete Losses statt Synthetik.
SMOTE/ADASYN: Vorsicht - Gefahr von Lecks/Artefakten; Halten Sie strenge Zeit-/Gruppensplits.
Bewertung: PR-AUC, Recall@FPR≤x%; Kalibrierung der Wahrscheinlichkeiten.
7) Streaming und Big Data
Reservoir sampling: Halten Sie eine repräsentative Teilmenge eines Flusses unbekannter Länge.
Ereignis-Sampling: proportional zur Häufigkeit/Wichtigkeit; für seltene - Trigger-Puffer.
Zähler und Skizzen: Bloom/Count-Min für Frequenzen/Einzigartigkeit; für die Analytik - kombinieren Sie mit der periodischen genauen Zählung.
De-Dup und Idempotenz: Ereignisschlüssel, Deduplizierungsfenster.
8) Zeitliche und räumliche Aspekte
Zeitbasiertes Sampling: feste Fenster (Rolling), Point-in-Time-Korrektheit.
Cluster/Geo-Sampling: Clustering nach Knoten/Regionen; Berücksichtigen Sie die räumliche Autokorrelation.
Saisonalität/Rhythmus: repräsentative Abdeckung von Stunden/Wochentagen/Feiertagen.
9) Off-Policy/Logdaten und Kausalität
10) Repräsentativitätsdiagnostik
Marginale Vergleiche: Tabellen Bevölkerung vs Stichprobe nach Schlüsselmerkmalen.
Balance Kovariaten: SMD (Standardized mean difference), Love plots.
Dichten/Quantile: KS-Tests, quantile-plots, PSI.
Modellqualifizierung: Stabilisierung von Metriken auf Out-of-Time und Out-of-Domain-Schnitten.
ESS und Gewichte: Ein niedriger ESS signalisiert eine hohe Streuung der Bewertungen.
11) Anti-Muster
„Samplim nur aktiv gestern“ → der Verlust von kalt/schlafend.
Durchschnitt der Prozentsätze „Segmentdurchschnitt“ ohne Gewichte.
Aggregationsebenen (Ereignisse und Benutzer) in einer Stichprobe mischen.
Zufällige Auswahl nach targetabhängigen Filtern (selection on the outcome).
Cross-Val ohne Gruppen-/Zeitsplits bei abhängigen Daten.
SMOTE vor der Aufteilung in train/val (Leck) anwenden.
12) Private Szenarien (Fälle)
Spielerbefragung: Schichtung nach Land/Plattform/Alter; Nachschichtung zu MAU-Anteilen; Offset-Nonresponse-Steuerung.
Protokolle für EDA: Systematische 1:N von Ereignissamples + vollständige Abdeckung seltener Typen.
Ziel-Stratifizierung, Cost-sensitive-Losses, PR-AUC-Score und Recall@FPR≤x%.
A/B mit begrenztem Datenverkehr: MDE-Berechnung, Power-Rule-Verlängerung, CUPED.
Off-Policy Wertung Promo: IPS/DR mit Gewichtsbegrenzung (Trimming), Überprüfung der Stützüberlappung.
13) Artefaktmuster
Sampling-Plan (Vorlage)
Ziel/Bevölkerung:...
Stichprobenrahmen: Quellen, Abdeckungen/Löcher
Auswahleinheit: Benutzer/Sitzung/Ereignis
Design: Schichten (Land, Plattform), Anteile, Auswahlmethode
Größe (n): Berechnung, Annahmen (α, Power, MDE), Deff
Gewichtsschema: Design-Gewichte, Post-Schichtung (Kontrollsummen)
Kalender: Tages-/Stunden-/Feiertagsabdeckung
Qualität: Beschichtungstests, Nonresponse-Plan, Kontaktverfahren
Risiken: Selektion, Interferenz, Datenschutz/PII
Eigentümer und Kontrolle: wer zählt/speichert/versioniert
Wiegedatenblatt (Vorlage)
Basisgewicht: (w_i=1/\pi_i)
Kalibrierung: Ziele (Land, Plattform, Alter), Methode (Raking), Toleranzen
Einschränkungen: trimming w ∈ [w_min, w_max]
Diagnose: ESS, CV (w), SMD vorher/nachher
Verwendung: Welche Berichte/Modelle wenden Gewichte an
Versionen: v1→v2, Datum, Besitzer
14) Privatsphäre und Ethik
Privacy by Design: Feldminimierung, Aggregation, Pseudonymisierung.
Differentielle Privatsphäre: Randomisierung/Sub-Sampling als Stärkung der Privatsphäre (Privacy Amplification).
Fairness: Überprüfen Sie die Fehlerdifferenz/Gewichte auf empfindliche Attribute; Vermeiden Sie die „Unsichtbarkeit“ von Gruppen.
15) Checkliste vor dem Start
- Stichprobenrahmen beschrieben; Deckungslöcher identifiziert und dokumentiert
- Design ausgewählt (Schichten/Cluster), berechnet (n), Deff, MDE
- Design-Gewichte und Kalibrierplan angepasst (Kontrollsummen vereinbart)
- Zeitfenster/Saisonalität definiert; haben einen Plan von nonresponse
- Validierungsfragmente berücksichtigen Zeiten/Gruppen; keine Lecks
- Qualitätsmetriken: ESS, SMD, PSI, Bootstrap-Intervalle
- Dokumentation und Versionen; Zugriffsrechte und Privacy-Loops geprüft
Mini-Glossar
Deff: Multiplikator, der die Varianz der Schätzungen aufgrund des Designs erhöht.
ESS: effektive Stichprobengröße nach Gewichtung.
IPS/DR: Gewichtungsmethoden für Off-Policy/Logdaten.
SMD: standardisierte Differenz der Mittelwerte (Saldo der Kovariaten).
Reservoir sampling: Aufrechterhaltung eines zufälligen Samples aus dem Stream.
Summe
Repräsentativität ist kein „Glück mit dem Sample“, sondern ein gestalteter Prozess: korrekter Rahmen, durchdachtes Auswahldesign, ausreichende Größe, Gewichtung und Kalibrierung, ehrliche Splits und strenge Diagnose. Indem Sie die beschriebenen Praktiken befolgen, reduzieren Sie den Offset, erhöhen die Übertragbarkeit der Pins und erhalten zuverlässige Lösungen für Produkt, Marketing, Risiko und ML.