Vorhersagemodelle

Prädiktive Modelle sind Algorithmen, die zukünftige Werte oder Ereignisse basierend auf historischen Daten schätzen. Sie stehen im Mittelpunkt der Produktanalytik, des Risikomanagements, des Marketings, der Betrugsbekämpfung und der operativen Optimierung. Im Folgenden finden Sie einen praktischen Leitfaden: von der Auswahl der Aufgabenformulierung über den Betrieb bis hin zur Qualitätskontrolle.

1) Aufgabenformulierung und Signale

Regression: Prognose eines kontinuierlichen Wertes (LTV, Depotgröße, Scheckgröße).
Klassifizierung: Wahrscheinlichkeit des Ereignisses (Kundenabfluss in 30 Tagen, Betrug/Nicht-Missbrauch).
Ranking: Ordnen Sie Objekte nach Relevanz (Empfehlungen).
Zeitreihen: Vorhersage nach Kalender (Verkehr, Last, Umsatz).
Survival/Time to Event: Abschätzung der Zeit bis Abfluss/Nachzahlung.
Uplift-Modellierung: Erhöhung der Wirkung der Auswirkungen (welche Aktie wirklich das Verhalten ändert).
Multi-Class/Multi-Yard-Produktionen: mehrere Zustände/Ereignisse gleichzeitig.
Bayessche und probabilistische Modelle: Prognose mit deutlicher Unsicherheit.

2) Daten und Vorbereitung

Korn und Beobachtungsfenster: Definieren Sie eine Prognoseeinheit (Benutzer/Sitzung/Tag) und ein ehrliches „Fenster“ zum Sammeln von Merkmalen bis zum Prognosezeitpunkt.
Zielvariable: klare Definition, Horizonte (7/30/90 Tage), Vermeidung von Lecks der Zukunft.
Merkmale: Fensteraggregate (7/30/90), Verhaltensfrequenzen, Sequenzen, kategoriale Kodierungen, Interaktionen, Segmentstatistiken.
Datenqualität: Lücken, Ausreißer, Duplikate, Schaltplanwechsel, Zeitstempelkonsistenz.
Klassenbilanz: Schichtung, Gewichtung, Oversampling/Undersampling - vorsichtig, um keine Verschiebung vorzunehmen.

3) Auswahl der Algorithmen

Linear: lineare/logistische Regression, Regularisierung (L1/L2/Elastic Net) - schnell, interpretierbar.
Bäume und Ensembles: Random Forest, Gradient Boosting (XGBoost/LightGBM/CatBoost) sind starke Baselines.
Neuronale Netze: MLP/Seq2Seq/Transformer für komplexe Muster (Texte, Sequenzen, Zeitreihen).
Zeitreihen: ARIMA/ETS, Prophet, Gradient Boosting mit Verzögerungen, DeepAR/N-BEATS/Temporal Fusion Transformer.
Uplift: Zwei-Modell-Ansatz, T-Learner/S-Learner/X-Learner, Bäume der kausalen Wirkung.
Survival: Cox, AFT, Random Survival Forests.
Bayesian: GLM/hierarchische Modelle mit a priori Verteilungen.

Übung: Beginnen Sie mit einer einfachen und reproduzierbaren Baseline, fügen Sie nur Komplexität hinzu, wenn Sie messbare Gewinne in Bezug auf Metriken und Stabilität erzielen.

4) Trennung und Validierung

Temporaler Lebenslauf: für Aufgaben mit Zeit - Schnitte nach Datum (Rolling/Expanding Windows).
Stratifizierung: für Ungleichgewichtsklassen.
Gruppenvalidierung: Vermeiden Sie "Lecks' zwischen Gruppen (user_id, campaign_id).
Out-of-Time-Test: Letzte Überprüfung der „zukünftigen“ Periode.
Baselines: naiv (letzter Wert, Durchschnitt), Frequenz, einfacher Logreg - um den realen Wert zu messen.

5) Qualitätsmetriken

Klassifizierung: ROC-AUC, PR-AUC (wichtig bei seltenen Ereignissen), logloss, Brier score, F1, precision/recall @ k, lift/NDCG.
Regression: RMSE/MAE/MAPE, sMAPE, R ², quantile loss (für Perzentile).
Zeitreihen: MAPE/sMAPE/MASE, Pinballverlust (Quantil-Vorhersage).
Überleben: Konkordanzindex, Brier für das Zeit-vor-Ereignis.
Uplift: Qini, uplift@k, AUUC.
Geschäftsmetriken: inkrementeller Gewinn, zurückgehaltene Benutzer, Betrugsreduzierung, SLA in Bezug auf Genauigkeit.

Empfehlung: Bewahren Sie immer zwei Ebenen von Metriken auf - „ML-Qualität“ und „Geschäftseffekt“.

6) Kalibrierung und Schwellenwerte

Kalibrierung der Wahrscheinlichkeiten: Platt, isotonic, temperature scaling.
Wahl der Schwelle: nach Geschäftszielen (Gewinnmaximum/Beschränkung auf falsch positive), nach Kosten/Strafen.
Schwellenwertstabilität: Überwachung unter Berücksichtigung sich ändernder Verteilungen.

7) Interpretierbarkeit und Erklärbarkeit

Global: Bedeutung der Merkmale (gain, permutation), PDP/ICE, SHAP-Zusammenfassungen.
Lokal: SHAP/LIME zur Erläuterung der Objektentscheidung.
Caveat: Interpretierbarkeit ist ein Instrument zur Validierung von Hypothesen und Vertrauen, keine absolute „Wahrheit“.

8) Kampfeinsatz

Serving: Online (REST/gRPC, geringe Latenz) und Batch (stündlich/täglich).
Versionierung: Modelle, Daten, Schemata und Phics (Registry).
Fichestors: Online-/Offline-Konsistenz, Point-in-Time-Korrektheit.
Kontrolle von Verzögerungen: Budget für Merkmalsextraktion, Inferenz, Nachprozesse.
Fail-safe: Default-Regeln, Degradierung zur Baseline, Timeouts und Retrays.
A/B und schrittweise Rollout: kanarische Releases, Schatten-/Inferenzspiegelung.

9) Überwachung und Drift

Qualität: Metriken auf dem Produkt (ROC-AUC/PR-AUC auf verzögerten Etiketten, Business-KPI).
Verteilungen: PSI/JS-divergence/KL, Drift-Merkmale und Ziel.
Data Health: Anteil der Lücken, Kardinalität der Kategorien, Adhäsionen, Pipelineverzögerungen.
Alerting und SLO: Schwellenwerte, Runybuks (was bei Degradation zu tun ist).
Retraining: nach Zeitplan, nach Driftauslösern, nach Saisonalität; Qualitätskontrolle.

10) Sicherheit, Compliance und Ethik

Datenschutz: Datenminimierung, Pseudonymisierung, Zugangskontrolle.
Fairness: Bias nach Segmenten prüfen (false positive/negative Rate), Samples/Schwellenwerte anpassen.
DSGVO/lokale Vorschriften: Zwecke der Verarbeitung, Speicherdauer, Recht auf Erklärung.
Audit und Reproduzierbarkeit: Versionsverfolgung, reproduzierbare Baugruppen, Entscheidungsprotokoll.

11) Vorlagen für typische Fälle

Abfluss (Churn): binäre Klassifizierung; Metriken - PR-AUC, Uplift-Test für Retentionskampagnen; Fazit - Priorisierung von Offizieren.
Fraud: hochgradig ausgewogene Klassifizierung; Metriken - PR-AUC, recall @ low-FPR; strenge Latenzbeschränkungen.
LTV/ARPPU: Regression oder quantile Regression; regelmäßige Rekalibrierung.
Last-/Umsatzprognose: Zeitreihen; ein Ensemble von statistischen und ML-Modellen; Saisonalität und Feiertage als Fichi.
Persönliche Empfehlungen: Ranking/Matrfaktorisierung/Seq-Modelle; Online-Updates und -Exploration (mult-armed bandits).

12) Prozess (ML Lifecycle)

1. Das Problem und KPI → 2. Daten und Daten → 3. Baseline → 4. Modelle und Auswahl der →

2. Kalibrierung und Schwellen → 6. Validierung und A/B → 7. Serving und Überwachung → 8. Retrening/Evolution.

Jede Phase wird dokumentiert: Datenschemata, Lernkonfidenzen, Versionen von Artefakten, Ergebnisse von Experimenten.

13) Merkmalstechnik (kurz)

Aggregate: Summen/Mittel/Quantile durch Fenster.
Zähler und Frequenzen: Conversions, Seltenheit von Kategorien.
Zeitverzögerungen und Trends: Deltas, exponentielle Glättungen.
Encoding Kategorien: target/stats encoding (mit Lecks vorsichtig), WoE, one-hot/Hashing.
Texte und Veranstaltungen: TF-IDF, Embeddings, Sequence-Fici.
Geschäftslogik: Domänenmerkmale (z. B. „Anzahl der Tage mit letzter Zahlung“).

14) Versuchsmanagement

Tracking: Metriken, Parameter, Artefakte, Datasets.
Hyperparameter: Bayessche Klage, Random/Grid-Suche, früher Stopp.
Kontrolle von Daten: Datenkatalog, Schaltungsvertrag, Interoperabilitätstests.

15) Checkliste vor dem Verkauf

Keine Lecks der Zukunft; Korrekte zeitliche Validierung
Metriken sind robust gegenüber Verschiebungen; Es gibt einen OOT-Test
Kalibrierung geprüft; Geschäftsschwelle ausgewählt
Dokumentation von Daten und Verträgen
Degradations- und Alertfunktionen konfiguriert
Rückführungsplan und Stoppkriterien
Rechtliche und ethische Prüfungen bestanden

Mini-Glossar

Verteilungsdrift: Veränderung der Daten-/Zielstatistiken über die Zeit.
Kalibrierung: Anpassung der Wahrscheinlichkeiten an die tatsächliche Häufigkeit von Ereignissen.
Uplift: Vorhersage der Effektdifferenz zwischen „verarbeitet“ und „kontrolliert“.
OOT-Test: Überprüfung des Modells auf einen Zeitraum, der während des Trainings/der Validierung völlig unsichtbar ist.

Summe

Das Vorhersagemodell ist nicht nur ein Algorithmus, sondern ein Prozess: korrekte Aufgabenstellung, Datendisziplin, strenge Validierung, reproduzierbare Deploy-Piplines, Überwachung und Ethik. Die Einhaltung des beschriebenen Zyklus reduziert das Risiko von „schönen Metriken offline“ und erhöht den tatsächlichen Wert im Produkt.

Vorhersagemodelle