Modelos predictivos
Modelos predictivos
Los modelos predictivos son algoritmos que evalúan valores o eventos futuros basados en datos históricos. Subyacen la analítica de productos, la gestión de riesgos, el marketing, el antifraude y la optimización operativa. A continuación, una guía práctica: desde la selección de la formulación de la tarea hasta la operación y el control de calidad.
1) Formulación de tareas y señales
Regresión: pronóstico de magnitud continua (LTV, tamaño del depósito, tamaño del cheque).
Clasificación: probabilidad de evento (salida del cliente en 30 días, frod/no frod).
Clasificación: ordenar los objetos por relevancia (recomendaciones).
Series de tiempo: predicción por calendario (tráfico, carga, ingresos).
Survival/tiempo antes del evento: estimación del tiempo antes de la salida/repago.
Modelado por Uplift: aumento del efecto del impacto (qué acción realmente cambia el comportamiento).
Producciones multi-clase/multi-acceso directo: múltiples estados/eventos al mismo tiempo.
Modelos bayesianos y probabilísticos: un pronóstico con clara incertidumbre.
2) Datos y preparación
Grano y ventana de observación: defina una unidad de predicción (usuario/sesión/día) y una «ventana» honesta de recolección de signos hasta el momento del pronóstico.
Variable objetivo: definición clara, horizontes (7/30/90 días), eliminación de fugas del futuro.
Características: agregados por ventana (7/30/90), frecuencias de comportamiento, secuencias, encodings categóricos, interacciones, estadísticas por segmento.
Calidad de datos: omisiones, emisiones, duplicados, cambio de esquemas, consistencia de marcas de tiempo.
Equilibrio de clases: estratificación, pesaje, sobreampling/undersampling - suavemente para no hacer un desplazamiento.
3) Selección de algoritmos
Lineal básica: regresión lineal/logística, regularización (L1/L2/Elastic Net) - rápida, interpretable.
Árboles y conjuntos: Random Forest, Gradient Boosting (XGBoost/LightGBM/CatBoost) son fuertes beislines.
Redes neuronales: MLP/Seq2Seq/Transformer para patrones complejos (textos, secuencias, series de tiempo).
Series temporales: ARIMA/ETS, Prophet, Gradient Boosting con lags, DeepAR/N-BEATS/Temporal Fusion Transformer.
Uplift: enfoque de dos modelos, T-Learner/S-Learner/X-Learner, árboles de efecto causal.
Survival: Cox, AFT, Random Survival Forests.
Bayesiano: modelos GLM/jerárquicos con distribuciones a priori.
Práctica: comience con un beisline simple y reproducible, agregue complejidad sólo con ganancias tangibles en métricas y estabilidad.
4) Separación y validación
Temporal CV: para tareas con tiempo - cortes por fecha (rolling/expanding windows).
Estratificación: para clases de desequilibrio.
Validación grupal: evitar «fugas» entre grupos (user_id, campaign_id).
Prueba fuera de tiempo: prueba final en el período «futuro».
Beisline: ingenuo (último valor, promedio), frecuencia, logreg simple - para medir el valor real.
5) Métricas de calidad
Clasificación: ROC-AUC, PR-AUC (importante en eventos raros), logloss, Brier score, F1, precision/recall @ k, lift/NDCG.
Regresión: RMSE/MAE/MAPE, sMAPE, R ², quantile loss (para percentiles).
Series temporales: MAPE/sMAPE/MASE, Pinball loss (pronóstico cuantil).
Survival: Índice de concordancia, Brier para eventos de tiempo.
Uplift: Qini, uplift@k, AUUC.
Métricas de negocio: ganancias incrementales, usuarios retenidos, reducción de frod, SLA en precisión.
Recomendación: siempre guarde dos niveles de métricas: «calidad ML» y «efecto negocio».
6) Calibración y umbrales
Calibración de probabilidad: Platt, isotonic, temperature scaling.
Selección del umbral: por objetivos empresariales (máximo beneficio/limitación de falsos positivos), por costes/multas.
Estabilidad del umbral: seguimiento teniendo en cuenta los cambios en las distribuciones.
7) Interpretabilidad y explicabilidad
Globalmente: la importancia de los signos (gain, permutation), PDP/ICE, sumarios SHAP.
Local: SHAP/LIME para explicar la solución por objeto.
Caveat: la interpretabilidad es una herramienta para validar hipótesis y confianza, no una «verdad» absoluta.
8) Despliegue de combate
Serving: en línea (NAT/gRPC, baja latencia) y batch (hora/día).
Versificación: modelos, datos, esquemas y fichas (registro).
Fichastors: coherencia en línea/fuera de línea, corrección de puntos en tiempo.
Control de retrasos: presupuesto para la extracción de signos, inferencia, postprocesamientos.
Fail-safe: reglas de default, degradación a beisline, taimaouts y retraídas.
A/B y rollout gradual: lanzamientos canarios, shadow/inference mirroring.
9) Monitoreo y deriva
Calidad: métricas en venta (ROC-AUC/PR-AUC por etiquetas diferidas, KPI de negocios).
Distribuciones: PSI/JS-divergencia/KL, deriva de rasgos y destino.
Salud de Datos: proporción de pases, cardinalidad de categorías, spikes, retrasos de paipelines.
Alerting y SLO: umbrales, rúnicas (qué hacer cuando se degradan).
Retrening: por horario, por desencadenantes de deriva, por estacionalidad; control de regresión de calidad.
10) Seguridad, cumplimiento y ética
Privacidad: minimización de datos, seudonimización, control de acceso.
Equidad: comprobación de bias por segmentos (tasa false positiva/negativa), corrección de samples/umbrales.
GDPR/normas locales: objetivos de procesamiento, vida útil, derecho a explicación.
Auditoría y reproducibilidad: seguimiento de versiones, compilaciones reproducibles, registro de soluciones.
11) Plantillas para casos típicos
Salida (churn): clasificación binaria; métricas - PR-AUC, prueba uplift para campañas de retención; conclusión - priorización de offs.
Antifraude: clasificación de alto equilibrio; métricas - PR-AUC, recall @ low-FPR; restricciones latency estrictas.
LTV/ARPPU: regresión o regresión cuantil; recalibración regular.
Previsión de carga/ingresos: series temporales; conjunto de modelos estadísticos y ML; estacionalidad y vacaciones como fichi.
Recomendaciones personales: clasificación/matrafactorización/modelos seq; actualizaciones en línea y expoliación (bandits de varios brazos).
12) Proceso (Lifecycle ML)
1. Problema y KPI → 2. Datos y fichas → 3. Baizline → 4. Modelos y selección →
2. Calibración y umbrales → 6. Validación y A/B → 7. Serving y monitoreo → 8. Retrening/evolución.
Cada etapa está documentada: esquemas de datos, confecciones de entrenamiento, versiones de artefactos, resultados de experimentos.
13) Ingeniería de signos (breve)
Agregados: sumas/medias/cuantiles por ventana.
Contadores y frecuencias: conversiones, rareza de categorías.
Lagunas temporales y tendencias: deltas, suavizaciones exponenciales.
Encoding categorías: target/stats encoding (con fugas cuidadosamente), WoE, one-hot/Hashing.
Textos y eventos: TF-IDF, embeddings, sequence fichi.
Lógica de negocio: señales de dominio (por ejemplo, «cole-in días con el último pago»).
14) Gestión de experimentos
Seguimiento: métricas, parámetros, artefactos, datacets.
Hiperparametros: demanda bayesiana, búsqueda random/grid, parada temprana.
Control de fichas: catálogo de datos, contrato de circuitos, pruebas de compatibilidad.
15) Lista de verificación antes de la venta
- No hay fugas del futuro; validación temporal correcta
- Las métricas son resistentes a los cambios; hay una prueba OOT
- Calibración verificada; umbral de negocio seleccionado
- Documentación de fichas y contratos de datos
- Funciones de degradación y alertas configuradas
- Plan de retransmisión y criterios de paralización
- Comprobaciones jurídicas y éticas realizadas
Mini glosario
Deriva de las distribuciones: cambio de estadísticas de datos/objetivo en el tiempo.
Calibración: llevar las probabilidades a la frecuencia real de los eventos.
Uplift: pronóstico de la diferencia de efecto entre «procesado» y «control».
Prueba OOT: validación del modelo en un período completamente invisible en el aprendizaje/validación.
El modelo predictivo no es solo un algoritmo, sino un proceso: la correcta puesta en escena de un problema, la disciplina de datos, la validación rigurosa, los deplas-paiplines reproducibles, el monitoreo y la ética. Seguir el ciclo descrito reduce el riesgo de «hermosas métricas fuera de línea» y aumenta el valor real en el producto.