Reconocimiento de patrones
Reconocimiento de patrones
El reconocimiento de patrones es un área en la que los algoritmos aprenden a encontrar estructuras estables en los datos: clases, clústeres, formas repetitivas, motivos y dependencias. El objetivo es identificar automáticamente «patrones semánticos» y utilizarlos para predicciones, búsqueda de similitudes, detección de segmentos y toma de decisiones.
1) Establecimiento de tareas
Clasificación: asignar un objeto a una clase (frod/no frod, tipo de evento).
Clasificación multi-meter/multi-atajo: varias clases al mismo tiempo.
Agrupamiento y segmentación: agrupamiento sin etiquetas, selección de grupos anormales/nichos.
Clasificación/búsqueda de similitudes: ordenamiento por relevancia, nearest neighbors.
Segmentación de estructuras: marcado de partes de un objeto (imagen, registro, sesión).
Reconocimiento de secuencias: etiquetas para series temporales/registros/texto.
Extracción de reglas y motivos: conjuntos/secuencias frecuentes, reglas asociativas.
Tareas de gráfico: clasificación de nodos/costillas, detección de comunidades.
- Supervisor (hay etiquetas), no controlable (clustering/rules), semi-supervisor (pseudometros), autoaprendizaje (self-supervised: contrastive/augmentations).
2) Datos y presentaciones
Tabulares: caracteres numéricos y categóricos; interacciones, estadísticas por ventanas.
Series temporales/registros de eventos: lagunas, tendencias, estacionalidad, características DTW, rasgos espectrales.
Texto: tokens/embeddings (Bag-of-Words, TF-IDF, word2vec/fastText, BERT-embeddings), n-grams, frases clave.
Imágenes/audio: espectros/mel fiches, descriptores locales (SIFT/NAT), embeddings globales de CNN.
Grafos: matriz de adyacencia, node2vec/DeepWalk, embedding GNN.
Multi-modalidad: unión de embebidos (fusión late/early), cross-attention.
Principios clave: corrección de puntos en tiempo, sin fugas futuras, estandarización/skaling robast, codificación de categorías (one-hot/target/hash), manejo ordenado de pases y emisiones.
3) Métodos
3. 1 Estadísticas y métricas clásicas
Modelos lineales: regresión logística/lineal con regularización (L1/L2/Elastic Net).
Los métodos de los vecinos más cercanos son: kNN, ball-tree/FAISS para la búsqueda de embarques.
SVM/métodos de sonido: RBF/núcleos polinómicos, SVM de una clase (para «norma»).
Bayes ingenuo/híbridos: bailes rápidos para el texto/las categorías.
Reducción de dimensión: PCA/ICA/t-SNE/UMAP para visualización y preprocesamiento.
3. 2 Árboles y conjuntos
Random Forest, Gradient Boosting (XGBoost/LightGBM/CatBoost): fuertes bailes en la placa, resistentes a los tipos mixtos de fich, dan la importancia de los signos.
Stacking/batido: conjuntos de modelos heterogéneos.
3. 3 Redes neuronales por modalidad
Secuencias: RNN/LSTM/GRU, Redes Convolutivas Temporales, Transformers (incluidas las series largas).
Visión por computadora: CNN/ResNet/AmbNeXt, Transformador de visión; detección/segmentación (Faster/Mask R-CNN, U-Net).
Texto: Encoder-only (clase BERT), Encoder-Decoder (T5), clasificación/clasificación/NER.
Grafos: GCN/GAT/GraphSAGE para patrones estructurales.
3. 4 Patrón de minería y reglas
Conjuntos/secuencias frecuentes: Apriori/Eclat, FP-Growth, PrefixSpan.
Reglas asociativas: support/lift/confidence; filtrado por valor de negocio.
Motivos/patrones de series temporales: Perfil Matrix, SAX, segmentación por cambios de modo.
4) Validación y experimentación
Splits: i.i.d. K-fold para datos fijos; temporal CV/rolling-windows para secuencias.
Estratificación y agrupación: control de fugas entre usuarios/sesiones/campañas.
Prueba fuera de tiempo: prueba final en el período «futuro».
Beisline: reglas ingenuas, predicciones de frecuencia, logreg simple/GBM.
5) Métricas de calidad
Clasificación: accuracy (en equilibrio), ROC-AUC, PR-AUC en clases raras, logloss, F1, precision/recall @ k, NDCG/Lift para clasificación.
Agrupamiento: Silhouette, Davies-Bouldin, Calinski-Harabasz; externo - ARI/NMI cuando hay un «estándar de oro».
Segmentación en imágenes: IoU/Dice.
Secuencias/NER: token-/entity-level F1; time-to-first-correct para el reconocimiento en línea.
Métricas de negocio: ganancias incrementales, reducción de la carga manual, velocidad de procesamiento.
6) Interpretabilidad y confianza
Globalmente: la importancia del fich (gain/permutation), PDP/ICE, sumario de SHAP.
Localmente: SHAP/LIME/Anchors para explicar una solución específica.
Para reglas: métricas transparentes (support/lift), conflictos de reglas, cobertura.
Visualización de embarques: UMAP/t-SNE para «mapas» de patrones y clústeres.
7) Sostenibilidad y calidad de los datos
Robasticidad: patinadores sostenibles (median/MAD), vinzorización, protección contra emisiones.
Deriva: monitoreo de las distribuciones (PSI/JS/KL), derivación del objetivo y del fich, recalibración periódica.
Equidad: comparación de errores por segmentos, restricciones por FPR/TPR, bias-skill.
Privacidad/cumplimiento: minimización de campos, seudonimización, acceso por roles.
8) Pipeline (de datos a producción)
1. Definición de tareas y KPI (y scripts de validación «dorados»).
2. Recopilación/preparación de datos: esquemas, deduplicación, zonas temporales, agregados y embarques.
3. Baizline: reglas simples/logreg/GBM; sanity-checks.
4. Enriquecimiento de las representaciones: señalización de dominio, embeddings de modalidades, feature store.
5. Entrenamiento y selección: rejillas/optimización de bayes, parada temprana, validación cruzada.
6. Calibración y umbrales: Platt/isotonic, selección de umbrales para el valor comercial.
7. Deboy: NAT/gRPC batch/en línea; versionar artefactos y esquemas.
8. Monitoreo: calidad (métricas ML + negocio), distribución, retrasos; alertas y rúnicas.
9. Retrening: horario/por evento de deriva; A/B/Lanzamientos canarios.
9) Patrones prácticos por escenario
Feed and Risk Scoring (placa): GBM/Stacking → añadir caracteres gráficos (conexiones por dispositivo/tarjeta) y GNN; restricciones latency estrictas; optimización por PR- AUC/recall@FPR≤x%.
Personalización y contenido (clasificación): embargos de usuarios/objetos entrenados + señal de clic binaria; loss: pairwise/listwise; actualizaciones en línea.
Análisis de logs/secuencias: TCN/Transformer, contrastive self-supervised en augmentations; detección de motivos y cambios de modos.
Reconocimiento de texto de intenciones/temas: clase BERT, fine-tuning; interpretabilidad a través de tokens clave/attention.
Imágenes/videos (control de calidad/incidentes): clasificación de defectos, localización (Grad-CAM/Mask R-CNN), métricas de IoU y reglas de escalamiento.
Grafos (comunidades/cadenas fraudulentas): GNN + heurísticas de anomalías gráficas (degree/triangles/clust coeficiente).
10) Elección del modelo: matriz de soluciones simple
11) Métodos de reducción de errores y overfit
Regularización (L1/L2/dropout), parada temprana, augmentation data y mixup/cutout (para CV/audio).
Control de fugas: splits temporales estrictos, cortes grupales, «congelación» de embarques en validaciones.
Calibración de probabilidades y umbrales estables bajo restricciones comerciales.
Ensembling/Model Soup para resistencia a los cambios.
12) Lista de verificación antes del lanzamiento
- Splits correctos (temporal/group), sin fugas
- Métricas estables en la ventana OOT y segmentos clave
- Probabilidades calibradas; umbrales definidos/matriz de costa
- SLO: calidad, latencia, disponibilidad
- Logs de inferencia, versiones de artefactos, contratos de datos
- Plan de retiro y estrategia de degradación (fallback)
- Documentación y rúnicas (RCA, errores, rutas de escalamiento)
Mini glosario
Patrón de minería: busca conjuntos/secuencias frecuentes.
Embedding: representación vectorial de un objeto que conserva la semántica/similitud.
Aprendizaje contraproducente: aprendizaje que acerca ejemplos «similares» y que delata a los «diferentes».
Silhouette/NMI/ARI: métricas de calidad de agrupamiento.
IoU/Dice: métricas de calidad de segmentación.
El reconocimiento de patrones no es sólo una elección de «modelo X», sino una disciplina de representación, validación correcta y ciclo operativo. Las percepciones fuertes (fiches/embebidos), los beislines resistentes (GBM/SVM/CNN simple), los splits de calidad y el estricto monitoreo en la venta son los que dan mayores retornos. Agregue complejidad (arquitecturas profundas, multi-modalidades, grafos) sólo cuando genere ganancias medibles en ML y métricas de negocio.