Información en tiempo real

1) Qué es el «insight en tiempo real»

Información en tiempo real: una declaración verificable sobre el estado actual del proceso/usuario/sistema que aparece dentro de la latencia objetivo (latencia) suficiente para tomar una decisión (segundos-minutos).
Fórmula de contorno: Evento → Enriquecimiento/Agregación → Decisión/Recomendación → Acción → Retroalimentación.

Ejemplos: antifraude en transacciones (≤500 ms), alerta de servicio SLO (≤60 c), recomendación personal en la página (≤200 ms), prising dinámico (≤5 c), monitoreo de campañas (≤1 min).

2) Arquitectura en la palma de la mano

1. Ingest: bróker de eventos (Kafka/Pulsar/NATS/MQTT), contratos de circuitos (Avro/Protobuf), claves de idempotencia.
2. Procesamiento de streaming (CEP/Stream): Flink/Spark Structued Streaming/ksqlDB; ventanas, watermarks, operadores stateful.
3. Fiches y estado en línea: Feature Store (online) + caché/TSDB (RocksDB/Redis) para rápidos join/lookup.
4. Puntuación/reglas en línea: modelos (ONNX/TF-Lite/XGB), motor de regla, contexto.
5. Serving Insytes: API de baja latencia, webhooks, bus de comando (action bus), dashboards adaptativos.
6. NTAR/vitrinas en tiempo real: materializaciones incrementales (ClickHouse/Pinot/Druid/Delta + CDC).
7. Observabilidad y SLO: métricas de latencia/lags/errores, trazados, alertas.
8. Gestión y seguridad: banderas OTA/fich, RLS/CLS, enmascaramiento, auditoría.

3) Modelo temporal: ventanas, watermarks, tarde

Ventanas: tumbling/sliding/session; para escaparates - híbrido (1s→5s→60s roll-ups).
Watermark: límite tras el cual se «cierra» la ventana; equilibrio entre frescura y plenitud.
Datos latos: política de prepriem 'Δ _ late' (por ejemplo, 2 min), cálculos compensatorios.
Out-of-order: agregamos por 'event _ time', almacenamos 'ingested _ at' para forensiki.

4) Exactly-once por significado e idempotencia

• global 'event _ id', tablas idempotency keys;
• upsert/merge-sinks;
• snapshots + comandos transaccionales (2-phase/transaction log);
• transformaciones deterministas y swap atómico cuando se publican vitrinas.

5) Estado y enriquecimiento

Operadores Stateful: key-by (usuario/dispositivo/merchant), agregados, top-K, distinct.
Online join: tablas de búsqueda rápidas (por ejemplo, perfil de cliente, límites de riesgo).
Almacenamiento en caché: LRU/TTL, fiches cálidos, versionados de referencia.
Coherencia en línea/offline fich: una especificación única en Feature Store.

6) Insight ≠ simplemente métrica

Al insight le añadimos una tarjeta de solución: hipótesis/contexto → alternativa → acción recomendada de →. efecto → riesgo/guardrails → propietario/canal de envío.
Zero-click insight: texto corto + botones terminados (applied automáticamente si low-risk).

7) Anomalías, causalidad y experimentos

Detección: robust z-score/ESD, seasonal-decompose, change-point (CUSUM/BOCPD), bocetos (TDigest/HLL) para flujos grandes.
Causalidad: evitamos la «reacción al ruido» - confirmamos el efecto a través de cuasi-experimentos/segmentos de control.
Experimentos en línea: bandits/UCB/TS para seleccionar una acción con tiempo limitado, métricas guardrail (SLA, quejas, devoluciones).

8) SLO para información privilegiada en tiempo real

Latency p95/p99 end-to-end (ingest→deystviye).
Escaparates Freshness (máx. mag).
Completeness dentro de la ventana (fracción de los últimos contabilizados).
Action Rate/Success Rate (cuántos insights se han convertido en acción/efecto).
Costo-a-Insight (CPU/IO/GPU/$, por 1 insight).

Ejemplo de matriz objetivo: antifraude p95≤300 ms, completeness≥99. 5%, costo/1k sobyty≤$Kh.

9) Envío de información privilegiada y priorización

Donde: webhooks, message bus "actions. ", API de dashboards, push/chatbots, CRM/CDP.
Prioridades: Oro/Plata/Bronce; Gold - pools y canales separados.
Deadline: si 'deadline' ha caducado, descender o cancelar.

10) Economía y degradación

Estrategia de coste-aware: modelos simplificados, ventanas más grandes, sampling en el pico.
Degradación Graceful: Fallback en unidades/reglas ásperas, snapshots «cálidos».
Backpressure & shed-load: restablecer los temas de mejor efecto, guardar Gold.

11) Seguridad y privacidad

RLS/CLS en vitrinas de streaming; división por tenante/región.
Edición PII en el borde: tokenización al centro.
Secretos y acceso: mTLS, tokens cortos, auditoría de solicitudes/exportaciones.
Políticas de exportación: prohibición del PII «crudo» en tiempo real al exterior sin fundamento.

12) Observabilidad del contorno en tiempo real

Lags por topic/keys, queue depth, watermark skew.
p95/p99 en cada capa, error rate, reprocess count.
Calidad de datos en línea: duplicados, null-rate, anomalías de distribución.
Treking: trace-id de extremo a extremo desde el evento hasta la acción.

13) Antipatternas

«Todo es tiempo real». Gastos y ruido innecesarios; parte de las tareas son mejores que batch/near-real-time.
SELECT y esquemas «libres» sin contratos.
Ventanas sin watermarks. O ventanas eternas o pérdidas tardías.
No hay idempotencia. Doble acción/spam.
Sin guardaires. La reacción a un «falso positivo» crea daño.
OLTP bajo el fuego de los analistas. Sin aislamiento - degradación de transacciones prod.

14) Hoja de ruta para la aplicación

1. Discovery: eventos, soluciones específicas, dlline, riesgos; clasificar Gold/Silver/Bronze.
2. Contratos de datos: esquemas (Avro/Protobuf), claves, políticas de idempotencia.
3. Flujo MVP: una solución crítica, ventana/WM, reglas simples + fichas en línea.
4. Vitrinas y serving: materializaciones incrementales, API de baja latencia.
5. Observabilidad: paneles lags/latency/SLO, alertas; trasiego.
6. Modelos y experimentos: puntuación en línea, bandits/guardrails.
7. Hardening: retroceso, degradación, perfil de costo; auditoría y privacidad.
8. Escala: multi-región, edge-analytics, priorización de subprocesos.

15) Lista de verificación antes del lanzamiento

• Definidos SLO (latency, freshness, completeness) y propietario.
• Esquemas versionados; 'SELECT' prohibido; hay idempotency-keys.
• Ventanas y watermarks configurados, política de datos late/nuevos cálculos.
• Exactly-once en el sentido de: upsert/merge-sinks, publicación atómica.
• Los fichas en línea están alineados con offline; caché con TTL y versiones.
• Guardrails para acciones; los canales están priorizados; se especifican las líneas de salida.
• Monitoreo de lagunas/latency/SLO; el seguimiento está habilitado; alertas a la amenaza de SLO.
• Se incluyen las políticas de privacidad (RLS/CLS/PII) y las auditorías de exportación.
• Runbooks de degradación e incidentes están listos (rollback/slow-path).

16) Mini plantillas (pseudo-YAML/SQL)

Política de ventana/atrasado

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

Idempotent sink (esbozo SQL)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

Reglas de guardrails para acciones

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

Alertas SLO

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Resultado

Los insights en tiempo real no son solo «gráficos rápidos», sino un esquema de soluciones de ingeniería: contratos de eventos estrictos, lógica de tiempo correcta (ventanas/watermarks), publicaciones idempotentes, fichas en línea acordadas, entrega priorizada de acciones y observabilidad con SLO. Cuando este circuito funciona, la organización responde a tiempo, de forma segura y predecible, convirtiendo el flujo de eventos en un valor comercial medible.