Real vaxt insaytları

1) «Real vaxt insight» nədir

Real vaxt Insight - proses/istifadəçi/sistemin cari vəziyyəti haqqında qərar qəbul etmək üçün kifayət qədər (saniyə-dəqiqə) hədəf gecikmə (gecikmə) daxilində ortaya çıxan yoxlanılan iddia.
Kontur formulu: Hadisə → Zənginləşdirmə/Aqreqasiya → Həll/Tövsiyə → Fəaliyyət → Rəy.

Nümunələr: əməliyyatlarda antifrod (≤ 500 ms), SLO xidməti (≤ 60 ms), səhifədə fərdi tövsiyə (≤ 200 ms), dinamik qiymət (≤ 5 ms), kampaniya monitorinqi (≤ 1 dəq).

2) Palma üzərində memarlıq

1. Ingest: hadisələrin brokeri (Kafka/Pulsar/NATS/MQTT), sxemlərin müqavilələri (Avro/Protobuf), idempotentlik açarları.
2. Streaming (CEP/Stream): Flink/Spark Structured Streaming/ksqlDB; pəncərələr, watermarks, stateful operatorları.
3. Online Ficks və State: Feature Store (online) + sürətli join/lookup üçün cache/TSDB (RocksDB/Redis).
4. Onlayn hesab/qaydalar: modellər (ONNX/TF-Lite/XGB), rule-engine, kontekst.
5. Insight Serving: low-latency API, vebhuk, şin komanda (action bus), adaptiv dashboard.
6. NTAR/real-time vitrinlər: inkremental materiallaşma (ClickHouse/Pinot/Druid/Delta + CDC).
7. Müşahidə və SLO: gecikmə/lag/səhv metrikası, izləmə, həyəcan.
8. İdarəetmə və təhlükəsizlik: OTA/fich bayraqları, RLS/CLS, maskalanma, audit.

3) Müvəqqəti model: pəncərələr, watermarks, gec

Pəncərələr: tumbling/sliding/session; vitrinlər üçün - hibrid (1s → 5s → 60s roll-ups).
Watermark: sərhəd, bundan sonra pəncərə «bağlanır»; təravət və dolğunluq arasında balans.
Late data: 'Δ _ late' (məsələn, 2 dəq) qəbul siyasəti, kompensasiya yenidən hesablamalar.
Out-of-order: forensika üçün 'ingested _ at' saxlayaraq 'event _ time' ilə yığırıq.

4) Məna və idempotentlik baxımından Exactly-once

• qlobal 'event _ id', idempotency keys cədvəlləri;
• upsert/merge-sinks;
• state snapshots + əməliyyat kommitləri (2-phase/transaction log);
• vitrinlərin nəşrində determinik transformasiya və atom swap.

5) Dövlət və zənginləşdirmə

Stateful operatorları: key-by (user/device/merchant), aqreqatlar, top-K, distinct.
Online join: sürətli lookup cədvəllər (məsələn, müştəri profili, risk limitləri).
Caching: LRU/TTL, isti cizgilər, kataloq versiyası.
Uyğunluq online/offline fich: Feature Store-da vahid spesifikasiya.

6) Insight ≠ sadəcə metrika

Insight həll kartı əlavə edin: hipotez/kontekst → alternativ → tövsiyə olunan hərəkət → ojid. effect → risk/guardrails → sahibi/çatdırılma kanalı.
Zero-click insight: qısa mətn + hazır düymələr (aşağı risk varsa avtomatik applied).

7) Anomaliyalar, səbəblər və təcrübələr

Deteksiya: robust z-score/ESD, seasonal-decompose, change-point (CUSUM/BOCPD), böyük axınlar üçün eskizlər (TDigest/HLL).
Səbəblilik: «səs-küy reaksiyasından» qaçırıq - kvazi təcrübələri/nəzarət seqmentləri vasitəsilə təsiri təsdiqləyirik.
Online təcrübələr: məhdud vaxt fəaliyyət seçmək üçün bandit/UCB/TS, guardrail-metrika (SLA, şikayətlər, geri qaytarmalar).

8) SLO real vaxt insaytları üçün

Latency p95/p99 end-to-end (ingest → hərəkət).
Freshness vitrin (max. lag).
pəncərə daxilində Completeness (son hesablanmış payı).
Action Rate/Success Rate (neçə insayt hərəkət/effekt çevrilmişdir).
Cost-to-Insight (CPU/IO/GPU/$, 1 insight üçün).

Hədəf matris nümunəsi: antifrod p95 ≤ 300 ms, completeness ≥ 99. 5%, cost/1k hadisələr ≤ $ X.

9) Insaytların çatdırılması və prioritetləşdirilməsi

Hara: vebhuk, message bus "actions. ", Dashboard API, push/chat botlar, CRM/CDP.
Prioritetlər: Gold/Silver/Bronze; Gold - ayrı-ayrı hovuzlar və kanallar.
Son tarixlər: əgər 'deadline' bitmişsə - sinifin aşağı salınması və ya ləğv edilməsi.

10) İqtisadiyyat və deqradasiya

Cost-aware strategiyası: sadələşdirilmiş modellər, daha böyük pəncərələr, zirvədə sampling.
Graceful degradation: kobud aqreqatlar/qaydalar, «isti» snapshots fallback.
Backpressure & shed-load: best-effort mövzuları sıfırlama, Gold saxlamaq.

11) Təhlükəsizlik və məxfilik

RLS/CLS axın vitrinlərində; tenant/region bölgüsü.
Kənarda PII redaktə: mərkəzə tokenləşdirmə.
Secrets & Access: mTLS, qısa tokenlər, sorğu/ixrac auditi.
İxrac siyasəti: «xam» real-time PII-nin heç bir səbəb olmadan xaricə çıxmasına qadağa qoyulur.

12) Real-time kontur müşahidə

Topics/açarlar, queue depth, watermark skew.
p95/p99 hər qat, error rate, reprocess count.
Online data-quality: dublikatlar, null-rate, paylanma anomaliyaları.
Trace: hadisədən hərəkətə keçən trace-id.

13) Antipattern

«Bütün - real-time». Lazımsız xərclər və səs-küy; bəzi tapşırıqlar daha yaxşı batch/near-real-time.
SELECT və müqaviləsiz «pulsuz» sxemlər.
watermarks olmadan pəncərələr. Ya əbədi pəncərələr, ya da gec itki.
İdempotentlik yoxdur. İkiqat hərəkət/spam.
Heç bir guardrails. «Saxta pozitivə» reaksiya zərər verir.
ALTP analitik atəşi altında. İzolyasiya yoxdur - prod-əməliyyatların deqradasiyası.

14) Tətbiqi yol xəritəsi

1. Discovery: hadisələr, hədəf həllər, son tarixlər, risklər; Gold/Silver/Bronze təsnifatı.
2. Məlumat müqavilələri: sxemlər (Avro/Protobuf), açarlar, idempotentlik siyasəti.
3. MVP axını: bir kritik həll, pəncərə/WM, sadə qaydalar + online ficks.
4. Vitrinlər və servinq: inkremental materiallaşma, low-latency API.
5. Müşahidə: lag panelləri/latency/SLO, alertlər; izləmə.
6. Modellər və təcrübələr: onlayn skoring, bandits/guardrails.
7. Hardening: backpressure, deqradasiya, cost profili; audit və məxfilik.
8. Scale: multi-region, edge-analitika, prioritet axınlar.

15) Buraxılışdan əvvəl çek siyahısı

• SLO (latency, freshness, completeness) və sahibi müəyyən edilmişdir.
• Sxemlər versiyası; «SELECT» qadağandır; idempotency-keys var.
• Xüsusi pəncərələr və watermarks, late data/yenidən hesablama siyasəti.
• Mənasına görə Exactly-once: upsert/merge-sinks, atom publish.
• Online Ficks offline ilə razılaşdırılır; TTL və versiyası ilə caches.
• Guardrails fəaliyyət üçün; kanallar prioritet; müddətləri göstərilir.
• Lag/latency/SLO monitorinqi; tracking daxildir; SLO təhdidinə qarşı həyəcanlar.
• Gizlilik siyasəti (RLS/CLS/PII) və ixrac auditi daxildir.
• Runbooks deqradasiya və hadisələr hazırdır (rollback/slow-path).

16) Mini şablonlar (psevdo-YAML/SQL)

Pəncərə siyasəti/gec

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

İdempotent sink (SQL eskizi)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

Fəaliyyət üçün guardrails qaydaları

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

SLO alertləri

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Yekun

Real vaxt insaytları sadəcə «sürətli qrafiklər» deyil, həllərin mühəndislik konturudur: ciddi hadisə müqavilələri, düzgün vaxt məntiqi (windows/watermarks), idempotent nəşrlər, razılaşdırılmış onlayn fiqurlar, prioritetləşdirilmiş hərəkət çatdırılması və SLO ilə müşahidə. Bu kontur işlədikdə, təşkilat vaxtında, təhlükəsiz və proqnozlaşdırıla bilən reaksiya verir, hadisələrin axınını ölçülə bilən biznes dəyərinə çevirir.