Real vaqtdagi insaytlar

1) «Real vaqtdagi insayt» nima

Real vaqtdagi insayt - qaror qabul qilish uchun yetarli bo’lgan maqsadli kechikish (latentlik) doirasida paydo bo’ladigan jarayonning/foydalanuvchining/tizimning joriy holati to’g "risidagi tekshiriladigan bayonot (soniya-daqiqa).
Kontur formulasi: Hodisa → Boyitish/Agregatsiya → Yechim/Tavsiya → Harakat → Qayta aloqa.

Misollar: tranzaksiyalarda antifrod (≤ 500 ms), SLO servisi alertasi (≤ 60 s), sahifada shaxsiy tavsiya (≤ 200 ms), dinamik praysing (≤ 5 s), kampaniyalar monitoringi (≤ 1 min).

2) Kaftdagi arxitektura

1. Ingest: voqealar brokeri (Kafka/Pulsar/NATS/MQTT), sxemalar kontraktlari (Euro/Protobuf), idempotentlik kalitlari.
2. Oqimli qayta ishlash (CEP/Stream): Flink/Spark Structured Streaming/ksqlDB; derazalar, watermarks, stateful-operatorlar.
3. Onlayn fichlar va holat: Feature Store (online) + tez join/lookup uchun kesh/TSDB (RocksDB/Redis).
4. Onlayn-skoring/qoidalar: modellar (ONNX/TF-Lite/XGB), rule-engine, kontekst.
5. Insaytlar servingi: low-latency API, vebxuklar, shina buyruqlari (action bus), moslashuvchan dashbordlar.
6. NTAR/real-time vitrinalari: inkremental materiallashtirish (ClickHouse/Pinot/Druid/Delta + CDC).
7. Kuzatish va SLO: latentlik/lag/xato metrikalari, trastirovkalar, alertlar.
8. Boshqaruv va xavfsizlik: OTA/fich bayroqlari, RLS/CLS, niqoblash, audit.

3) Vaqtinchalik model: derazalar, watermarks, kech

Oynalar: tumbling/sliding/session; vitrinalar uchun - gibrid (1s → 5s → 60s roll-ups).
Watermark: chegara, undan keyin oyna «yopiladi»; yangilik va to’liqlik o’rtasidagi muvozanat.
Late data:’Δ _ late’qo’shimcha siyosati (masalan, 2 daqiqa), kompensatsiya qayta hisob-kitoblari.
Out-of-order:’event _ time’bo’yicha yig’ish,’ingested _ at’forensika uchun saqlash.

4) Exactly-once ma’nosi va idempotentligi bo’yicha

• global’event _ id’, idempotency keys jadvallari;
• upsert/merge-sinks;
• state snapshots + tranzaksion kommitalar (2-phase/transaction log);
• vitrinalarni e’lon qilishda determinirlangan transformatsiyalar va atomar swap.

5) Boyitish va boyitish

Stateful-operatorlar: key-by (user/device/merchant), agregatlar, top-K, distinct.
Onlayn join: tezkor lookup jadvallar (masalan, mijoz profili, tavakkalchilik limitlari).
Keshlash: LRU/TTL, iliq chichlar, maʼlumotnoma versiyalari.
Muvofiqlik online/offline fich: Feature Store-da yagona spetsifikatsiya.

6) Insayt ≠ shunchaki metrika

Insaytga yechim kartasini qo’shamiz: gipoteza/kontekst → muqobil → tavsiya etilgan harakat → hayot. effekt → risk/guardrails → egasi/yetkazib berish kanali.
Zero-click insayt: qisqa matn + tayyor tugmalar (agar low-risk boʻlsa, avtomatik ravishda applied).

7) Anomaliyalar, sabablar va eksperimentlar

Deteksiya: robust z-score/ESD, seasonal-decompose, change-point (CUSUM/BOCPD), katta oqimlar uchun eskizlar (TDigest/HLL).
Sababi: biz «shovqinga javob berishdan» qochamiz - samarani kvazi-eksperimentlar/nazorat segmentlari orqali tasdiqlaymiz.
Onlayn-eksperimentlar: cheklangan vaqtda harakat qilish uchun benditlar/UCB/TS, guardrail-metrika (SLA, shikoyatlar, qaytarishlar).

8) Real-time insaytlar uchun SLO

Latency p95/p99 end-to-end (ingest → harakat).
Freshness vitrin (maksimal lag).
Oynadagi completeness (kech hisobga olinganlarning ulushi).
Action Rate/Success Rate (qancha insaytlar harakat/effektga aylandi).
Cost-to-Insight (CPU/IO/GPU/$, 1 insaytga).

Maqsadli matritsaga misol: antifrod p95 ≤ 300 ms, completeness ≥ 99. 5%, cost/1k hodisalar ≤ $ X.

9) Insaytlarni yetkazib berish va ustuvorlik

Qayerga: vebxuklar, message bus "actions. ", dashbordlarning API, push/chat-botlar, CRM/CDP.
Ustuvorliklar: Gold/Silver/Bronze; Gold - alohida hovuzlar va kanallar.
Muddatlar: agar’deadline’tugasa - sinfni pasaytirish yoki bekor qilish.

10) Iqtisodiyot va degradatsiyalar

Cost-aware strategiyasi: soddalashtirilgan modellar, kattaroq derazalar, cho’qqida sampling.
Graceful degradation: fallback uchun qoʻpol agregatlar/qoidalar, «issiq» snapshotlar.
Backpressure & shed-load: best-effort mavzularini qayta tiklash, Goldni saqlash.

11) Xavfsizlik va maxfiylik

strim-vitrinalarda RLS/CLS; tenant/mintaqa bo’yicha bo’linish.
chetidagi PII tahriri: markazgacha tokenlashtirish.
Sirlar va kirish: mTLS, qisqa tokenlar, so’rovlar/eksport auditi.
Eksport siyosati: «xom» real-time PIIni asossiz tashqariga chiqarishni taqiqlash.

12) Real-time kontur kuzatilishi

Topiklar/kalitlar boʻyicha laglar, queue depth, watermark skew.
Har bir qatlamda p95/p99, error rate, reprocess count.
Onlayn data-quality: dublikatlar, null-rate, taqsimot anomaliyalari.
Treysing: hodisadan amalgacha boʻlgan trace-id.

13) Antipatternlar

«Hammasi real-time». Keraksiz xarajatlar va shovqin; vazifalarning bir qismi batch/near-real-time dan yaxshiroqdir.
SELECT va shartnomasiz «erkin» sxemalar.
Watermarks boʻlmagan oynalar. Yoki abadiy derazalar yoki kech yoʻqotishlar.
Dempotentlik yoʻq. Ikki marta harakat/spam.
guardrails. «Soxta ijobiy» ga munosabat ziyon keltiradi.
OLTP analitik olovida. Izolyatsiya yo’q - prod-tranzaksiyalarning buzilishi.

14) Joriy etish yo’l xaritasi

1. Discovery: voqealar, maqsadli yechimlar, muddatlar, xavflar; Gold/Silver/Bronze ni tasniflang.
2. Ma’lumotlar kontraktlari: sxemalar (Euro/Protobuf), kalitlar, idempotentlik siyosati.
3. MVP oqimi: bitta tanqidiy yechim, oyna/WM, oddiy qoidalar + onlayn fichlar.
4. Vitrinalar va serving: inkremental materiallashtirish, low-latency API.
5. Kuzatish darajasi: lag panellari/latency/SLO, alertlar; trassing.
6. Modellar va tajribalar: onlayn skoring, bandits/guardrails.
7. Hardening: backpressure, degradatsiyalar, cost-profil; audit va maxfiylik.
8. Scale: ko’p mintaqa, edge-tahlil, oqimlarning ustuvorligi.

15) Chiqarishdan oldingi chek-varaq

• SLO (latency, freshness, completeness) va egasi aniqlandi.
• Sxemalar versiyalangan; «SELECT» taqiqlangan; idempotency-keys mavjud.
• Oynalar va watermarks, late data/qayta hisoblash siyosati moslashtirilgan.
• Ma’nosi bo’yicha Exactly-once: upsert/merge-sinks, atom publish.
• Onlayn fichlar offline bilan kelishilgan; TTL va versiyalar bilan keshlar.
• Harakatlar uchun Guardrails; kanallar ustuvorlashtirilgan; muddatlar ko’rsatiladi.
• Lag/latency/SLO monitoringi; trasing kiritilgan; SLO tahdidiga qarshi alertlar.
• Maxfiylik siyosati (RLS/CLS/PII) va eksport auditi kiritilgan.
• Runbooks degradatsiyalar va hodisalar tayyor (rollback/slow-path).

16) Mini-shablonlar (psevdo-YAML/SQL)

Oyna/kechikish siyosati

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

Idempotent sink (SQL eskiz)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

Harakat uchun guardrails qoidalari

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

SLO alertlari

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Jami

Real vaqt insaytlari - bu shunchaki «tezkor grafiklar» emas, balki muhandislik yechimlari konturi: qat’iy voqealar kontraktlari, to’g’ri vaqt mantig’i (derazalar/watermarks), idempotent nashrlari, kelishilgan onlayn fichlar, harakatlarni prioritetlashtirilgan yetkazib berish va SLO bilan kuzatish. Ushbu kontur ishlayotganda, tashkilot o’z vaqtida, xavfsiz va oldindan aytib bo’ladigan tarzda harakat qiladi va voqealar oqimini o’lchanadigan biznes qiymatiga aylantiradi.