Нақты уақыттағы инсайттар

1) «Нақты уақыттағы инсайт» дегеніміз не?

Нақты уақыттағы инсайт - шешiм қабылдау үшiн жеткiлiктi нысаналы кiдiрiс (латенттiлiк) шегiнде пайда болатын процестiң/пайдаланушының/жүйенiң ағымдағы жай-күйi туралы тексерiлетiн бекiту (секунд-минут).
Контур формуласы: Оқиға → Байыту/Агрегация → Шешім/Ұсыныс → Әрекет → Кері байланыс.

Мысалдар: транзакцияға антифрод (≤ 500 мс), SLO сервисінің алерті (≤ 60 с), бетте жеке ұсыным (≤ 200 мс), динамикалық прайсинг (≤ 5 с), кампаниялардың мониторингі (≤ 1 мин).

2) Алақандағы сәулет

1. Ингест: оқиғалар брокері (Kafka/Pulsar/NATS/MQTT), схемалар келісімшарттары (Euro/Protobuf), іспеттілік кілттері.
2. Ағынды өңдеу (CEP/Stream): Flink/Spark Structured Streaming/ksqlDB; терезелер, watermarks, stateful-операторлар.
3. Онлайн-фичтер және жай-күй: Feature Store (online) + тез join/lookup үшін кэш/TSDB (RocksDB/Redis).
4. Онлайн-скоринг/ережелер: модельдер (ONNX/TF-Lite/XGB), rule-engine, контекст.
5. Инсайт сервингі: low-latency API, вебхактар, команда шиналары (action bus), бейімделген дашбордтар.
6. НТАР/real-time витриналары: инкременттік материалдану (ClickHouse/Pinot/Druid/Delta + CDC).
7. Бақылау және SLO: латенттілік/лагтар/қателер, трассировка, алерта өлшемдері.
8. Басқару және қауіпсіздік: ОТА/фич-жалаулар, RLS/CLS, бүркемелеу, аудит.

3) Уақытша модель: терезе, watermarks, кеш

Терезелер: tumbling/sliding/session; витриналар үшін - гибрид (1с → 5с → 60с roll-ups).
Watermark: терезе «жабылатын» шекара; жаңалық пен толымдылық арасындағы теңгерім.
Late data: 'Δ _ late' (мысалы, 2 мин) қабылдау саясаты, өтемақылық қайта есептеулер.
Out-of-order: «event _ time» бойынша агрегаттаймыз, форензия үшін «ingested _ at» сақтаймыз.

4) Exactly-once мағынасы және іспеттілігі бойынша

• global 'event _ id', idempotency keys кестелері;
• upsert/merge-sinks;
• state snapshots + транзакциялық коммиттер (2-phase/transaction log);
• витриналарды жариялау кезінде детерминирленген трансформациялар және атомарлық swap.

5) Жай-күйі және байыту

Stateful-операторлар: key-by (user/device/merchant), агрегаттар, top-K, distinct.
Онлайн-join: жылдам lookup-кестелер (мысалы, клиент профилі, тәуекел лимиттері).
Кэштеу: LRU/TTL, жылы фичтер, анықтамалық нұсқалар.
Келісім online/offline фич: Feature Store бірыңғай ерекшелігі.

6) Инсайт ≠ жай ғана метрика

Инсайтқа шешім карточкасын қосамыз: гипотеза/контексті → балама → ұсынылатын әрекет → ожид. әсері → тәуекел/guardrails → иесі/жеткізу арнасы.
Zero-click инсайт: қысқа мәтін + дайын батырмалар (егер low-risk болса, автоматты түрде applied).

7) Аномалиялар, себеп және эксперименттер

Детекция: robust z-score/ESD, seasonal-decompose, change-point (CUSUM/BOCPD), үлкен ағымдарға арналған нобайлар (TDigest/HLL).
Себеп: «шуға реакциядан» аулақ боламыз - квази-эксперименттер/бақылау сегменттері арқылы әсерін растаймыз.
Онлайн-эксперименттер: шектеулі уақыттағы әрекетті таңдау үшін бендиттер/UCB/TS, guardrail-метрика (SLA, шағымдар, қайтарымдар).

8) SLO үшін real-time инсайт

Latency p95/p99 end-to-end (ингест → әрекет).
Freshness витриналары (максималды лаг).
Терезе шегіндегі Completeness (соңғы ескерілгендердің үлесі).
Action Rate/Success Rate (қанша инсайт әрекетке/әсерге айналды).
Cost-to-Insight (CPU/IO/GPU/$, 1 инсайтқа).

Мақсатты матрицаның мысалы: антифрод p95 ≤ 300 мс, completeness ≥ 99. 5%, cost/1k оқиғалар ≤ $ X.

9) Инсайттарды жеткізу және басымдық беру

Қайда: вебхактар, message bus "actions. ", дашбордтардың API, push/чат-боттар, CRM/CDP.
Басымдықтары: Gold/Silver/Bronze; Gold - жеке пулдар мен арналар.
Мерзім: егер 'deadline' аяқталса - сыныпты төмендету немесе болдырмау.

10) Экономика және тозу

Cost-aware стратегиясы: жеңілдетілген модельдер, үлкен терезелер, шыңдау кезінде сэмплинг.
Graceful degradation: fallback өрескел агрегаттарға/ережелерге, «жылы» снапшоттарға.
Backpressure & shed-load: best-effort тақырыптарын ысыру, Gold сақтау.

11) Қауіпсіздік және құпиялылық

стрим-витриналардағы RLS/CLS; теңге/өңір бойынша бөлу.
PII-редакция шетінде: орталыққа дейін токенизациялау.
Құпиялар мен қолжетімділік: mTLS, қысқа белгілер, сұрау/экспорт аудиті.
Экспорт саясаты: «шикі» real-time PII негізсіз сыртқа шығуына тыйым салу.

12) Контурдың real-time бақылануы

Топиктер/кілттер бойынша лагтар, queue depth, watermark skew.
Әрбір қабатта p95/p99, error rate, reprocess count.
Data-quality онлайнда: телнұсқалар, null-rate, таралу ауытқулары.
Трейсинг: оқиғадан әрекетке дейінгі өтпелі trace-id.

13) Антипаттерндер

«Бәрі - real-time». Қажетсіз шығыстар мен шу; кейбір тапсырмалар жақсы batch/near-real-time.
SELECT және келісім-шарттарсыз «бос» схемалар.
watermarks жоқ терезелер. Не мәңгілік терезелер, не кейінгілерінің жоғалуы.
Сәйкессіздік жоқ. Қосарланған әрекеттер/спам.
guardrails жоқ. «Жалған позитивке» реакция зиян келтіреді.
OLTP аналитика отында. Оқшаулау жоқ - прод-транзакциялардың тозуы.

14) Енгізу жол картасы

1. Discovery: оқиғалар, мақсатты шешімдер, мерзімдер, тәуекелдер; Gold/Silver/Bronze жіктеу.
2. Деректер келісімшарттары: схемалар (Euro/Protobuf), кілттер, іспеттілік саясаты.
3. MVP ағыны: бір сындарлы шешім, терезе/WM, қарапайым ережелер + онлайн фичи.
4. Витриналар және сервинг: инкременттік материалдану, low-latency API.
5. Бақылау қабілеті: лагтар панелі/latency/SLO, алерта; трассинг.
6. Модельдер мен эксперименттер: онлайн скоринг, bandits/guardrails.
7. Hardening: backpressure, деградация, cost-профиль; аудит және құпиялылық.
8. Scale: мульти-аймақ, edge-талдау, ағындардың басымдығы.

15) Шығарылым алдындағы чек-парақ

• SLO (latency, freshness, completeness) және иесі анықталды.
• Схемалар нұсқаланған; тыйым салынған 'SELECT'; idempotency-keys бар.
• Орнатылған терезелер мен watermarks, late data/қайта есептеу саясаты.
• Exactly-once мағынасы бойынша: upsert/merge-sinks, атомарлық publish.
• Онлайн-фичтер offline-мен келісілген; TTL және нұсқалары бар кэштер.
• Әрекеттер үшін Guardrails; арналар басымдыққа ие; мерзім көрсетіледі.
• Лагтар/latency/SLO мониторингі; трассинг қосылған; SLO-ға қауіп төндіретін алерталар.
• Құпиялылық саясаты (RLS/CLS/PII) және экспорт аудиті енгізілген.
• Runbooks деградациялар мен оқыс оқиғалар дайын (rollback/slow-path).

16) Шағын үлгілер (псевдо-YAML/SQL)

Терезе/кешіккендер саясаты

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

Idempotent sink (SQL-эскиз)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

Әрекеттер үшін guardrails ережелері

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

SLO алерттері

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Жиынтық

Нақты уақыттағы инсайттар - бұл жай ғана «жылдам графиктер» емес, шешімдердің инженерлік контуры: қатаң оқиғалар келісімшарты, дұрыс уақыт логикасы (терезелер/watermarks), демпотенттік жарияланымдар, келісілген онлайн-фичтер, іс-қимылдарды басымдықпен жеткізу және SLO-мен бақылау. Бұл контур жұмыс істеп тұрғанда, ұйым оқиғалардың ағынын өлшемді бизнес-құндылыққа айналдыра отырып, уақтылы, қауіпсіз және болжамды әрекет етеді.