Реалдуу убакытта инсайттар

1) "Реалдуу убакытта инсайт" деген эмне

Реалдуу убакытта инсайт - чечимди кабыл алуу үчүн жетиштүү (секунд-мүнөт) максаттуу кечигүү (жашыруун) чегинде пайда болгон процесстин/колдонуучунун/системанын учурдагы абалы жөнүндө текшерилүүчү билдирүү.
Контур формуласы: Окуя → Байытуу/Агрегация → Чечим/Сунуш → Аракет → Пикир.

Мисалдар: транзакциялар боюнча антифрод (≤ 500 мс), SLO кызматы (≤ 60 мс), баракчадагы жеке сунуш (≤ 200 мс), динамикалык прайсинг (≤ 5 мс), кампанияларды көзөмөлдөө (≤ 1 мин).

2) алаканга Архитектура

1. Ингест: Иш-чаралардын брокери (Kafka/Pulsar/NATS/MQTT), схемалар келишимдери (Euro/Protobuf), демпотенттик ачкычтары.
2. Агым иштетүү (CEP/Stream): Flink/Spark Structured Streaming/ksqlDB; терезелер, watermarks, stateful операторлору.
3. Online Ficks & Service: Feature Store (онлайн) + кэш/TSDB (RocksDB/Redis) үчүн тез join/lookup.
4. Онлайн эсеби/эрежелери: моделдер (ONNX/TF-Lite/XGB), рулетка-engine, контекстинде.
5. Insight Serving: low-latency API, Webhucks, шиналар команда (action bus), адаптивдүү дашборддор.
6. NTAR/Real-Time Display: инкременталдык материалдык (ClickHouse/Pinot/Druid/Delta + CDC).
7. Байкоо жана SLO: Latentity/Lag/каталар, Tracking, Алерт метриктер.
8. Башкаруу жана коопсуздук: OTA/Fich желектер, RLS/CLS, камуфляж, аудит.

3) Убактылуу модели: терезелер, watermarks, кеч

Терезелер: tumbling/sliding/session; витриналар үчүн - гибрид (1с → 5с → 60с roll-ups).
Watermark: чек, андан кийин терезе "жабылат"; сергектик менен толуктуктун ортосундагы тең салмактуулук.
Late data: 'Δ _ late' кабыл алуу саясаты (мисалы, 2 мин), компенсациялык кайра эсептөөлөр.
Out-of-order: топтоо 'event _ time', сактоо 'ingested _ at' forensics үчүн.

4) Exactly-once мааниси жана боштондук

• global 'event _ id', idempotency keys таблицалары;
• upsert/merge-sinks;
• state snapshots + транзакциялык коммиттер (2-phase/transaction log);
• витриналарды жарыялоодо детерминацияланган трансформациялар жана атомдук свап.

5) Мамлекеттик жана байытуу

Stateful операторлору: key-by (user/device/merchant), агрегаттар, top-K, distinct.
Онлайн join: тез lookup таблицалар (мисалы, кардардын профили, тобокелдик лимиттери).
Кэширование: LRU/TTL, жылуу Ficks, каталогдорду чыгаруу.
шайкештик онлайн/оффлайн fich: Feature Store бирдиктүү өзгөчөлүгү.

6) Insight ≠ жөн гана метрика

Инсайтка чечим картасын кошуу: гипотеза/контекст → альтернатива → сунуш кылынган аракет → ожид. таасир → тобокелдик/guardrails → ээси/жеткирүү каналы.
Zero-click инсайт: кыска текст + даяр баскычтар (төмөн-тобокелдик болсо, автоматтык түрдө колдонулат).

7) Аномалиялар, себеп жана эксперименттер

Детекция: robust z-score/ESD, seasonal-decompose, change-point (CUSUM/BOCPD), эскиздер (TDigest/HLL) чоң агымдар үчүн.
Себеп: Биз "ызы-чууга жооп берүүдөн" качабыз - квази-эксперименттер/контролдук сегменттер аркылуу эффектти тастыктайбыз.
Онлайн эксперименттер: чектелген убакытта иш-аракет тандоо үчүн Bendites/UCB/TS, guardrail-метрика (SLA, даттануулар, кайтарымдар).

8) SLO үчүн реалдуу убакыт инсайт

Latency p95/p99 end-to-end (ингест → аракет).
Freshness терезелер (макс. лаг).
терезенин ичинде Completeness (кеч эске алынган үлүшү).
Action Rate/Success Rate (канча инсайт аракет/таасир айланды).
Cost-to-Insight (CPU/IO/GPU/$, 1 инсайт).

Максаттуу матрицанын мисалы: антифрод p95 ≤ 300 ms, completeness ≥ 99. 5%, наркы/1k окуялар ≤ $ X.

9) Инсайт жеткирүү жана артыкчылыктуу

Кайда: Webhuke, message bus "actions. ", dashboard API, push/чат боттор, CRM/CDP.
Артыкчылыктары: Алтын/Күмүш/Bronze; Gold - өзүнчө бассейндер жана каналдар.
Мөөнөтү: эгер 'deadline' бүтсө - классты төмөндөтүү же жокко чыгаруу.

10) Экономика жана деградация

Cost-aware стратегиясы: жөнөкөйлөштүрүлгөн моделдер, чоң терезелер, чокусуна самплинг.
Graceful degradation: орой агрегаттар/эрежелер боюнча fallback, "жылуу" snapshots.
Backpressure & shed-load: best-effort темаларды калыбына келтирүү, Gold сактоо.

11) Коопсуздук жана купуялык

RLS/CLS Stream Display; тенант/аймак боюнча бөлүнүү.
четинде PII-Edition: борборуна tokenization.
Secrets & Access: mTLS, кыска токендер, текшерүү суроо/экспорт.
экспорттук саясат: негизсиз "чийки" реалдуу убакыт PII тыюу салуу.

12) реалдуу убакыт контур байкоо

Топиктер/ачкычтар боюнча лагдар, queue depth, watermark skew.
p95/p99 ар бир катмар боюнча, error rate, reprocess count.
Data-quality онлайн: дубликаттар, null-rate, бөлүштүрүү аномалиялары.
Trace: иш-чарага trace-id аркылуу.

13) Антипаттерндер

"Баары - реалдуу убакыт". керексиз чыгымдар жана ызы-чуу; милдеттердин бир бөлүгү жакшы batch/near-real-time.
SELECT жана келишимдер жок "эркин" схемалар.
watermarks жок терезелер. Же түбөлүк терезелер, же кеч жоготуу.
Демпотенттик жок. Кош аракет/спам.
guardrails жок. "Жалган позитивге" реакция зыян келтирет.
OLTP отко аналитика. Эч кандай изоляция жок - прод-транзакциялардын бузулушу.

14) Ишке ашыруунун жол картасы

1. Discovery: окуялар, максаттуу чечимдер, мөөнөтү, тобокелдиктер; Алтын/Күмүш/Bronze классификациялоо.
2. Маалыматтар контракттары: схемалар (Euro/Protobuf), ачкычтар, демпотенттик саясаты.
3. MVP агымы: бир маанилүү чечим, терезе/WM, жөнөкөй эрежелер + онлайн чүчүкулак.
4. Витриналар жана сервинг: инкременталдык материалдаштыруу, low-latency API.
5. Байкоо: лагдар/latency/SLO панелдер, Алерт; жол.
6. Моделдер жана эксперименттер: онлайн эсеби, bandits/guardrails.
7. Hardening: backpressure, деградация, cost-кароо; аудит жана купуялуулук.
8. Scale: көп аймак, edge-аналитика, агымдардын артыкчылыктуу.

15) чыгаруу алдында чек тизмеси

• SLO (latency, freshness, completeness) жана ээси аныкталган.
• Схемалар которулган; тыюу салынган 'SELECT'; idempotency-keys бар.
• орнотулган терезелер жана watermarks, көп маалымат/кайра эсептөө саясаты.
• Exactly-once мааниси боюнча: upsert/merge-sinks, атомдук publish.
• Онлайн чүчүкулак offline менен макулдашылган; TTL жана версиялары менен кэштер.
• иш-аракеттер үчүн Guardrails; каналдар артыкчылыктуу; мөөнөтү көрсөтүлөт.
• Мониторинг лагдар/latency/SLO; tracking киргизилген; SLO коркунучуна алерталар.
• Купуялык саясаты (RLS/CLS/PII) жана экспорттук аудит кирет.
• Runbooks деградация жана окуялар даяр (rollback/slow-path).

16) Mini үлгүлөрү (Pseudo-YAML/SQL)

Терезе саясаты/кеч

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

Idempotent sink (SQL эскиз)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

guardrails эрежелери

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

SLO алерттери

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Жыйынтык

Реалдуу убакытта инсайттар жөн эле "тез графиктер" эмес, чечимдердин инженердик контуру: катуу иш-чаралар келишими, туура убакыт логикасы (терезелер/суу маркалары), демпотенттик басылмалар, макулдашылган онлайн фичтер, артыкчылыктуу иш-аракеттерди жеткирүү жана SLO менен байкоо жүргүзүү. Бул контур иштегенде, уюм өз убагында, коопсуз жана алдын ала жооп берет, окуялардын агымын өлчөнүүчү бизнес баалуулугуна айландырат.