بینش در زمان واقعی

1) «بینش در زمان واقعی» چیست ؟

بینش در زمان واقعی - یک بیانیه قابل اثبات در مورد وضعیت فعلی فرآیند/کاربر/سیستم، ظاهر می شود در تاخیر هدف (تاخیر) کافی برای تصمیم گیری (ثانیه-دقیقه).
فرمول حلقه: رویداد → غنی سازی/تجمع → تصمیم/توصیه → عمل → بازخورد.

مثال: ضد تقلب برای معاملات (≤500 میلی ثانیه)، سرویس SLO هشدار (≤60 ثانیه)، توصیه شخصی در صفحه (≤200 میلی ثانیه)، قیمت گذاری پویا (≤5 ثانیه)، نظارت بر کمپین (≤1 دقیقه).

2) معماری در کف دست شما

1. مصرف: کارگزار رویداد (Kafka/Pulsar/NATS/MQTT)، قراردادهای طرح (Avro/Protobuf)، کلید های idempotency.
2. جریان (CEP/جریان): Flink/Spark Structured Streaming/ksqlDB ؛ پنجره ها، علامت های سفید، اپراتورهای دولتی.
3. ویژگی های آنلاین و وضعیت: فروشگاه ویژگی (آنلاین) + کش/TSDB (RocksDB/Redis) برای پیوستن/مراجعه سریع.
4. امتیاز دهی آنلاین/قوانین: مدل (ONNX/TF-آرشیو/XGB)، قانون موتور، زمینه.
5. بینش Surving: API کم تاخیر، webhooks، اتوبوس فرمان (اتوبوس عمل)، داشبورد تطبیقی.
6. NTAP/فروشگاه های زمان واقعی: تحقق تدریجی (ClickHouse/Pinot/Druid/Delta + CDC).
7. قابلیت مشاهده و SLO: تاخیر/تاخیر/خطا، ردیابی، معیارهای هشدار.
8. مدیریت و امنیت: OTA/ویژگی های پرچم، RLS/CLS، پوشش، ممیزی.

3) مدل زمان: پنجره ها، علامت های سفید، دیر

ویندوز: غلت زدن/کشویی/جلسه ؛ برای پنجره های فروشگاه - ترکیبی (1s → 5s → 60s رول یو پی اس).
علامت آب: مرزی که پس از آن پنجره «بسته» است ؛ تعادل بین طراوت و پری.
داده های دیرهنگام: سیاست پذیرش «Δ _ late» (به عنوان مثال 2 دقیقه)، محاسبه جبران خسارت.
خارج از ترتیب: مجموع بر اساس «event _ time»، فروشگاه «intested _ at» برای پزشکی قانونی.

4) دقیقا یک بار در معنی و idemotency

• global 'event _ id', idempotency کلید جداول ؛
• upsert/ادغام غرق ؛
• عکس های فوری دولت + مرتکب معامله (2 فاز/ورود به سیستم معامله) ؛
• تحولات قطعی و مبادله اتمی هنگام انتشار صفحات فروشگاه.

5) شرایط و غنی سازی

اپراتورهای Stateful: کلید توسط (کاربر/دستگاه/بازرگان)، aggregates، top-K، متمایز.
پیوستن آنلاین: جداول جستجوی سریع (به عنوان مثال مشخصات مشتری، محدودیت ریسک).
ذخیره سازی: LRU/TTL، ویژگی های گرم، نسخه بندی دایرکتوری.
سازگاری آنلاین/آفلاین: یک مشخصات واحد در فروشگاه ویژگی.

6) بینش فقط یک متریک ≠

یک کارت تصمیم گیری را به خودی خود اضافه کنید: فرضیه/زمینه → جایگزین → عمل توصیه شده → انتظارات. اثر → خطر/guardrails → مالک/کانال تحویل.
بینش صفر کلیک: متن کوتاه + دکمه های آماده (به طور خودکار اعمال می شود اگر کم خطر).

7) ناهنجاری ها، علیت و آزمایش

تشخیص: z-score/ESD قوی، تجزیه فصلی، نقطه تغییر (CUSUM/BOCPD)، طرح ها (TDigest/HLL) برای جریان های بزرگ.
علیت: اجتناب از «پاسخ سر و صدا» - تایید اثر از طریق بخش های شبه آزمایش/کنترل.
آزمایش های آنلاین: راهزنان/UCB/TS برای انتخاب یک عمل با زمان محدود، معیارهای گارد محافظ (SLA، شکایات، بازده).

8) SLO برای بینش در زمان واقعی

تاخیر p95/p99 پایان به پایان (مصرف → deystviye).
تازه بودن پنجره فروشگاه (حداکثر تاخیر).
کامل بودن در پنجره (درصد ورودی های دیرهنگام).
نرخ عمل/نرخ موفقیت (چند بینش به عمل/اثر تبدیل شده است).
هزینه به بینش (CPU/IO/GPU/$، در هر بینش 1).

یک مثال از ماتریس هدف: ضد گلوله p95≤300 ms، completeness≥99. 5٪، هزینه/1k sobyty≤$Kh.

9) تحویل بینش و اولویت بندی

جایی که: webhooks، پیام اتوبوس «اقدامات «، API داشبورد، push/chatbots، CRM/CDP.
اولویت ها: طلا/نقره/برنز ؛ طلا - استخر ها و کانال های فردی.
مهلت: اگر «مهلت» منقضی شده باشد - تخفیف یا لغو.

10) اقتصاد و تخریب

استراتژی هزینه آگاه: مدل های ساده شده، پنجره های بزرگتر، نمونه برداری اوج.
تخریب برازنده: عقب نشینی در واحدهای خشن/قوانین، عکس های فوری «گرم».
Backpressure & shed-load: تنظیم مجدد تم بهترین تلاش، نگه داشتن طلا.

11) امنیت و حریم خصوصی

RLS/CLS در صفحه نمایش جریان ؛ تقسیم بر اساس مستاجر/منطقه.
نسخه PII در لبه: نشانه گذاری به مرکز.
اسرار و دسترسی: mTLS، نشانه های کوتاه، حسابرسی درخواست/صادرات.
سیاست های صادرات: ممنوعیت PII «خام» در زمان واقعی بدون دلیل.

12) قابلیت مشاهده کانتور در زمان واقعی

با موضوعات/کلید ها، عمق صف، علامت علامت گذاری می شود.
p95/p99 در هر لایه، میزان خطا، تعداد پردازش مجدد.
کیفیت داده آنلاین: تکراری، نرخ صفر، ناهنجاری های توزیع.
ردیابی: end-to-end trace-id از رویداد به عمل.

13) ضد گلوله

"همه چیز زمان واقعی است. "هزینه های غیر ضروری و سر و صدا ؛ برخی از وظایف بهتر از دسته ای/نزدیک به زمان واقعی است.
انتخاب و طرح های «رایگان» بدون قرارداد.
پنجره ها بدون علامت. یا پنجره های ابدی یا زیان های دیرهنگام.

هیچ ایده آل. عمل دوگانه/اسپم

بدون گارد محافظ واکنش به «مثبت کاذب» باعث ایجاد آسیب می شود.
OLTP زیر آتش تجزیه و تحلیل. بدون انزوا - تخریب معاملات تولید.

14) نقشه راه پیاده سازی

1. کشف: رویدادها، راه حل های هدف، مهلت ها، خطرات ؛ طبقه بندی طلا/نقره/برنز.
2. قراردادهای داده: طرحواره (Avro/Protobuf)، کلیدها، سیاستهای idempotence.
3. جریان MVP: یک راه حل مهم، پنجره/WM، قوانین ساده + ویژگی های آنلاین.
4. موارد نمایش و خدمت: مواد افزایشی، API کم تاخیر.

5. قابلیت مشاهده: پانل های تاخیر/تاخیر/SLO، هشدار ؛ دنبال کردن

6. مدل ها و آزمایش: نمره آنلاین، راهزنان/guardrails.

7. سخت شدن: فشار پشتی، تخریب، مشخصات هزینه ؛ حسابرسی و حریم خصوصی

8. مقیاس: چند منطقه، تجزیه و تحلیل لبه، اولویت بندی موضوع.

15) چک لیست قبل از انتشار

• SLO (تاخیر، طراوت، کامل بودن) و مالک تعریف شده است.
• مدارها نسخه می شوند ؛ «انتخاب» مجاز نیست ؛ کلیدهای idempotency وجود دارد.
• ویندوز و علامت های پیکربندی شده، سیاست داده/محاسبه دیرهنگام.
• دقیقا یک بار در معنی: upsert/ادغام غرق، انتشار اتمی.
• ویژگی های آنلاین با آفلاین سازگار است ؛ کش با TTL و نسخه های.
• Guardrails برای عمل ؛ کانال ها اولویت بندی می شوند. مهلت ها مشخص شده است.
• نظارت بر تاخیر/تاخیر/SLO ؛ ردیابی امکان پذیر است ؛ هشدار نسبت به تهدید SLO
• سیاست های حفظ حریم خصوصی (RLS/CLS/PII) و حسابرسی صادرات فعال هستند.
• Runbooks تخریب و حوادث آماده هستند (rollback/slow-path).

16) مینی قالب (شبه YAML/SQL)

سیاست پنجره/لاستومر

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

سینک بی نظیر (تصویر بند انگشتی SQL)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

قوانین گارد محافظ برای عمل

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

هشدارهای SLO

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) خط پایین

بینش های زمان واقعی فقط «نمودارهای سریع» نیستند، بلکه یک مدار مهندسی از راه حل ها هستند: قراردادهای رویداد دقیق، منطق زمانی صحیح (پنجره ها/علامت ها)، انتشارات بی نظیر، ویژگی های آنلاین سازگار، تحویل اولویت بندی اقدامات و مشاهده پذیری با SLO ها. هنگامی که این مدار کار می کند، سازمان به موقع، ایمن و قابل پیش بینی پاسخ می دهد و جریان رویدادها را به ارزش قابل اندازه گیری کسب و کار تبدیل می کند.