Gerçek zamanlı içgörüler

1) "Gerçek zamanlı içgörü'nedir

Gerçek zamanlı içgörü - bir karar vermek için yeterli hedef gecikme (gecikme) içinde görünen, sürecin/kullanıcının/sistemin mevcut durumu hakkında doğrulanabilir bir ifade (saniye-dakika).
Döngü Formülü: Olay - Zenginleştirme/Toplama - Karar/Öneri - Eylem - Geri Bildirim.

Örnekler: Işlemler için anti-dolandırıcılık (≤500 ms), uyarı SLO hizmeti (≤60 s), sayfada kişisel öneri (≤200 ms), dinamik fiyatlandırma (≤5 s), kampanya izleme (≤1 dk).

2) Avucunuzun içindeki mimari

1. Ingest: olay komisyoncusu (Kafka/Pulsar/NATS/MQTT), şema sözleşmeleri (Avro/Protobuf), idempotency anahtarları.
2. Akış (CEP/Akış): Flink/Spark Yapılandırılmış Akış/ksqlDB; Pencereler, filigranlar, durumsal operatörler.
3. Çevrimiçi özellikler ve durum: Hızlı katılma/arama için Feature Store (çevrimiçi) + önbellek/TSDB (RocksDB/Redis).
4. Çevrimiçi puanlama/kurallar: modeller (ONNX/TF-Lite/XGB), kural motoru, bağlam.
5. İçgörüler: düşük gecikmeli API, webhook'lar, komut veriyolları (action bus), uyarlanabilir gösterge panoları.
6. NTAP/gerçek zamanlı vitrinler: artımlı materyalizasyonlar (ClickHouse/Pinot/Druid/Delta + CDC).
7. Gözlemlenebilirlik ve SLO: gecikme/gecikme/hata, izleme, uyarı metrikleri.
8. Yönetim ve güvenlik: OTA/özellik bayrakları, RLS/CLS, maskeleme, denetim.

3) Zaman modeli: pencereler, filigranlar, geç

Pencereler: yuvarlanma/kayma/oturum; Mağaza vitrinleri için - bir melez (1s> 5s> 60s roll-up).
Filigran: pencerenin "kapalı" olduğu kenarlık; Tazelik ve dolgunluk arasında bir denge.
Geç veriler: kabul politikası 'Δ _ late' (örn. 2 dk), tazminat yeniden hesaplamaları.
Sıra dışı: aggregate by 'event _ time', store 'ingested _ at' for forensics.

4) Tam olarak-bir kez anlam ve idempotency

• global 'event _ id', idempotency tuşları tabloları;
• Uppert/merge-sinks;
• Durum anlık görüntüleri + işlem taahhütleri (2 fazlı/işlem günlüğü);
• Vitrinler yayınlanırken deterministik dönüşümler ve atomik takas.

5) Durum ve zenginleştirme

Durum bilgisi olan operatörler: key-by (kullanıcı/cihaz/satıcı), aggregates, top-K, different.
Çevrimiçi katılma: hızlı arama tabloları (örn. müşteri profili, risk limitleri).
Önbelleğe alma: LRU/TTL, sıcak özellikler, dizin sürümleri.
Çevrimiçi/çevrimdışı tutarlılık: Özellik Mağazasında tek bir özellik.

6) İçgörü ≠ sadece bir metrik

İçeriden bir karar kartı ekleyin: hipotez/bağlam - alternatif - önerilen eylem - beklentiler. Effect - risk/korkuluklar - sahip/teslimat kanalı.
Sıfır tıklama içgörüsü: kısa metin + hazır düğmeler (düşük riskliyse otomatik olarak uygulanır).

7) Anormallikler, nedensellik ve deneyler

Algılama: büyük akışlar için sağlam z-skoru/ESD, mevsimsel-ayrıştırma, değişim noktası (CUSUM/BOCPD), eskizler (TDiggest/HLL).
Nedensellik: "Gürültü tepkisi'nden kaçının - yarı deneyler/kontrol segmentleri aracılığıyla etkiyi onaylayın.
Online deneyler: haydutlar/UCB/TS sınırlı zaman, korkuluk metrikleri (SLA, şikayetler, döner) ile bir eylem seçmek için.

8) Gerçek zamanlı bilgiler için SLO

Gecikme süresi p95/p99 uçtan uca (yutun - deystviye).
Vitrinlerin tazeliği (maks. Lag).
Pencere içindeki bütünlük (geç girişlerin yüzdesi).
Eylem Oranı/Başarı Oranı (kaç içgörünün eylem/etkiye dönüştüğü).
Cost-to-Insight (CPU/IO/GPU/$, per 1 insight).

Hedef matrise bir örnek: antifrode p95≤300 ms, completeness≥99. %5, maliyet/1k sobyty≤$Kh.

9) Öngörülerin sunulması ve önceliklendirme

Nerede: webhooks, mesaj yolu "eylemleri "., gösterge tablosu API, push/chatbots, CRM/CDP.
Öncelikler: Altın/Gümüş/Bronz; Altın - bireysel havuzlar ve kanallar.
Son tarihler: 'Son tarih' süresi dolduysa - düşürme veya iptal.

10) Ekonomi ve bozulma

Maliyete duyarlı strateji: basitleştirilmiş modeller, daha büyük pencereler, en yüksek örnekleme.
Zarif bozulma: kaba birimler/kurallar, "sıcak" anlık görüntüler üzerinde geri dönüş.
Backpressure & shed-load: En iyi çaba temalarını sıfırlayın, Gold'u koruyun.

11) Güvenlik ve gizlilik

Akış ekranlarında RLS/CLS; kiracı/bölgeye göre bölünür.
Kenarda PII sürümü: merkeze tokenization.
Sırlar ve erişim: mTLS, kısa belirteçler, istek/ihracat denetimi.
İhracat politikaları: "Ham" gerçek zamanlı PII'yi sebepsiz yere dışarıda yasaklamak.

12) Gerçek zamanlı konturun gözlemlenebilirliği

Konulara/tuşlara göre gecikmeler, kuyruk derinliği, filigran eğriltme.
Her katmanda p95/p99, hata oranı, yeniden işleme sayısı.
Çevrimiçi veri kalitesi: kopyalar, sıfır oranı, dağıtım anormallikleri.
İzleme: olaydan eyleme uçtan uca izleme kimliği.

13) Antipatterns

"Her şey gerçek zamanlı. "Gereksiz masraf ve gürültü; Bazı görevler batch/near-real-time'dan daha iyidir.
Sözleşmesiz SEÇ ve "ücretsiz" şemalar.
Filigransız pencereler. Ya sonsuz pencereler ya da geç kayıplar.
Idempotency yok. Çift eylem/spam.
Korkuluklar olmadan. "Yanlış pozitif'e tepki vermek hasar yaratır.
OLTP analitik ateş altında. İzolasyon yok - üretim işlemlerinin bozulması.

14) Uygulama Yol Haritası

1. Keşif: olaylar, hedef çözümler, son tarihler, riskler; Altın/Gümüş/Bronz olarak sınıflandırın.
2. Veri sözleşmeleri: şemalar (Avro/Protobuf), anahtarlar, idempotence politikaları.
3. MVP akışı: bir kritik çözüm, pencere/WM, basit kurallar + çevrimiçi özellikler.
4. Vitrinler ve servis: artımlı materyalizasyon, düşük gecikmeli API.
5. Gözlemlenebilirlik: gecikme panelleri/gecikme/SLO, uyarılar; İzleme.
6. Modeller ve deneyler: çevrimiçi puanlama, haydutlar/korkuluklar.
7. Sertleştirme: geri basınç, bozulma, maliyet profili; Denetim ve gizlilik.
8. Ölçek: çok bölgeli, kenar analizi, iş parçacığı önceliklendirmesi.

15) Yayın öncesi kontrol listesi

• SLO (gecikme, tazelik, bütünlük) ve sahibi tanımlanmıştır.
• Devreler çevrilir; 'SELECT' seçeneğine izin verilmez; idempotency anahtarları vardır.
• Windows ve filigranlar yapılandırılmış, geç veri/yeniden hesaplama politikası.
• Tam olarak-bir kez anlamı: upsert/merge-sinks, atomik yayınlama.
• Çevrimiçi özellikler çevrimdışı ile tutarlıdır; TTL ve versiyonları ile önbellek.
• Eylem için korkuluklar; kanallara öncelik veriliyor; son tarihler belirtilmiştir.
• Lag izleme/gecikme/SLO; İzleme etkinleştirildi; SLO tehdidine karşı uyarır.
• Gizlilik politikaları (RLS/CLS/PII) ve ihracat denetimi etkinleştirilmiştir.
• Bozulma ve olayların çalışma kitapları hazırdır (geri alma/yavaş yol).

16) Mini şablonlar (sözde YAML/SQL)

Pencere/Latecomer Politikası

yaml windowing:
type: sliding size: 60s slide: 5s watermark:
lateness: 120s late_data:
accept_until: 90s recompute: true

Idempotent lavabo (SQL küçük resmi)

sql merge into rt_fact as t using incoming as s on t. event_id = s. event_id when not matched then insert (...)
when matched and t. hash <> s. hash then update set...

eylem için korkuluk kuralları

yaml action_policy:
name: promo_offer_rt constraints:
- metric: churn_risk_score; op: ">="; value: 0. 7
- metric: complaint_rate_24h; op: "<"; value: 0. 02 cooldown_s: 3600 owner: "growth-team"

SLO Uyarıları

yaml alerts:
- name: e2e_latency_p95 threshold_ms: 1500 for: 5m severity: high
- name: freshness_lag threshold_s: 60 severity: high

17) Alt satır

Gerçek zamanlı içgörüler sadece "hızlı grafikler'değil, çözümlerin bir mühendislik devresidir: katı olay sözleşmeleri, doğru zamansal mantık (pencereler/filigranlar), idempotent yayınlar, tutarlı çevrimiçi özellikler, eylemlerin öncelikli olarak sunulması ve SLO'larla gözlemlenebilirlik. Bu devre çalıştığında, organizasyon olayların akışını ölçülebilir iş değerine dönüştürerek zamanında, güvenli ve öngörülebilir bir şekilde yanıt verir.