Gerçek zamanlı analiz

1) Amaç ve iş değeri

• AML/Antifraud: mevduat yapılandırma, hız saldırıları, risk işlemleri.
• Sorumlu Oyun (RG): Sınırları aşmak, risk kalıpları, kendini dışlama.
• SRE/İşlemler: SLA bozulmasının erken tespiti, hata patlamaları, küme aşırı ısınması.
• Ürün ve pazarlama: kişiselleştirme tetikleyicileri, görevler/görevler, gerçek zamanlı segmentasyon.
• Operasyonel raporlama: Neredeyse gerçek zamanlı GGR/NGR, salonların/sağlayıcıların panoları.

Hedefler: p95 uçtan uca 0. 5-5 с, tamlık ≥ 99. %5, kullanılabilirlik ≥ 99. 9%.

2) Referans mimarisi

1. Ingest/Edge -'/events/batch '(HTTP/2/3), gRPC, OTel Collector; Şemaların doğrulanması, kopyaların önlenmesi, coğrafi yönlendirme.
2. Etkinlik otobüsü - Kafka/Redpanda ('user _ id/tenant/market'ile katılım, DLQ, elde tutma 3-7 gün).
3. Akış işleme - Flink/Spark Yapısal Akış/Işın: durumsal operatörler, CEP, filigranlar, izin verilen gecikme, deadup.
4. Çevrimiçi zenginleştirme - Redis/Scylla/ClickHouse aramaları (RG limitleri, KYC, BIN - MCC, IP - Geo/ASN), zaman aşımları ve geri dönüşlerle eşzamansız aramalar.
5. Hizmet - ClickHouse/Pinot/Druid (operasyonel vitrinler 1-5 dakika), Feature Store (çevrimiçi işaretler), webhooks/biletleme/SOAR.
6. Lakehouse - Uzun vadeli konsolidasyon, tekrar oynatma ve uzlaşma için Bronz/Gümüş/Altın.
7. Gözlemlenebilirlik - boru hattı metrikleri, izleme (OTel), günlükler, soy ve maliyet panoları.

3) Sinyaller ve taksonomi

Ödemeler: 'Ödeme. Para yatırma/çekme/ters ibraz '.
Oyun: 'oyun. Bahis/ödeme ', oturumlar.
Kimlik doğrulama ve davranış: 'auth. login/failure', device-switch, velocity.
Çalışma: gecikme, hata oranı, ocak yeniden başlatılır, doygunluk.
Uyum: yaptırım taraması, RG bayrakları, DSAR etkinlikleri.

Her türün bir etki alanı sahibi, bir şeması, bir tazelik SLO'su ve bir geç veri politikası vardır.

4) Windows, filigranlar ve geç veriler

Pencereler: yuvarlanma (sabit), atlama, oturum.
Filigran: "Zamana göre bilgi" sınırı (genellikle 2-5 dk).
Gecikmeli olaylar: ek ayarlamalar, bayrak 'geç = doğru', güçlü bir gecikme ile DLQ.

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream.payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

5) CEP ve durumsal toplamalar

Anahtar: 'User _ id', 'device _ id', 'ödeme. account_id'.
Durum: kayan sayaçlar/toplamlar, veri tekilleştirme için bloom filtreler, TTL.
CEP modelleri: yapılandırma (T penceresi başına <eşik, ≥N kez), cihaz anahtarı, RG yorgunluğu.

python if cnt_deposits(last=10MIN) >= 3 and sum_deposits(last=10MIN) > THRESH and all(d.amount < REPORTING_THRESHOLD):
emit_alert("AML_STRUCTURING", user_id, snapshot())

6) Tam olarak-Bir kez, sipariş ve idempotence

Veri yolu ile en az bir kez teslim + dedup üzerinde 'event _ id' işleme (TTL 24-72 h).
Sipariş: Anahtarlara göre bölümleme (yerel sipariş garanti edilir).
Lavabo: işlemsel taahhütler (2 fazlı) veya idempotent uppert/merge.
Giden Kutusu/Gelen Kutusu: OLTP'den etki alanı olaylarının işlemsel olarak yayınlanması.

7) Çevrimiçi zenginleştirme ve Özellik Mağazası

Arama: RG limitleri, KYC durumları, BIN, MCC, IP, Geo/ASN, piyasalar/vergiler, olay anında FX.
Asenkron çağrılar: yaptırımlar/zaman aşımları ile APP API; Hata - 'bilinmeyen' + retray/cache.
Özellik Mağazası: çevrimiçi/çevrimdışı görüşme; bir dönüşüm kod tabanı.

8) Gerçek zamanlı vitrinler ve sörf

ClickHouse/Pinot/Druid: saniye/dakika kümeleri, materyalize görünümler, 1-5 dakikalık bir gecikme için SLA.
API/GraphQL: panolar/widget'lar için düşük gecikme süresi.
Uyarılar: Zenginleştirilmiş içeriğe sahip webhooks/Jira/SOAR (trace_id, son olaylar).

sql
CREATE MATERIALIZED VIEW mv_ggr_1m
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(event_time)
ORDER BY (toStartOfMinute(event_time), market, provider_id) AS
SELECT toStartOfMinute(event_time) AS ts_min,
market,
provider_id,
sumState(stake_base) AS s_stake,
sumState(payout_base) AS s_payout
FROM stream.game_events
GROUP BY ts_min, market, provider_id;

9) Metrikler, SLI/SLO ve gösterge panoları

• P95 ingest - uyarı ≤ 2 s (kritik kurallar), ≤ 5 s (diğer).
• T ≥ 99 penceresinin tamlığı. 5%; Şema geçerliliği ≥ 99. 9%; İz kapsamı ≥ %98.
• Akış hizmeti kullanılabilirliği ≥ 99. 9%; Geç oran ≤ %1.

• Partilere/konulara göre gecikme; Operatörlerin yoğun zamanı; Eyalet büyüklüğü.
• Huni "sobytiye ^ pravilo ^ keys", etki alanına göre hassasiyet/hatırlama.
• Isı kartı geç/tamlık; sıcak anahtar haritası.

10) DQ Akışı (Kalite)

Ingest-validations: schema/enums/size-limits, anti-duplicates.
Akışta: tamlık/dup-rate/geç-oran, pencere doğruluğu (çift sayma olmadan).
Reaksiyon politikaları: Kritik DLQ + çağrı cihazı; majör/minör - etiketleme + rapor.

yaml stream: payments rules:
- name: schema_valid type: schema severity: critical
- name: currency_whitelist type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: dedup_window type: unique keys: [event_id]
window_minutes: 1440

11) Gizlilik, güvenlik ve ikamet

PII minimizasyonu: ID aliasing, hassas alan maskeleme, PAN/IBAN tokenization.
Veri ikametgahı: bölgesel boru hatları (EEA/UK/BR), bireysel KMS anahtarları.
DSAR/RTBF: aşağı akış vitrinlerinde seçici düzenleme; Davalar/raporlar için Yasal Bekletme.
Denetim: Erişim/kural değişikliklerinin değiştirilemez günlükleri, sürüm günlüğü.

12) Ekonomi ve verimlilik

Sharding/anahtarlar: "sıcak" tuşlardan (tuzlama/kompozit), tarafların dengesinden kaçının.
Durum: TTL, kompakt anlık görüntüler, RocksDB/state backend ayarı.
Ön toplamalar: gürültülü temalar için erken aşamalarda azaltın.
Örnekleme: Yalnızca kritik olmayan metrikler için (işlemler/uyumluluk için değil).
Chargeback: Tema/iş bütçeleri, tekrar kotaları ve ağır istekleri.

13) Süreçler ve RACI

R: Streaming Platform (info/releases), Domain Analytics (rules/features), MLOps (scoring/Feature Store).
C: Etki alanına göre Veri/Risk/Uyumluluk Başkanı.
C: DPO/Yasal (PII/tutma), SRE (SLO/olaylar), Mimari.
I: Ürün, Destek, Pazarlama, Finans.

14) Uygulama Yol Haritası

1. Kafka/Redpanda + 2 kritik konu (örneğin, 'ödemeler', 'auth').

2. Filigran, veri tekilleştirme ve 1 CEP kuralı (AML veya RG) ile flink işi.

3. ClickHouse/Pinot (1-5 dakika), gecikme/eksiksizlik panolarında operasyonel vitrin.

4. Olay kanalı (webhooks/Jira), temel SLO'lar ve uyarılar.

• Çevrimiçi zenginleştirme (Redis/Scylla), Özellik Mağazası, asenkron aramalar.
• Kural yönetimi kod olarak, kanarya/A-B, akış DQ.
• Konveyörlerin bölgeselleştirilmesi, DSAR/RTBF prosedürleri, davalar için Yasal Bekletme.

• Multi-region active-active, replay & what-if simulator, otomatik eşik kalibrasyonu.
• Gold-stream storefronts (GGR/RG/AML), neredeyse gerçek zamanlı raporlama.
• Maliyet panoları, ters ibraz, DR-egzersizleri.

15) Örnekler (fragmanlar)

sql
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY event_time
MEASURES
FIRST(A.device_id) AS d1,
LAST(B.device_id) AS d2,
COUNT()      AS cnt
PATTERN (A B+)
DEFINE
B AS B.device_id <> PREV(device_id) AND B.ip_asn <> PREV(ip_asn)
) MR

java if (seenStore.putIfAbsent(eventId, now()) == null) {
context.forward(event);
}

16) Satış öncesi kontrol listesi

• Sicildeki şemalar/sözleşmeler, back-compat testleri yeşildir.
• Filigran/izin verilen gecikme, dedup ve DLQ dahil.
• Yapılandırılmış SLO ve uyarılar (lag/late/dup/state boyutu).
• Önbellekler ve zaman aşımları ile zenginleştirme; Fallback "bilinmiyor".
• Kurallar/modeller üzerinde RBAC/çift kontrol; değişiklik günlüğü etkin.
• Kuralların/vitrinlerin belgelenmesi; runbook've replay/rollback.

17) Sık yapılan hatalar ve bunlardan nasıl kaçınılacağı

Olay zamanını göz ardı edin: filigranlar olmadan, metrikler "yüzer".
Veri tekilleştirme yok: yanlış uyarılar, çift sayım.
Kısayol tuşları: partilerin bozulması - tuzlama/yeniden şekillendirme.
Sıcak yolda eşzamanlı ön uç API'leri: yalnızca async + önbellek.
Yönetilmeyen maliyet: ön toplamalar, TTL durumları, kotalar, maliyet izleme.
Simülatör yok: yeniden oynatma olmadan kullanıma sunulma - regresyon.

18) Alt satır

Gerçek zamanlı analitik "hızlı BI'değil, sözleşmeler, durumsal mantık, CEP, filigranlar, çevrimiçi zenginleştirme ve sıkı SLO'lar ile yönetilen bir devredir. Bu uygulamaları takip ederek, platform saniyeler içinde doğru sinyalleri ve kararları alır, uyumluluğu, ürün senaryolarını ve operasyonel esnekliği kontrollü bir maliyetle korur.