實時信號處理

1）目的和業務價值

• Antifrod/AML：存款結構，「混淆」，velocity攻擊。
• 響應遊戲（RG）：超越限制,風險行為模式。
• 風險/合規性：在線註冊/交易中的制裁篩選。
• 個性化：獎金/任務觸發器，反應性活動。
• 操作/SRE：SLA降解，錯誤狂潮，度量異常。

關鍵目標：低延遲（p95 0.5-5 （c）、高飽和（≥99。5％），抗激增能力。

2）信號分類

事務性： '付款。deposit/withdraw/chargeback`.

遊戲： "遊戲。bet/payout`, `game.session_start/stop`.

身份驗證：'auth。登錄/failure",設備更改/地理位置。
行為：投註速度，總和指數增長，夜間活動。
操作：'api.latency`, `error.rate',「storm」重新啟動pods。

每種類型都具有方案，所有者（域所有者），關鍵性，SLO和「後期數據」規則。

3）實時環路參考體系結構

1.Ingest和總線：HTTP/gRPC → Edge → Kafka/Redpanda（通過「user_id/tenant」分組）。
2.Streaming-движок: Flink/Spark Structured Streaming/Beam;stateful運算符，CEP。
3.在線豐富：lookup表（Redis/Scylla/ClickHouse Read-Only），kesh提供商（制裁/KUS）。

• Alert topics/kew（案例管理，SOAR）。
• Fichestor在線（模型得分）。
• 黃金流店面（操作行車）。
• 用於快速分析的「溫暖」存儲（ClickHouse/Pinot/Druid）。
• 5.Archive/Forenzika： Lake的不可改變折疊（Parquet, time-travel）。
• 6.可觀察性：跟蹤/度量/logi+lineage。

4）窗口，水上市場和「長期數據」

• Tumbling：固定窗口（例如,1分鐘）-簡單單元。
• Hopping：重疊（例如,步驟30秒,窗口2分鐘）-「平滑」度量標準。
• 會話：非活動性不連續性-行為分析。
• Watermarks：事件時間的「時間知識」邊界；我們允許遲到（allowed lateness,例如,2分鐘）。
• 遲到的策略：調整前發布，後綴「late=true」，DLQ。

5） Stateful運算符和重復數據消除

關鍵： 通過「user_id」、「payment」。account_id`, `device_id`.

狀態：summators，滑動計數器，bloom過濾器idempotency。
Dedup：在狀態/kv中存儲「（event_id，seen_at）」；TTL=24-72小時。
Exactly-Once：事務性sink'和（2階段），等效的upsert操作。

6）河流富集

Lookup-joins： RG限制、用戶風險爭奪、KYC 級別、地理/ASN。
異步呼叫：制裁註冊表/反欺詐提供商（async I/O，taymout和fallback）。
貨幣正常化/時差：統一為UTC和基礎貨幣；記錄「fx_source」。

7） CEP： 復雜模式檢測

• Structuring： ≥3 10分鐘的存款,每個<報告閾值,總計>X。
• Device-switch： 15分鐘3個不同的設備+IP/ASN更改。
• RG-fatigue： 1小時總投註>上限+損失≥ Y.
• Ops-storm： p95 latency> 2 ×基本,5xx> 3%在5分鐘窗口中。

在Flink CEP/SQL或事件模板庫中表達CEP很方便。

8）在線fici和模型

功能管道：計數器，velocity度量，「上次事件的時間」，小袋共享。
在線/離線一致性：一個轉換代碼庫；可復制性測試。
得分：輕型模型（logit/GBDT）同步；重型-異步通過隊列。
漂移控制：PSI/KS和Alerta；新型號的「黑暗發射」。

9）交貨保證和秩序

總線上的at-least-once+接收處的冪等。
按鍵參與可以提供局部順序。
Retries&backpressure：指數式的jitter,自動壓力控制。

10） SLO/SLI（建議）

11）環路的實時可觀察性

Pipline度量標準：throughput, lag per partition, busy time, checkpoint duration。
信號質量：完整性，雙重性，後期性。
Dashbords：按斧頭繪制的滯後熱圖，Alert漏鬥圖（sobytiye→pravilo→keys），熱鍵圖。
跟蹤：將警報與原始事件關聯（trace_id)。

12）安全和隱私

PII最小化：標識符化，敏感字段掩蔽。
地理位置：區域輸送機（EEA/UK/BR）。
審計：不變的決策邏輯（誰，什麼，為什麼），法律保留案例。
訪問：RBAC到規則/模型，雙重啟動控制。

13）成本和性能

熱鍵：重新分配（key salting）,復合鍵。
狀態：合理的TTL，增量實現，RocksDB調諧。
窗口：最佳尺寸和相連的後端；aggregation前層用於「嘈雜」流。
采樣：在非關鍵流和度量級別（非事務/合規）。

14）示例（簡化）

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15）流程和RACI

R（響應）：流式平臺（infra，狀態，版本），域分析（規則/fici）。
A（Accountable）：其域上的數據/風險/合規性負責人。
C（咨詢）：DPO/法律（PII/Retention），SRE（SLO/事件），體系結構。
I （Informed）：產品/支持/營銷。

16）實施路線圖

1.2-3個關鍵信號（例如'payment。deposit`, `auth.login`, `game.bet`).

2.Kafka+Flink，基本的祖父和水上市場；一種用於防凍的CEP規則，一種用於RG。

3.ClickHouse/Pinot用於操作展示；lag/completeness dashbords。

4.事件頻道（webhook/Jira）和手動三重奏。

• 在線fichestor，輕量級模型；異步外觀（制裁/CUS）。
• 將規則作為代碼進行管理，加那利群島解雇，A/B規則。
• 區域化和PII控制，用於案件的法律保留。

• 信號目錄，文檔自動發生，「replay&what-if」模擬器。
• 閾值自動校準（Bayesian/quantile），在線精密/回收度量。
• DR演習，多區域主動活動，按命令排列模型。

17）售前質量支票清單

• 計劃和合同，驗證為ingest。
• 已設置窗口、水廠、同名的lateness+DLQ。
• Dedup和等效的sink'i。
• lag/throughput/state size度量標準,SLO alerts。
• 安全性：RBAC到規則/模型，PII掩蓋。
• 文檔：所有者,SLO,示例,依賴圖。
• 滾回過程和帶狀按鈕。

18）頻繁的錯誤以及如何避免錯誤

忽略事件時間：使用水廠,否則,「滑動」度量標準。
沒有重復數據消除：副本會產生錯誤的異常值→鍵入idempotency。
熱鍵：傾斜批次→ salting/resharding。
太僵硬的窗戶：丟失了遲來的→鎖定的lateness+校正發射。
PII混合：分開令牌化和分析流。
沒有模擬器：在推出之前,在「raple」上測試規則。

19）詞匯表（簡短）

CEP-復合事件處理，模式檢測。
Watermark是窗口準備時間閾值。
Allowed Lateness-承認遲到的事件。
Stateful Operator是具有持久性狀態的運算符。
Feature Store是ML的在線/離線特征存儲庫。

20）結果

實時信號處理是一種可控制的輸送機，具有清晰的電路，窗戶和水上市場，靜態邏輯，在線豐富和嚴格的SLO。按照這些做法，您將獲得快速而可靠的風險檢測器，可持續的個性化觸發器和可操作的減速板，這些減速板可以經濟高效地擴展。