实时信号处理

1）目的和业务价值

• Antifrod/AML：存款结构，"混淆"，velocity攻击。
• 响应游戏（RG）：超越限制,风险行为模式。
• 风险/合规性：在线注册/交易中的制裁筛选。
• 个性化：奖金/任务触发器，反应性活动。
• 操作/SRE：SLA降解，错误狂潮，度量异常。

关键目标：低延迟（p95 0.5-5 （c）、高饱和（≥99。5％），抗激增能力。

2）信号分类

事务性： '付款。deposit/withdraw/chargeback`.

游戏： "游戏。bet/payout`, `game.session_start/stop`.

身份验证：'auth。登录/failure",设备更改/地理位置。
行为：投注速度，总和指数增长，夜间活动。
操作：'api.latency`, `error.rate',"storm"重新启动pods。

每种类型都具有方案，所有者（域所有者），关键性，SLO和"后期数据"规则。

3）实时环路参考体系结构

1.Ingest和总线：HTTP/gRPC → Edge → Kafka/Redpanda（通过"user_id/tenant"分组）。
2.Streaming-движок: Flink/Spark Structured Streaming/Beam;stateful运算符，CEP。
3.在线丰富：lookup表（Redis/Scylla/ClickHouse Read-Only），kesh提供商（制裁/KUS）。

• Alert topics/kew（案例管理，SOAR）。
• Fichestor在线（模型得分）。
• 黄金流店面（操作行车）。
• 用于快速分析的"温暖"存储（ClickHouse/Pinot/Druid）。
• 5.Archive/Forenzika： Lake的不可改变折叠（Parquet, time-travel）。
• 6.可观察性：跟踪/度量/logi+lineage。

4）窗口，水上市场和"长期数据"

• Tumbling：固定窗口（例如,1分钟）-简单单元。
• Hopping：重叠（例如,步骤30秒,窗口2分钟）-"平滑"度量标准。
• 会话：非活动性不连续性-行为分析。
• Watermarks：事件时间的"时间知识"边界；我们允许迟到（allowed lateness,例如,2分钟）。
• 迟到的策略：调整前发布，后缀"late=true"，DLQ。

5） Stateful运算符和重复数据消除

关键： 通过"user_id"、"payment"。account_id`, `device_id`.

状态：summators，滑动计数器，bloom过滤器idempotency。
Dedup：在状态/kv中存储"（event_id，seen_at）"；TTL=24-72小时。
Exactly-Once：事务性sink'和（2阶段），等效的upsert操作。

6）河流富集

Lookup-joins： RG限制、用户风险争夺、KYC 级别、地理/ASN。
异步呼叫：制裁注册表/反欺诈提供商（async I/O，taymout和fallback）。
货币正常化/时差：统一为UTC和基础货币；记录"fx_source"。

7） CEP： 复杂模式检测

• Structuring： ≥3 10分钟的存款,每个<报告阈值,总计>X。
• Device-switch： 15分钟3个不同的设备+IP/ASN更改。
• RG-fatigue： 1小时总投注>上限+损失≥ Y.
• Ops-storm： p95 latency> 2 ×基本,5xx> 3%在5分钟窗口中。

在Flink CEP/SQL或事件模板库中表达CEP很方便。

8）在线fici和模型

功能管道：计数器，velocity度量，"上次事件的时间"，小袋共享。
在线/离线一致性：一个转换代码库；可复制性测试。
得分：轻型模型（logit/GBDT）同步；重型-异步通过队列。
漂移控制：PSI/KS和Alerta；新型号的"黑暗发射"。

9）交货保证和秩序

总线上的at-least-once+接收处的幂等。
按键参与可以提供局部顺序。
Retries&backpressure：指数式的jitter,自动压力控制。

10） SLO/SLI（建议）

11）环路的实时可观察性

Pipline度量标准：throughput, lag per partition, busy time, checkpoint duration。
信号质量：完整性，双重性，后期性。
Dashbords：按斧头绘制的滞后热图，Alert漏斗图（sobytiye→pravilo→keys），热键图。
跟踪：将警报与原始事件关联（trace_id)。

12）安全和隐私

PII最小化：标识符化，敏感字段掩蔽。
地理位置：区域输送机（EEA/UK/BR）。
审计：不变的决策逻辑（谁，什么，为什么），法律保留案例。
访问：RBAC到规则/模型，双重启动控制。

13）成本和性能

热键：重新分配（key salting）,复合键。
状态：合理的TTL，增量实现，RocksDB调谐。
窗口：最佳尺寸和相连的后端；aggregation前层用于"嘈杂"流。
采样：在非关键流和度量级别（非事务/合规）。

14）示例（简化）

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15）流程和RACI

R（响应）：流式平台（infra，状态，版本），域分析（规则/fici）。
A（Accountable）：其域上的数据/风险/合规性负责人。
C（咨询）：DPO/法律（PII/Retention），SRE（SLO/事件），体系结构。
I （Informed）：产品/支持/营销。

16）实施路线图

1.2-3个关键信号（例如'payment。deposit`, `auth.login`, `game.bet`).

2.Kafka+Flink，基本的祖父和水上市场；一种用于防冻的CEP规则，一种用于RG。

3.ClickHouse/Pinot用于操作展示；lag/completeness dashbords。

4.事件频道（webhook/Jira）和手动三重奏。

• 在线fichestor，轻量级模型；异步外观（制裁/CUS）。
• 将规则作为代码进行管理，加那利群岛解雇，A/B规则。
• 区域化和PII控制，用于案件的法律保留。

• 信号目录，文档自动发生，"replay&what-if"模拟器。
• 阈值自动校准（Bayesian/quantile），在线精密/回收度量。
• DR演习，多区域主动活动，按命令排列模型。

17）售前质量支票清单

• 计划和合同，验证为ingest。
• 已设置窗口、水厂、同名的lateness+DLQ。
• Dedup和等效的sink'i。
• lag/throughput/state size度量标准,SLO alerts。
• 安全性：RBAC到规则/模型，PII掩盖。
• 文档：所有者,SLO,示例,依赖图。
• 滚回过程和带状按钮。

18）频繁的错误以及如何避免错误

忽略事件时间：使用水厂,否则,"滑动"度量标准。
没有重复数据消除：副本会产生错误的异常值→键入idempotency。
热键：倾斜批次→ salting/resharding。
太僵硬的窗户：丢失了迟来的→锁定的lateness+校正发射。
PII混合：分开令牌化和分析流。
没有模拟器：在推出之前,在"raple"上测试规则。

19）词汇表（简短）

CEP-复合事件处理，模式检测。
Watermark是窗口准备时间阈值。
Allowed Lateness-承认迟到的事件。
Stateful Operator是具有持久性状态的运算符。
Feature Store是ML的在线/离线特征存储库。

20）结果

实时信号处理是一种可控制的输送机，具有清晰的电路，窗户和水上市场，静态逻辑，在线丰富和严格的SLO。按照这些做法，您将获得快速而可靠的风险检测器，可持续的个性化触发器和可操作的减速板，这些减速板可以经济高效地扩展。