Коркарди сигнал дар вақти воқеӣ

1) Мақсад ва арзиши тиҷорат

• Антифрауд/AML: конҳои сохторӣ, ҳамлаҳои "муллинг", суръат.
• Бозии масъул (RG): аз ҳад зиёд, шакли хавфи рафтор.
• Хавф/Мувофиқат: санҷиши сабти онлайн/транзаксия.
• Фардикунонӣ: триггерҳои бонус/миссия, маъракаҳои реактивӣ.
• Амалиётҳо/SRE: таназзули SLA, ғавғои хатогиҳо, аномалияҳои ченакҳо.

Ҳадафҳои асосӣ: таъхири кам (саҳ95 0). 5-5 с), пуррагии баланд (≥ 99. 5%), муқовимати шадид.

2) Таксономияи сигнал

Муомилот: 'пардохт. амонат/бозпас гирифтан/ситонидан '.
Бозӣ: 'бозӣ. Бет/пардохт ',' бозӣ. session_start/stop'.
Аутентификатсия: 'auth. login/нокомӣ', таъғири дастгоҳ/geo.
Рафтор: суръати гарав, афзоиши экспоненсиалии миқдор, фаъолияти шабона.
Ҳуҷраҳои амалиётӣ: 'api. ниҳонӣ ',' хато. сатҳи ', "тӯфони" оташдон дубора оғоз меёбад.

Ҳар як намуд дорои схема, соҳиби домен, танқид, SLO ва қоидаҳои деринаи маълумот мебошад.

3) Меъмории истинод дар вақти воқеӣ

1. Воридшавӣ ва автобус: HTTP/GRPC → Edge → Kafka/Redpanda (тақсимот аз ҷониби 'user _ id/иҷорагир').
2. Ҷараён-движок: Flink/Spark Structured Streaming/Чӯб; изҳороти давлатӣ, CEP.
3. Ғанисозии онлайн: Ҷадвалҳои ҷустуҷӯ (Redis/Scylla/Click-House Read-Only), кэши провайдер (таҳримҳо/CUS).

• Мавзӯъҳои ҳушдор/кью (идоракунии парванда, SOAR).
• Fichestor онлайн (моделҳои баҳодиҳӣ).
• Намоишҳои ҷараёни тиллоӣ (панелҳои амалиётӣ).
• Нигаҳдории "гарм" барои таҳлили зуд (Click
• 5. Бойгонӣ/криминалистӣ: пӯшиши тағйирнопазир дар Лейк (Паркет, вақти сафар).
• 6. Мушоҳида: пайгирӣ/ченакҳо/гузоришҳо + насл.

4) Тирезаҳо, нишонаҳои обӣ ва "маълумоти дер"

• Tumbling: тирезаҳои собит (масалан, 1 дақ) - агрегатҳои оддӣ.
• Гузаронидан: такрори (масалан, қадам 30 с, тиреза 2 дақ) - ченакҳои "ҳамвор".
• Сессия: холигии ғайрифаъол - таҳлили рафтор.
• Нишонаҳои обӣ: сарҳади "дониши вақт" барои вақти ҳодиса; иҷозат lateness (масалан 2 дақ).
• Стратегияҳои таъхиршуда: масъалаи иловагии ислоҳот, postscript "дер = ҳақиқат", DLQ.

5) Изҳороти давлатӣ ва такрорӣ

Калид: аз ҷониби 'user _ id', 'пардохт. account_id', 'дастгоҳ _ ид'.
Ҳолат: иловаҳо, ҳисобкунакҳои лағжанда, филтрҳои балоғат барои idempotency.
Dedup: нигоҳдории '(event_id, seen_at)' дар ҳолати/кв; TTL = 24-72 соат.
Маҳз як маротиба: танӯраи транзаксионӣ 'ва (2-фаза), амалиётҳои номатлуб.

6) Ғанисозии ҷараён

Хурсандии ҷустуҷӯ: маҳдудиятҳои RG, сатҳи хавфи корбар, сатҳи KYC, geo/ASN.
Зангҳои асинхронӣ: феҳристи таҳримҳо/провайдерҳои зидди қаллобӣ (async I/O, танаффус ва ақибмонӣ).
Танзими асъор/мӯҳлат: муттаҳидшавӣ ба UTC ва асъори асосӣ; ислоҳи 'fx _ source'.

7) CEP: муайян кардани намунаҳои мураккаб

• Сохтор: амонат ≥ 3 барои 10 дақиқа, ҳар як <ҳадди ҳисоботӣ, ҳамагӣ> X.
• Гузариш ба дастгоҳ: 3 дастгоҳи гуногун дар 15 дақиқа + тағирёбии IP/ASN.
• RG-хастагӣ: гарави умумӣ барои 1 соат> маҳдудият + талафот ≥ Y.
• Тӯфони тӯфон: p95 дермонӣ> 2 пойгоҳи ×, 5xx> 3% дар равзанаи 5 дақиқа.

CEP дар китобхонаҳои қолаби Flink CEP/SQL ба осонӣ ифода карда мешавад.

8) Хусусиятҳо ва моделҳои онлайн

Қубурҳои хусусият: ҳисобкунакҳо, ченакҳои суръат, "вақт аз ҳодисаи охирин", мубодилаи ҳамён.
Мувофиқати онлайн/офлайнӣ: як пойгоҳи рамзгузорӣ; санҷишҳои гузариш.
Баҳодиҳӣ: моделҳои сабук (logit/GBDT) синхронӣ; вазнин - асинхронӣ тавассути навбат.
Назорати дрифт: PSI/KS ва огоҳиҳо; "оғози торик" барои моделҳои нав.

9) Кафолат ва тартиби таҳвил

Ҳадди аққал як маротиба дар шина + idempotency ҳангоми қабул.
Тақсимоти калидӣ фармоиши маҳаллиро таъмин мекунад.
Retits & backpressure: бозёфтҳои экспоненсиалӣ бо ҷиттер, назорати худкори фишор.

10) SLO/SLI (тавсия дода мешавад)

11) Риояи контури вақти воқеӣ

Нишондиҳандаҳои қубур: интиқол, ақибмонӣ дар як қисм, вақти банд, давомнокии гузаргоҳ.
Сифати сигнал: пуррагӣ, суръати такрорӣ, таносуби дер.
Панели панелҳо: харитаи гармии ақибмонда аз рӯи мавзӯъ, ҳалқаи ҳушёр (собитие → правило → калидҳо), харитаи калидҳои гарм.
Пайгирӣ: ҳушдордиҳӣ бо рӯйдодҳои оғозёбанда (trace_id).

12) Амният ва махфият

Кам кардани PII: токенизатсияи идентификаторҳо, ниқоб кардани майдонҳои ҳассос.
Истиқоматгоҳ: конвейерҳои минтақавӣ (EEA/UK/BR).
Аудит: сабтҳои тағирнопазири қарор (кӣ, чӣ, чаро), Нигоҳдории ҳуқуқӣ барои парвандаҳо.
Дастрасӣ: RBAC ба қоидаҳо/моделҳо, назорати дукарата дар kickouts.

13) Арзиш ва нишондиҳандаҳо

Калидҳои гарм: азнавтақсимкунӣ (намаки калидӣ), калидҳои таркибӣ.
Шарт: TTL оқилона, материализатсияи афзоянда, танзими Rocks-DB.
Windows: андозаи оптималӣ ва дарозӣ иҷозат дода шудааст; қабатҳои пеш аз агрегатсия барои ҷараёнҳои "ғалоғула".
Интихоб: дар ҷараёни ғайримуқаррарӣ ва дар сатҳи метрӣ (на дар муомилот/мувофиқат).

14) Намунаҳо (соддакардашуда)

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) Равандҳо ва RACI

R (Масъул): Платформаи ҷараён (маълумот, мақом, релизҳо), таҳлили домейн (қоидаҳо/хусусиятҳо).
A (Ҳисоботдиҳанда): Роҳбари маълумот/хатар/мувофиқат аз рӯи доменҳои он.
C (Машварат): DPO/Ҳуқуқӣ (PII/нигоҳдорӣ), SRE (SLO/Ҳодисаҳо), Меъморӣ.
Ман (Маълумот): Маҳсулот/Дастгирӣ/Маркетинг.

16) Харитаи роҳсозӣ

1. 2-3 сигналҳои интиқодӣ (мас. 'пардохт. амонат ',' аут. воридшавӣ ',' бозӣ. бет ').

2. Кафка + Флинк, тарҳи асосӣ ва нишонаи обӣ; як қоидаи CEP барои зидди қаллобӣ ва дигаре барои RG.

3. Клик/Pinot барои дӯконҳои амалиётӣ; панели панели қафо/пуррагӣ.

4. Канали ҳодиса (webhook/Jira) ва триажи дастӣ.

• Fichestor онлайн, баҳодиҳии моделҳои сабук; ҷустуҷӯи асинхронӣ (таҳримҳо/CCL).
• Идоракунии қоидаҳо ҳамчун рамз, ролҳои канарӣ, қоидаҳои A/B.
• Минтақасозӣ ва назорати PII, Нигоҳдории ҳуқуқӣ барои парвандаҳо.

• Каталоги сигнал, тавлиди худкори ҳуҷҷатгузорӣ, такрорӣ ва чӣ гуна симулятор.
• Калибрченкунии худкори ҳудудҳо (Байесян/квантӣ), ченакҳои дақиқ/хотиррасон онлайн.
• DR-машқҳо, моделҳои бисёрминтақавии фаъол-фаъол, пуркунандаи барқ ​ ​ бо фармон.

17) Рӯйхати сифат пеш аз фурӯш

• Нақшаҳо ва шартномаҳо, тасдиқи воридшавӣ.
• Windows танзим карда шудааст, нишонаҳо, lateness + DLQ иҷозат дода шудааст.
• Dedup ва idempotent sink 'i.
• Нишондиҳандаҳои қафо/гузариш/андозаи давлатӣ, огоҳиҳои SLO.
• Амният: RBAC оид ба қоидаҳо/моделҳо, ниқоби PII.
• Ҳуҷҷатгузорӣ: соҳиб, SLO, намунаҳо, харитаҳои вобастагӣ.
• Тартиби бозгашт ва тугмаи фриз.

18) Хатогиҳои зуд-зуд ва чӣ гуна аз онҳо канорагирӣ кардан

Вақти ҳодисаро нодида гиред: нишонаҳои обро истифода баред, вагарна ченакҳо "лағжанд".
Нест кардани такрорӣ - нусхабардорӣ огоҳиҳои бардурӯғро дар бораи idempotency ба вуҷуд меорад.
Калидҳои гарм: таҳрифи тарафҳо → намак/барқароркунӣ.
Windows аз ҳад душвор аст: аз даст додани дер → имкон дод, ки дурӣ ва партобҳои ислоҳӣ.
Омезиши PII: Токенизатсияи ҷудогона ва ҷараёни таҳлилӣ.
Не симулятор: Қоидаҳои санҷиш дар "такрорӣ" пеш аз паҳн кардан.

19) Луғат (мухтасар)

CEP - Коркарди чорабиниҳои мураккаб, муайянкунии намуна.
Нишонаи обӣ - ҳадди вақт барои омодагии тиреза.
Lateness иҷозат дода шудааст - қабули рӯйдодҳои дер.
Оператори давлатӣ оператори доимӣ мебошад.
Дӯкони хусусият - мағозаи хусусиятҳои онлайн/офлайнӣ барои ML.

20) Сатри поён

Коркарди вақти воқеӣ як лӯлаи идорашаванда бо схемаҳои равшан, тирезаҳо ва нишонаҳои обӣ, мантиқи давлатӣ, ғанисозии онлайн ва SLO-ҳои қатъӣ мебошад. Бо риояи ин таҷрибаҳо, шумо детекторҳои зуд ва боэътимоди хатар, триггерҳои устувори фардикунонӣ ва панелҳои амалиётиро мегиред, ки миқёси кам ва мувофиқро доранд.