پردازش سیگنال در زمان واقعی

1) هدف و ارزش کسب و کار

یک جریان زمان واقعی برای پاسخ «اینجا و اکنون» لازم است:

Antifraud/AML: ساختار سپرده، «خرد کردن»، حملات سرعت.
بازی مسئولانه (RG): فراتر از مرزها، الگوهای ریسک رفتاری.
ریسک/پذیرش: ثبت نام آنلاین/غربالگری تحریم معامله.
شخصی سازی: پاداش/ماموریت باعث، کمپین های واکنشی.
عملیات/SRE: تخریب SLA، flurries خطاها، ناهنجاری معیارها.

اهداف کلیدی: تأخیر کم (p95 0. 5-5 ثانیه)، تکمیل بالا (≥99. 5٪)، مقاومت در برابر افزایش.

2) طبقه بندی سیگنال

معاملات: "پرداخت. واریز/برداشت/استرداد وجه

بازی: "بازی. شرط/پرداخت '،' بازی. session_start/stop' است.
احراز هویت: «auth. login/failure»، تغییر دستگاه/جغرافیایی.
رفتاری: میزان شرط بندی، رشد نمایی مبلغ، فعالیت شبانه.
اتاق های عمل: 'api. تاخیر '،' خطا. «rate»، یک «طوفان» از آتش دوباره شروع می شود.

هر نوع دارای یک طرح، صاحب دامنه، انتقاد، SLO و قوانین دیر داده است.

3) معماری مرجع حلقه در زمان واقعی

1. Ingest and bus: HTTP/gRPC → Edge → Kafka/Redpanda (پارتیشن بندی توسط 'user _ id/tenant').
2. جریان - движок: Flink/Spark Structured Streaming/Beam ؛ بیانیه های رسمی، CEP.
3. غنی سازی آنلاین: جداول مراجعه (Redis/Scylla/ClickHouse فقط خواندنی)، حافظه پنهان ارائه دهنده (تحریم/CUS).

4. سینکی:

موضوعات هشدار/نشانه (مدیریت مورد، SOAR).
Fichestor آنلاین (مدل به ثمر رساند).
ویترین جریان طلا (داشبورد عملیاتی).
ذخیره سازی «گرم» برای تجزیه و تحلیل سریع (ClickHouse/Pinot/Druid).
5. بایگانی/پزشکی قانونی: تاشو تغییر ناپذیر در دریاچه (پارکت, سفر در زمان).
6. قابلیت مشاهده: ردیابی/متریک/سیاهههای مربوط + اصل و نسب.

4) ویندوز، علامت های سفید و «داده های دیررس»

نمای پنجره:

غلت زدن: پنجره های ثابت (به عنوان مثال،. 1 دقیقه) - دانه های ساده.
پرش: همپوشانی (به عنوان مثال step 30 s, window 2 min) - معیارهای «صاف».
جلسه: شکاف عدم فعالیت - تجزیه و تحلیل رفتاری.
علامت های سفید: مرز «دانش زمان» برای رویداد زمان ؛ اجازه تاخیر (به عنوان مثال 2 دقیقه)
استراتژی های عقب افتاده: شماره اضافی تنظیمات، ضمیمه «late = true»، DLQ.

5) اظهارات stateful و deduplication

کلید: توسط 'user _ id'، 'پرداخت. account_id' «device _ id».
وضعیت: اضافه کننده ها، شمارنده های کشویی، فیلترهای بلوم برای بی نظمی.

Dedup: ذخیره سازی '(event_id، seen_at)' در حالت/kv ؛ TTL = 24-72 ساعت

دقیقا یک بار: سینک معاملات 'و (2 فاز)، عملیات uppert idemotent.

6) غنی سازی جریان

Lookup joys: محدودیتهای RG، نرخ ریسک کاربر، سطح KYC، geo/ASN.
تماس های آسنکرون: ثبت تحریم ها/ارائه دهندگان ضد تقلب (async I/O، زمان بندی و بازپرداخت).
عادی سازی ارز/منطقه زمانی: اتحاد به UTC و ارز پایه ؛ 'fx _ source' را اصلاح کنید.

7) CEP: تشخیص الگوهای پیچیده

مثال هایی از قوانین:

ساختار: ≥3 سپرده برای 10 دقیقه، هر <آستانه گزارش، کل> X.
سوئیچ دستگاه: 3 دستگاه مختلف در 15 دقیقه + تغییر IP/ASN.
RG-خستگی: شرط کل برای 1 ساعت> حد + از دست دادن ≥ Y.
Ops-storm: تاخیر p95> پایه 2 ×، 5xx> 3٪ در پنجره 5 دقیقه.

CEP به راحتی در کتابخانه های قالب Flink CEP/SQL یا رویداد بیان می شود.

8) ویژگی ها و مدل های آنلاین

خطوط لوله ویژگی: شمارنده ها، معیارهای سرعت، «زمان از آخرین رویداد»، اشتراک کیف پول.

سازگاری آنلاین/آفلاین: یک پایگاه کد تحول ؛ تست های گذرا

امتیاز دهی: مدل های نور (logit/GBDT) همزمان ؛ سنگین - ناهمگام از طریق صف.
کنترل رانش: PSI/KS و هشدار ؛ «راه اندازی تاریک» برای مدل های جدید.

9) تضمین تحویل و روش

حداقل یک بار در تایر + idemotency در پذیرش.
پارتیشن بندی کلید یک نظم محلی را فراهم می کند.
Retries & backpressure: retrays نمایی با لرزش، کنترل فشار اتوماتیک.

10) SLO/SLI (توصیه می شود)

شاخص ها	هدف از طراحی
p95 پایان به پایان تاخیر (مصرف → هشدار)	≤ 2S (کرت)، ≤ 5 S (غیر کرت)
کامل بودن در هر پنجره T	≥ 99. 5%
خطاهای مدار/اعتبار سنج	≤ 0. 1 درصد از حوادث
نسبت حوادث با trace_id	≥ 98%
هشدار دقت/فراخوان	≥ 0. 8 / ≥ 0. 7
در دسترس بودن خدمات جریان	≥ 99. 9%

11) قابلیت مشاهده کانتور در زمان واقعی

معیارهای خط لوله: توان، تاخیر در هر پارتیشن، زمان مشغول، مدت زمان بازرسی.
کیفیت سیگنال: کامل بودن، نرخ تکثیر، نسبت تاخیر.
داشبورد: نقشه گرما از عقب بر اساس موضوع، قیف هشدار (sobytiye → pravilo → کلید)، نقشه کلید داغ.
ردیابی: هشدار مرتبط با شروع حوادث (trace_id).

12) امنیت و حریم خصوصی

حداقل سازی PII: نشانه گذاری شناسه ها، پوشاندن زمینه های حساس.
Geo-residency: نوار نقاله های منطقه ای (EEA/UK/BR).
حسابرسی: ثبت تصمیمات غیر قابل تغییر (چه کسی، چه، چرا)، نگهداری حقوقی برای پرونده ها.
دسترسی: RBAC به قوانین/مدل ها، کنترل دوگانه در kickouts.

13) هزینه و عملکرد

کلید های داغ: توزیع مجدد (نمک کلیدی)، کلید های کامپوزیت.
شرایط: TTL معقول، تحقق افزایشی، تنظیم RocksDB.
ویندوز: اندازه مطلوب و تاخیر مجاز ؛ لایه های پیش تجمع برای جریان های «پر سر و صدا».
نمونه برداری: در جریان های غیر بحرانی و در سطح متریک (نه در معاملات/انطباق).

14) نمونه ها (ساده شده)

Flink SQL - سپرده های ساخت یافته (پنجره 10 دقیقه، مرحله 1 دقیقه):

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

شبه کد ضد سرعت توسط پیشنهاد:

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

کافکا استریم event_id:

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) فرآیندها و RACI

R (مسئول): پلت فرم جریان (اطلاعات، وضعیت، انتشار)، تجزیه و تحلیل دامنه (قوانین/ویژگی ها).
A (پاسخگو): رئیس داده/ریسک/انطباق توسط دامنه های آن.
C (مشورت): DPO/حقوقی (PII/احتباس)، SRE (SLO/حوادث)، معماری.
I (مطلع): محصول/پشتیبانی/بازاریابی.

16) نقشه راه پیاده سازی

MVP (2-4 هفته):

1. 2-3 سیگنال های بحرانی (به عنوان مثال،. حق الزحمه. سپرده گذاری، auth. ورود، بازی. (شرط می بندم.)

2. کافکا + فلینک، dedup پایه و علامت گذاری ؛ یک قانون CEP برای ضد تقلب و یکی برای RG.

3. ClickHouse/Pinot برای فروشگاه های عملیاتی ؛ داشبورد تاخیر/کامل بودن.

4. کانال حادثه (webhook/Jira) و تریاژ دستی.

مرحله 2 (4-8 هفته):

fichestor آنلاین، به ثمر رساند مدل های نور ؛ جستجوی ناهمزمان (sanctions/CCL).
مدیریت قانون به عنوان کد، رول قناری، قوانین A/B.
کنترل منطقه ای و PII، برگزاری قانونی برای موارد.

مرحله 3 (8-12 هفته):

کاتالوگ سیگنال، تولید خودکار مستندات، پخش و چه چیزی اگر شبیه ساز.
کالیبراسیون خودکار آستانه (بیزی/چندک)، معیارهای دقت/یادآوری آنلاین.
DR-تمرینات، چند منطقه فعال فعال، مدل chargeback با فرمان.

17) چک لیست کیفیت قبل از فروش

طرح ها و قراردادها، اعتبار سنجی در مصرف.
ویندوز پیکربندی شده، علامت های سفید، تاخیر مجاز + DLQ.
Dedup و غرق idempotent 'i.
تاخیر/توان/معیارهای اندازه دولت، هشدار SLO.
امنیت: RBAC در قوانین/مدل، PII پوشش.
مستندات: مالک، SLO، نمونه ها، نقشه های وابستگی.
رویه های رول بک و دکمه فریز.

18) اشتباهات مکرر و چگونگی اجتناب از آنها

نادیده گرفتن زمان رویداد: از علامت های سفید استفاده کنید، در غیر این صورت معیارها «اسلاید» خواهند شد.
بدون deduplication - تکراری هشدارهای کاذب → نوع idemotency تولید می کند.
کلید های داغ: اعوجاج احزاب → شور/resarding.
ویندوز بیش از حد سخت: از دست دادن اواخر → تاخیر مجاز + انتشار اصلاحی.
ترکیب PII: توکن سازی جداگانه و جریان تحلیلی.
بدون شبیه ساز: قوانین تست در «پخش» قبل از نورد کردن.

19) واژه نامه (کوتاه)

CEP - پردازش رویداد پیچیده، تشخیص الگو.
واترمارک - آستانه زمانی برای آماده سازی پنجره.
Lateness مجاز - پذیرش رویدادهای اواخر.
اپراتور پایدار یک اپراتور پایدار است.
فروشگاه ویژگی - فروشگاه ویژگی های آنلاین/آفلاین برای ML.

20) خط پایین

پردازش سیگنال در زمان واقعی یک خط لوله کنترل شده با مدارهای روشن، پنجره ها و علامت های سفید، منطق دولتی، غنی سازی آنلاین و SLO های دقیق است. با پیروی از این شیوه ها، شما می توانید آشکارسازهای ریسک سریع و قابل اعتماد، محرک های شخصی سازی پایدار و داشبورد عملیاتی را که کم و کم و راحت مقیاس می کنید، دریافت کنید.

پردازش سیگنال در زمان واقعی

با ما در تماس باشید

ارتباط سریع

ویدئو به‌زودی به‌روزرسانی می‌شود

ما در حال حاضر بسیار درگیر پروژه‌ها هستیم