جریان در مقابل تجزیه و تحلیل دسته ای

1) خلاصه مختصر

جریان - پردازش مداوم رویدادها در ثانیه: ضد تقلب/AML، محرک های RG، هشدارهای SLA، پانل های عملیاتی.
دسته ای - محاسبه مجدد دوره ای با تکرارپذیری کامل: گزارش نظارتی (GGR/NGR)، اسناد مالی، مجموعه داده های ML.

نشانه ها: جریان p95 e2e 0. 5-5 ثانیه، دسته D + 1 تا 06:00 (قفل.) .

2) ماتریس انتخاب (TL ؛ دکتر)

قانون 80/20: هر چیزی که به واکنش نیاز ندارد <5 دقیقه - در دسته ؛ بقیه در جریان است، با اعتبار دسته شب.

3) معماری

3. 1 لامبدا

جریان برای آنلاین + دسته ای برای تثبیت. به علاوه: انعطاف پذیری. منفی: دو منطق.

3. 2 کاپا

همه چیز مثل نهر است. Batch = «پخش» از طریق ورود به سیستم. به علاوه: یک کد واحد. منفی: پیچیدگی تکرار/هزینه.

3. 3 دریاچه ترکیبی (توصیه می شود)

جریان → آنلاین OLAP Marts (دقیقه) و برنز/نقره ؛ دسته ای دوباره مونتاژ طلا (D + 1) و منتشر گزارش.

4) اطلاعات و زمان

جریان آب

ویندوز: غلت زدن/رقص/جلسه.
علامت های سفید: 2-5 دقیقه ؛ داده های دیر مشخص شده و کم رنگ می شوند.
حالت: CEP، dedup، TTL.

دسته ای

افزایشها/CDC: 'updated _ at', log replication.
SCD I/II/III: تاریخچه ویژگی.
عکس های فوری: لایه های روز/ماه برای «as-of».

5) الگوهای برنامه در iGaming

AML/Antifraud: جریان (سرعت/ساختار) + آشتی دسته ای و موارد.
بازی مسئول: کنترل جریان محدودیت/خود حذفی ؛ گزارش دسته ای ثبت.
عملیات/SRE: جریان SLA هشدار ؛ پس تجزیه و تحلیل دسته ای از حوادث و روند.
محصول/بازاریابی: شخصی سازی جریان/ماموریت ؛ گروه های دسته ای/LTV.
امور مالی/گزارش ها: دسته ای (طلا D + 1، بسته های WORM)، جریان - پانل های عملیاتی.

6) DQ، تکرارپذیری، پخش

جریان DQ: اعتبار سنجی طرح, dedup '(event_id, منبع)', کامل از پنجره, نسبت اواخر, dup-rate; DLQ بحرانی

DQ دسته ای: منحصر به فرد/FK/محدوده/زمانی، آشتی با OLTP/ارائه دهندگان ؛ بحرانی → شکست کار + گزارش.

• جریان: موضوعات ماکت توسط محدوده + تحول قطعی.
• دسته ای: زمان سفر/نسخه های منطقی ('logic _ version') + عکس های فوری طلا.

7) حریم خصوصی و اقامت

جریان: نام مستعار، پوشش آنلاین، خطوط لوله منطقه ای (EEA/UK/BR)، زمان بندی برای جستجوی PII خارجی.
دسته: جداسازی نقشه برداری PII، RLS/CLS، DSAR/RTBF، Legal Hold، بایگانی WORM.

8) هزینه مهندسی

جریان: اجتناب از «داغ» کلید (نمک), محدود async lookups, TTL ایالات, preggregation.
دسته: پارتیشن بندی/خوشه بندی، فشرده سازی فایل های کوچک، تحقق مصالح پایدار، پنجره های سهمیه/راه اندازی.

9) مثال ها

9. 1 جریان - Flink SQL (سرعت سپرده 10 دقیقه)

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream. payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

9. 2 جریان - CEP (کد شبه AML)

python if count_deposits(10MIN) >= 3 and sum_deposits(10MIN) > THRESH \
and all(d. amount < REPORTING_LIMIT for d in window):
emit_alert("AML_STRUCTURING", user_id, snapshot())

9. 3 دسته - MERGE (افزایش نقره)

sql
MERGE INTO silver. payments s
USING stage. delta_payments d
ON s. transaction_id = d. transaction_id
WHEN MATCHED THEN UPDATE SET
WHEN NOT MATCHED THEN INSERT;

9. 4 دسته - طلا GGR (D + 1)

sql
CREATE OR REPLACE VIEW gold. ggr_daily AS
SELECT
DATE(b. event_time) event_date,
b. market, g. provider_id,
SUM(b. stake_base) stakes_eur,
SUM(p. amount_base) payouts_eur,
SUM(b. stake_base) - SUM(p. amount_base) ggr_eur
FROM silver. fact_bets b
LEFT JOIN silver. fact_payouts p
ON p. user_pseudo_id = b. user_pseudo_id
AND p. game_id = b. game_id
AND DATE(p. event_time) = DATE(b. event_time)
JOIN dim. games g ON g. game_id = b. game_id
GROUP BY 1,2,3;

10) معیارها و SLO

جریان (نشانه ها)

p95 → هشدار ≤ 2-5 c کامل окна ≥ 99. 5%

خطا ≤ 0. 1%

نسبت تاخیر ≤ 1٪

دسترسی ≥ 99 9%

دسته (نشانه ها)

با طلا. روزانه تا ساعت 6 آماده است.

کامل ≥ 99 5%

اعتبار ≥ 99 9%

حادثه MTTR DQ ≤ 24-48 ساعت

11) تست و انتشار

قراردادها/طرح ها: آزمون های مبتنی بر مصرف کننده ؛ پشت CI compat.
جریان: قوانین قناری، راه اندازی تاریک، شبیه ساز پخش.
دسته: خشک اجرا بر روی نمونه, مقایسه معیارها, آشتی.

12) ضد الگوهای

منطق تکراری: محاسبات جریان و دسته ای مختلف بدون هماهنگی فرمول.
API های خارجی همزمان در مسیر جریان داغ بدون کش/زمان.
بارگذاری کامل «فقط در مورد» به جای افزایش.
بدون علامت/سیاست های دیر.
PII در لایه های تحلیلی ؛ بدون CLS/RLS.
طلا نشان می دهد که «جهش» retroactively.

13) ترکیبی توصیه شده (playbook)

1. جریان حلقه: مصرف → اتوبوس → Flink/Beam (علامت های سفید، dedup، CEP) →

OLAP (ClickHouse/Pinot) برای پانل های 1-5 دقیقه + برنز/نقره ای (ضمیمه).
2. حلقه دسته ای: افزایش/CDC → عادی سازی نقره/SCD → نمایش/گزارش روزانه طلا (WORM).
3. تطبیق: یک لایه معنایی واحد از معیارها ؛ آشتی Stream↔Batch شبانه ؛ اختلافات> آستانه → بلیط.

14) RACI

R (مسئول): جریان بستر های نرم افزاری (جریان اطلاعات), مهندسی داده ها (مدل های دسته ای), تجزیه و تحلیل ترافیک دامنه (معیارهای/قوانین), MLOps (ویژگی/ویژگی های فروشگاه).
A (پاسخگو): رئیس داده/CDO.
C (مشورت): انطباق/حقوقی/DPO، امور مالی (FX/GGR)، خطر (RG/AML)، SRE (SLO/стоимость).
I (مطلع): BI/محصول/بازاریابی/عملیات.

15) نقشه راه

1. Kafka/Redpanda + 2 موضوعات مهم («پرداخت»، «auth»).

2. کار فلینک: علامت سفید + dedup + 1 قانون CEP (AML یا RG).

3. OLAP ویترین 1-5 دقیقه + داشبورد تاخیر/اواخر/dup.

4. نقره خانه دریاچه (ACID)، اولین طلا. ggr_daily (D + 1 تا 06:00)

• افزایش/CDC توسط دامنه، SCD II، لایه معیارهای معنایی.
• جریان DQ و آشتی Stream↔Batch شبانه.
• منطقه بندی (EEA/UK/BR)، DSAR/RTBF، نگهداری قانونی.

• شبیه ساز Replay، انتشار canary/A-B از قوانین/معیارها.
• داشبورد هزینه و سهمیه ؛ ذخیره سازی لایه ای ؛ آموزش های دکتر
• نسل خودکار نمایشگاه/مستندات متریک و اصل و نسب.

16) چک لیست پیاده سازی

• طرح/قرارداد در ثبت ؛ تست های back-compat سبز هستند.
• جریان: علامت های سفید/مجاز بودن، дедуп، DLQ ؛ پانل های OLAP در تولید.
• دسته ای: افزایش/CDC، SCD II، طلا D + 1 با صادرات WORM.
• تنها لایه معنایی معیارها ؛ آشتی Stream↔Batch شبانه
• تازگی/کامل بودن/اعتبار تابلوهای DQ ؛ هشدار تاخیر/تاخیر/dup.
• RBAC/ABAC، رمزگذاری، اقامت ؛ DSAR/RTBF/حقوقی نگه دارید.
• هزینه تحت کنترل (هزینه/GB، هزینه/پرس و جو، اندازه دولت، تکرار سهمیه اختصاص داده شده).

17) خط پایین

Stream و Batch رقیب نیستند، بلکه دو چرخ دنده از همان درایو هستند. جریان می دهد واکنش "اینجا و اکنون", دسته ای - حقیقت قابل اثبات "در صبح. رویکرد ترکیبی Lakehouse، یک لایه واحد از معیارها و رشته DQ/lineage به شما امکان می دهد خطوط تحلیلی سریع، قابل تکرار و سازگار را ایجاد کنید که در SLA و هزینه بهینه هستند.