گزارش های تجمیع و تلفیق

جمع آوری و گزارش تلفیقی

Aggregation تبدیل سوابق دقیق به شاخص های خلاصه برای بخش ها و دوره های مورد نیاز است. تحکیم - ترکیب مصالح از منابع مختلف/اشخاص حقوقی/محصولات را به یک گزارش واحد با تنظیمات (ارز، سیاست حسابداری، حذف). در زیر یک رویکرد سیستماتیک وجود دارد: از طراحی ویترین مغازه ها تا گزارشگری عملیاتی.

1) وظایف و انواع تحکیم

عامل/محصول: DAU/WAU/MAU، تبدیل، درآمد توسط کشور/کانال/پلت فرم.
مالی (سابق و نظارتی): P&L، جریان نقدی، ترازنامه، GGR/خالص درآمد بازی، مالیات، گزارش اشخاص حقوقی.
ریسک/انطباق: ضد تقلب، شاخص های RG، SLA/در دسترس بودن، رانش داده/مدل.
استراتژیک: KPI تلفیقی با برگزاری، نمونه کارها نام تجاری، مناطق.

2) معماری لایه تجمع

لایه های داده: 'raw' → 'staging' → 'core' (حقایق/ابعاد) → 'marts' (aggregates for reports).
لایه معنایی: تعاریف متریک، تقویم، ارزها، قوانین رول آپ.
دانه و زمان دانه: «رویداد»، «کاربر _ روز»، «txn»، «نام تجاری _ کشور _ روز» → rollups بیشتر تا هفته/ماه/سه ماهه.
هویت: کلید های پایدار (user/brand/legal_entity)، جداول نقشه برداری).

3) رول آپ ها و سلسله مراتب

سلسله مراتب ابعاد عبارتند از بازی → دسته → ارائه دهنده، کانال → کمپین → خلاق، شهر → منطقه → کشور → خوشه.
قوانین جمع بندی: افزودنی (جمع)، نیمه افزودنی (عکس فوری - میانگین/آخرین برای دوره)، غیر افزودنی (ضرایب/درصد).
Deduplication - کاربران منحصر به فرد و رویدادهای دانه ؛ اجتناب از شمارش دوگانه در هنگام ادغام منابع.

4) چند ارزی، زمان بندی، تقویم

زمان: فروشگاه 'event _ time _ utc' و برش های محلی ؛ تقویم تعطیلات/روزهای کاری

ارز: مقدار «خام» + «base _ ccy» را در نرخ ارز در تاریخ معامله (یا میانگین نرخ ارز دوره با احتیاط) نگه دارید.
عادی سازی: نمایش واحدهای صریح/ارز/تاریخ نرخ ارز.

sql
WITH fx AS (
SELECT date, from_ccy, to_ccy, rate
FROM dim_fx_rates
WHERE to_ccy = 'EUR'
),
tx AS (
SELECT t. txn_id, t. amount, t. ccy, t. brand, t. country, t. event_date
FROM fact_tx
)
SELECT brand, country, DATE_TRUNC('month', event_date) AS month,
SUM(amount COALESCE(fx. rate, 1)) AS revenue_eur
FROM tx
LEFT JOIN fx
ON fx. date = tx. event_date AND fx. from_ccy = tx. ccy
GROUP BY 1,2,3;

5) ادغام توسط منبع/شخص حقوقی

نقشه برداری نمودار حساب ها: CoA تک (نمودار حساب ها) + نقشه برداری از برنامه های محلی.
سیاست های حسابداری: IFRS/GAAP/قوانین مالیاتی → لایه تحول (به عنوان مثال، درآمد ناخالص/خالص، به رسمیت شناختن پاداش/کمیسیون).
حذف گردش مالی درون گروهی: حذف معاملات بین اشخاص حقوقی هلدینگ.
روش های تثبیت: کامل، متناسب، روش حقوق صاحبان سهام.

سهامداران اقلیت: تخصیص منافع کنترل نشده (NCI)

sql
WITH interco AS (
SELECT a. txn_id
FROM fact_tx a
JOIN dim_counterparty b ON a. counterparty_id = b. id
WHERE a. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
AND b. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
)
SELECT
FROM agg_pl_month
WHERE txn_id NOT IN (SELECT txn_id FROM interco);

6) کیفیت و آشتی

آشتی منبع: مقدار توسط منبع = مقدار در ویترین (با نرخ ارز/تحمل زمان).
ثابت: 'DAU ≤ MAU'، مجموع بیش از روز = کل ماهانه (برای معیارهای افزودنی).
کنترل کامل: سهم NULL، سهم تکراری، تاخیر در طراوت.
گزارش اختلاف - لیست اختلافات و مراحل اصلاح.

7) عملکرد و SLO

SLO تازگی: واحدهای عملیاتی - تاخیر ≤ 15 دقیقه ؛ روز - تا 06:00 به وقت محلی ؛ ماهانه - تا T + 1/T + 3.
بهینه سازی: قبل از جمع آوری، محاسبه مجدد افزایشی، پارتیشن بندی (با تاریخ/نام تجاری/کشور)، حافظه پنهان برای برش های محبوب.
محدودیت های UI: ≤ 12 دسته در هر برنامه ؛ صفحه بندی جداول ؛ تنبل بار.

8) مدیریت تعاریف و نسخه ها

فرهنگ لغت از معیارهای: کد، تعریف، فرمول، منبع، واحد، صاحبان، guardrails.
نسخه بندی: 'METRIC _ vN' ؛ هر ویرایش → نسخه جدید + backfill و changelog.
لایه معنایی: یک منبع حقیقت برای BI/آزمایش/حمل و نقل.

9) امنیت و دسترسی

RLS/CLS: دسترسی به نقش (کشور/نام تجاری/شخص حقوقی)، PII پوشش.
حسابرسی: چه کسی کدام گزارش را آپلود کرد ؛ کنترل صادرات (مهلت، نشانه).
Minimization: aggregates مسئله به جای داده های PII خام.

10) جمع آوری و تجسم نمونه

محصول: قیف (گام میله)، گروه (نقشه حرارتی)، احتباس D7/D30، ARPU/ARPPU، GGR/خالص.
امور مالی: P&L توسط سلسله مراتب، آبشار (پل) عوامل، ساختار درآمد های منطقه، G&A دینامیک.
عملیات/ML: SLA، تاخیر p95/p99، PR- AUC/Recall@FPR≤x٪، PSI-heatmap رانش.

11) گذرنامه گزارش تلفیقی (قالب)

کد/نسخه: «CONSOL _ PNL _ v3»

هدف: مدیریت P&L توسط گروه برند، چند ارزی → ارز پایه EUR

پوشش: تمام اشخاص حقوقی گروه ؛ روش - تثبیت کامل; NCI - برجسته شده است

منبع/لایه: 'mart _ fin _ pnl _ v3' (بر اساس 'fact _ tx _ v2'، 'dim _ legal'، 'dim _ fx _ rates')

دانه دانه: ماه (rollup از روز)

حذف: 'intercompany = درست' - گردش مالی درون گروهی حذف شده است

SLO: قفل T + 1 06:00 ؛ دسترسی ≥ 99 9%

آشتی - گزارش حسابداری 'BK _ PNL _ T + 1'، واریانس ≤ 0. 3%

صاحبان: تجزیه و تحلیل مالی، پلت فرم داده

Guardrails: جدول FX قدیمی تر از 24 ساعت نیست ؛ تعداد معاملات ≥ 99 5%

12) اشتباهات مکرر و چگونگی اجتناب از آنها

تغییرات فرمول آرام: همیشه از طریق نسخه ها و تغییرات.
شمارش دوگانه: چشمه/joynes تکراری - کلید های کنترل و دانه.
مخلوط کردن مناطق زمانی: تقویم متمرکز و ذخیره سازی UTC.
درصد نادرست: صورت کسر/مخرج جمع، نه «میانگین میانگین».
نرخ «خام»: صریح تاریخ FX/منبع، سیاست گرد سازگار است.
بدون حذف: turnovers بین شرکت منحرف گزارش.
تازگی مات: همیشه نشان می دهد «به روز شده N دقیقه پیش».

13) Pseudo-SQL: مجموع ماهانه افزایشی

sql
-- Recalculate only affected days/months
WITH changed_days AS (
SELECT DISTINCT DATE(event_time_utc) AS d
FROM fact_tx_delta -- new/modified per day
),
daily AS (
SELECT
DATE(event_time_utc) AS d,
brand, country,
SUM(net_revenue_eur) AS net_eur
FROM fact_tx
WHERE DATE(event_time_utc) IN (SELECT d FROM changed_days)
GROUP BY 1,2,3
)
MERGE INTO agg_month_brand_country m
USING (
SELECT DATE_TRUNC('month', d) AS month, brand, country, SUM(net_eur) AS net_eur
FROM daily
GROUP BY 1,2,3
) s
ON (m. month = s. month AND m. brand = s. brand AND m. country = s. country)
WHEN MATCHED THEN UPDATE SET m. net_eur = s. net_eur, m. updated_at = NOW()
WHEN NOT MATCHED THEN INSERT (month, brand, country, net_eur, updated_at)
VALUES (s. month, s. brand, s. country, s. net_eur, NOW());

14) فرآیندها و عملیات

1. طراحی: اهداف/مخاطبان، معیارها، سلسله مراتب، ارز/زمان بندی.
2. داده ها: قراردادهای منبع، طرح ها، آزمون های کیفیت.
3. ساختمان پنجره: اشیاء معنایی، قوانین رولینگ، حذف.
4. تطبیق: گزارش واریانس خودکار، بلیط تصحیح.
5. انتشار: نسخه، مستندات، آموزش کاربر.
6. نظارت: طراوت، کامل بودن، تکراری، زمان پاسخ، حوادث.
7. تجدید نظر: تأیید سه ماهه تعاریف، نقشه ها، سیاست های FX.

15) چک لیست بیانیه قبل از تثبیت

• تعاریف متریک و سلسله مراتب مستند در لایه معنایی
• تبدیل ارز و زمان بندی تنظیم می شود ؛ واحدها و تاریخ دوره را نشان می دهد
• انقلاب درون گروهی/حذف NCI اجرا (در صورت وجود)
• ثابت و آشتی با منابع مرجع در تحمل انجام
• محاسبه مجدد و پارتیشن بندی افزایشی فعال شده است
• SLO های تازه/در دسترس بودن تنظیم شده اند ؛ وضعیت به روز رسانی نمایش داده می شود
• RLS/CLS و PII ماسک پیکربندی می شوند ؛ ممیزی صادرات فعال شد
• نسخه/changelog و صاحبان مشخص شده ؛ حوادث runbook

مجموع

تجمیع و تثبیت فقط «GROUP BY» نیست، بلکه یک سیستم جامع است: تعاریف سازگار، رول آپ های صحیح، چند ارز و تقویم، حذف و آشتی، مشاهده پذیری و SLO. با پیروی از معماری توصیف شده، داده های ناهمگن را به غرفه های قابل اعتماد برای مدیریت محصول، مالی و ریسک تبدیل می کنید.