Ագրեգացիան և համախմբված հաշվետվությունները

Ագրեգացիան և համախմբված հաշվետվությունները

Ագրեգացիան մանրամասն գրառումների վերափոխումն է, որոնք համապատասխանում են ճիշտ կտրվածքներին և ժամանակահատվածներին։ Համախմբումը տարբեր աղբյուրներից/իրավաբանական դեմքերից/ապրանքներից ագրեգատների միավորումն է մեկ զեկույցի մեջ (արտարժույթ, հաշվարկման քաղաքականությունը, էլեմինացիան)։ Ներքևում համակարգային մոտեցում է 'վիտրինի դիզայնից մինչև հաշվետվությունների շահագործումը։

1) Առաջադրանքներ և տեսակներ

Վիրահատական/ապրանքային ՝ DAU/WAU/MAU, փոխադարձություններ, եկամուտներ երկրներով/108/պլատֆորմներով։

Ֆինանսական (upr. և կարգավորիչ): P&L, Cash Flow, Balts Sheet, GGR/Net Gaming Revenue, հարկեր, իրավաբանական հաշվետվություններ։

Ռիսկի/համադրման 'հակաֆրոդ, RG-լուծիչներ, SLA/հասանելիություն, տվյալների/մոդելների դրեյֆ։

Ռազմավարական 'համախմբված KPI հոլդինգի, բրենդերի պորտֆելի, տարածաշրջանների։

2) ագրեգատների շերտի ճարտարապետությունը

Տվյալների շերտերը ՝ "rance 'staging 'ment" (փաստեր/չափումներ) www.mar.ru "(հաշվարկման միավորներ)։

Սեմանտիկ շերտը 'մետրիկի, օրացույցի, արժույթի, ռոլապ կանոնների սահմանումներ։

Հացահատիկ և Time-grain: «event», «user _ day», «txn», «brand _ country _ day» -ը հաջորդ ռոլապները մինչև շաբաթ/ամիս/քառորդ։

Ինքնությունը 'կայուն բանալիներ (user/brand/legal _ entity), թեմերի աղյուսակները (mapping)։

3) Ռոլլապները և հիերարխիան

Հիերարխիա 2019: <<Խաղը No. Prodider>>, «Channel No. Kreavil>,» Քաղաքը Ռուսաստանի Տարածաշրջանը>>։

Ամփոփման կանոնները 'ադիդիտիվ (գումար), կիսադիդիտիվ (prodapshot - միջին/վերջին ժամանակահատվածի համար), բարդ (գործակիցներ/տոկոսներ)։

Դեդուպլիկացիա 'յուրահատուկ օգտագործողներ և հացահատիկի իրադարձություններ։ խուսափեք կրկնակի հաշվելուց աղբյուրների միաձուլման ժամանակ։

4) Լոկոմոտիվալյուտան, թայմզոնները, օրացույցը, օրացույցը

Ժամանակը 'պահպանեք «event _ time _ utc» և տեղական կտրվածքներ։ արձակուրդների օրացույցը/ստրուկ օր։

Արժույթի 'պահեք + «bert _ enty» գումարը գործողության ամսաթվի փոխարժեքով (կամ միջին փոխարժեքը վերապահումով)։

Նորմալացում 'ցույց տվեք հստակ միավորներ/արտարժույթ/ամսաթիվը։

Կեղծ-SQL (կոնվերսիա և ռոլապ)

sql
WITH fx AS (
SELECT date, from_ccy, to_ccy, rate
FROM dim_fx_rates
WHERE to_ccy = 'EUR'
),
tx AS (
SELECT t. txn_id, t. amount, t. ccy, t. brand, t. country, t. event_date
FROM fact_tx
)
SELECT brand, country, DATE_TRUNC('month', event_date) AS month,
SUM(amount COALESCE(fx. rate, 1)) AS revenue_eur
FROM tx
LEFT JOIN fx
ON fx. date = tx. event_date AND fx. from_ccy = tx. ccy
GROUP BY 1,2,3;

5) Համախմբում ըստ աղբյուրների/իրավաբանական անձանց

Հաշիվների պլանների Mapping 'մեկ CoA (Chart of Accounts) + Mapping տեղական ծրագրերից։

Հաշվարկման քաղաքականությունները ՝ IFRS/GAAP/հարկային կանոնները բացատրում են տրանսֆորմացիայի շերտը (օրինակ, բրուտտոյի եկամուտը/ոչ, բոնուսների ճանաչումը/105)։

Ներգանգային հեղափոխությունների էլիմինացիաները 'հոլդինգի իրավաբանական անձանց միջև գործարքների բացառումը։

Կոդավորման մեթոդները 'ամբողջական, ընդհանուր (proportionate), համագործակցում են մասնիկների մասնակցության վրա (equity method)։

Մինորիտարիա 'չկառավարվող տարածքների մասնաբաժնի բաշխումը (NCI)։

Կեղծ-SQL (ներգաղթի էլիմինացիա)

sql
WITH interco AS (
SELECT a. txn_id
FROM fact_tx a
JOIN dim_counterparty b ON a. counterparty_id = b. id
WHERE a. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
AND b. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
)
SELECT
FROM agg_pl_month
WHERE txn_id NOT IN (SELECT txn_id FROM interco);

6) Որակը և ծալքերը (reconciliation)

Աղբյուրների իջեցումը 'աղբյուրի գումարը = գումարը վիտրինում (ժամացույցի/ժամանակի հետ)։

Invariants: «DAU www.MAU», օրվա գումարը = ամսական արդյունք (ադիդիտիվ մետրի համար)։

Լիարժեքության վերահսկումը 'NFC-ի մասնաբաժինը, կրկնօրինակների մասնաբաժինը, թարմ հրաժարվելը։

Տարաձայնությունների մասին զեկույցը 'անհամապատասխանությունների ցուցակը և վերացման քայլերը։

7) Արտադրողականությունը և SLO-ն

SLO թարմություն ՝ ռուսական ագրեգատները '15 րոպե։ ցերեկային 'մինչև 06: 00 ռուբլիներ; ամսական 'մինչև T + 1/T + 3։

Օպտիմիզացիան 'առաջին ագրեգացիան, ռացիոնալ վերահաշվարկները, կուսակցությունը (ամսաթվով/բրենդով/երկրով), քեշը հանրաճանաչ կտրվածքների համար։

UI-ի սահմանափակումները 'գծագրի վրա 12 կատեգորիա; աղյուսակների պագինացիա; lazy-load.

8) Որոշումների և տարբերակների կառավարումը և տարբերակները

Բառարանը ՝ կոդը, սահմանումը, բանաձևը, աղբյուրը, միավորները, սեփականատերերը, guardrails։

Տարբերակումը '«METRIC _ vN»; ցանկացած աջ է + backfill և changelog տարբերակը։

Սեմանտիկ շերտը 'մեկ ճշմարտության աղբյուր BI/փորձարկումների/բեռնման համար։

9) Անվտանգություն և հասանելիություն

RSA/CLS 'հասանելիությունը դերերով (երկիր/բրենդ/յուրլիցո), PII դիմակավորում։

Աուդիտ ՝ Ո՞ վ և ի՞ նչ զեկույց է ծախսել։ արտահանման վերահսկողությունը (ժամկետները, հոսանքները)։

Նվազեցում 'ագրեգատներ տալ, ոչ թե հում PII տվյալները։

10) Տիպիկ ագրեգատները և տեսողությունները

Ապրանքը 'ձագեր (step-bars), կոգորտներ (heatmap), D7/D30, ARPU/ARPPU, GGR/Net։

Ֆինանսներ ՝ P&L հիերարխիայի, ջրվեժի (bridge) գործոնների, տարածքների եկամուտների կառուցվածքը, G&A դինամիկան։

Վիրահատություններ/ML: SLA, latency p95/p99, PR-AUC/Recall @ FPR 24x, PSI-heatmap dreaf։

11) Համախմբված զեկույցի անձնագիր (ձևանմուշ)

Կոդը/տարբերակը '«CONSOL _ PNL _ v3»

Նշանակումը 'կառավարման P&L բրենդների խմբով, ինդուկտիվալյուտով PPR-ի ռուսական արժույթը

Ծածկույթ ՝ խմբի բոլոր իրավաբանական անձինք։ մեթոդը ամբողջական համախմբում է; NCI - առանձնանում է

Աղբյուրը/շերտը ՝ «mart _ fin _ pnl _ v3» (հիմնված է «fact _ tx _ v2», «dult _ legal», «dice _ fx _ rates»)

Գրանուլյացիա 'ամիսը (ռոլապը օրից)

Էլիմինացիա ՝ «intercompany = 112» - բացառված են ներերակային հեղափոխությունները

SLO: T + 1 06:00 lok; հասանելիությունը 3699 է։ 9%

Հաշվապահության զեկույցը '«BK _ PNL _ T + 1», թիվ 0։ 3%

Սեփականատերերը ՝ Finance Analytics, Live Platform

Guardrails: FX-2019-ը 24 ժամ մեծ չէ։ coverage գործարքներ 2499։ 5%

12) Հաճախակի սխալներ և ինչպես խուսափել դրանցից

Հանգիստ փոփոխություններ բանաձևերի ՝ միշտ տարբերակների և չանգելոգի միջոցով։

Կրկնակի պարամետրեր ՝ աղբյուրների/ջոինների կրկնապատկումներ, վերահսկեք բանալիները և հացահատիկը։

Ռուսական գոտիների խառնուրդը 'կենտրոնացված օրացույց և UTC պահպանումը։

Սխալ տոկոսներ 'համախմբեք թվանշանը/դրոշը, ոչ թե «միջին միջին»։

«Հում» դասընթացները 'ակնհայտ ամսաթիվը/FX աղբյուրը, թաղամասերի խորհրդատվական քաղաքականությունը։

Էլիմինացիաների բացակայությունը 'միջկառավարական հեղափոխությունները աղավաղում են զեկույցները։

Անթափանց թարմություն 'միշտ ցույց տվեք «նորարարված N րոպե առաջ»։

13) Կեղծ-SQL: Ռուսական իրական ամսական միավորում

sql
-- Recalculate only affected days/months
WITH changed_days AS (
SELECT DISTINCT DATE(event_time_utc) AS d
FROM fact_tx_delta -- new/modified per day
),
daily AS (
SELECT
DATE(event_time_utc) AS d,
brand, country,
SUM(net_revenue_eur) AS net_eur
FROM fact_tx
WHERE DATE(event_time_utc) IN (SELECT d FROM changed_days)
GROUP BY 1,2,3
)
MERGE INTO agg_month_brand_country m
USING (
SELECT DATE_TRUNC('month', d) AS month, brand, country, SUM(net_eur) AS net_eur
FROM daily
GROUP BY 1,2,3
) s
ON (m. month = s. month AND m. brand = s. brand AND m. country = s. country)
WHEN MATCHED THEN UPDATE SET m. net_eur = s. net_eur, m. updated_at = NOW()
WHEN NOT MATCHED THEN INSERT (month, brand, country, net_eur, updated_at)
VALUES (s. month, s. brand, s. country, s. net_eur, NOW());

14) Գործընթացներ և գործողություն

1. Դիզայն 'նպատակներ/լսարաններ, չափումներ, հիերարխիա, արժույթ/թայմզոններ։

2. Տվյալները ՝ աղբյուրների պայմանագրեր, սխեմաներ, որակի թեստեր։

3. Վիտրինի կառուցվածքը 'սեմանտիկ օբյեկտներ, ռոլապ կանոններ, էլեմինացիաներ։

4. Էսքիզներ ՝ ավտոմատ տարբերությունների հաշվետվություններ, ուղղման տիկետներ։

5. Ռելիզը 'տարբերակը, պաշտպանությունը, օգտագործողների ուսուցումը։

6. Տե՛ ս 'թարմ, completeness, կրկնօրինակներ, արձագանքման ժամանակը, միջադեպերը։

7. Վերանայումը 'սահմանումների եռամսյակային ստուգում, մեպինգներ, FX քաղաքականություն։

15) Չեկ-թերթ նախքան համախմբված զեկույցի ավարտը

• Մետրիկի և հիերարխիայի սահմանումները մեկնաբանվում են սեմանտիկ շերտում
• Լիսեռների և Թայմզոնների հակադարձումը վճռական է. ցույց են տալիս դասընթացի միավորներն ու ամսաթիվը
• Իրականացվել են ներգանգային հեղափոխությունների էլիմինացիաները/NCI (եթե կիրառելի է)
• Invariants-ը և Journal-ի աղբյուրները անցնում են թույլատրության մեջ
• Ռեֆորմալ վերահաշվարկները և կուսակցությունը ներառված են []
• SLO թարմ/հասանելիությունը տեղադրված է. նորարարության արձանները ցուցադրվում են
• RFC/CLS և PII դիմակավորում տրամադրված են; արտահանման աուդիտը ներառված է
• Տարբերակը/changelog և սեփականատերերը նշված են. կա runbook

Արդյունքը

Ագրեգացիան և համախմբումը ոչ միայն «GROUP BY» են, այլ ամբողջական համակարգ ՝ սահմանման, ճիշտ ռոլապների, լոկտիվալյուտների և օրացույցի, էլիմինացիայի և ծալքերի, դիտարկման և SLO-ի։ Ըստ նկարագրված ճարտարապետության, դուք տարասեռ տվյալները վերածում եք սննդի, ֆինանսների և ռիսկերի կառավարման հուսալի զեկույցների։