एकत्रीकरण और समेकित रिपोर्ट
एकत्रीकरण और समेकित रिपोर्टिंग
एकत्रीकरण आवश्यक खंडों और अवधियों के लिए सारांश संकेतकों में विस्तृत रिकॉर्ड का परिवर्तन है। समायोजन - समायोजन (मुद्रा, लेखा नीति, उन्मूलन) के साथ एकल रिपोर्ट में विभिन्न स्रोतों/कानूनी संस्थाओं/उत्पादों से समुच्चय का संयोजन। नीचे एक व्यवस्थित दृष्टिकोण है: दुकान की खिड़कियों को डिजाइन करने से लेकर ऑपरेटिंग रिपोर्टिंग
1) कार्य और समेकन के प्रकार
परिचालन/उत्पाद: DAU/WAU/MAU, रूपांतरण, देश/चैनल/मंच द्वारा राजस्व।
वित्तीय (एक्स। और नियामक): पी एंड एल, कैश फ्लो, बैलेंस शीट, जीजीआर/नेट गेमिंग राजस्व, करों, कानूनी इकाई रिपोर्ट।
जोखिम/अनुपालन: विरोधी धोखाधड़ी, आरजी संकेतक, एसएलए/उपलब्धता, डेटा/मॉडल बहाव।
रणनीतिक: होल्डिंग, ब्रांड पोर्टफोलियो, क्षेत्रों द्वारा समेकित केपीआई।
2) एकत्रीकरण परत की वास्तुकला
डेटा परतें: 'रॉ' → 'स्टेजिंग' → 'कोर' (तथ्य/आयाम) → 'मार्ट्स' (रिपोर्ट के लिए कुल)।
सिमेंटिक परत: मीट्रिक परिभाषाएं, कैलेंडर, मुद्राएं, रोलअप नियम।
अनाज और समय-अनाज: 'इवेंट', 'यूजर _ डे', 'txn', 'ब्रांड _ कंट्री _ डे' - आगे सप्ताह/महीने/तिमाही तक रोलअप करता है।
पहचान: स्थिर कुंजी (user/brand/legal_entity), मैपिंग टेबल)।
3) रोलअप और पदानुक्रम
आयाम पदानुक्रम गेम → श्रेणी → प्रदाता, चैनल → अभियान → रचनात्मक, शहर → क्षेत्र → देश → क्लस्टर हैं।
योग नियम: योगात्मक (योग), अर्ध-योजक (स्नैपशॉट - औसत/अवधि के लिए अंतिम), गैर-योजक (गुणांक/प्रतिशत)।
Deduplication - अद्वितीय उपयोगकर्ता और अनाज की घटनाएं; स्रोतों को विलय करते समय दोहरी गिनती से बचें
4) मल्टीक्यूरेंसी, टाइमज़ोन, कैलेंडर
समय: 'घटना _ time _ utc' और स्थानीय स्लाइस स्टोर करें; छुट्टियों/कार्य दिवसों का कैलेंडर।
मुद्रा: लेनदेन की तारीख (या एक चेतावनी के साथ अवधि की औसत विनिमय दर) पर विनिमय दर पर "कच्ची" राशि + 'आधार _ ccy' रखें।
सामान्यीकरण: स्पष्ट इकाइयां/मुद्रा/विनिमय दर तिथि दिखाएं।
छद्म-एसक्यूएल (रूपांतरण और रोलअप):sql
WITH fx AS (
SELECT date, from_ccy, to_ccy, rate
FROM dim_fx_rates
WHERE to_ccy = 'EUR'
),
tx AS (
SELECT t. txn_id, t. amount, t. ccy, t. brand, t. country, t. event_date
FROM fact_tx
)
SELECT brand, country, DATE_TRUNC('month', event_date) AS month,
SUM(amount COALESCE(fx. rate, 1)) AS revenue_eur
FROM tx
LEFT JOIN fx
ON fx. date = tx. event_date AND fx. from_ccy = tx. ccy
GROUP BY 1,2,3;
5) स्रोत/कानूनी इकाई द्वारा समेकन
खातों के मानचित्रण चार्ट: स्थानीय योजनाओं से एकल सीओए (खातों का चार्ट) + मैपिंग।
लेखांकन नीतियां: IFRS/GAAP/कर नियम - परिवर्तन परत (उदाहरण के लिए, सकल/शुद्ध राजस्व, बोनस/आयोगों की मान्यता)।
इंट्रा-ग्रुप टर्नओवर का उन्मूलन: होल्डिंग की कानूनी संस्थाओं के बीच लेनदेन का बहिष्कार।
समेकन विधियाँ: पूर्ण, आनुपातिक, इक्विटी विधि।
अल्पसंख्यक शेयरधारक: गैर-नियंत्रित ब्याज (NCI) का आवंटन।
स्यूडो-एसक्यूएल (इंट्राग्रुप का उन्मूलन):sql
WITH interco AS (
SELECT a. txn_id
FROM fact_tx a
JOIN dim_counterparty b ON a. counterparty_id = b. id
WHERE a. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
AND b. legal_entity IN (SELECT id FROM dim_legal WHERE group_id = 1)
)
SELECT
FROM agg_pl_month
WHERE txn_id NOT IN (SELECT txn_id FROM interco);
6) गुणवत्ता और सुलह
स्रोत सामंजस्य: स्रोत द्वारा राशि = शोकेस में राशि (विनिमय दर/समय सहिष्णुता के साथ)।
Invariants: 'DAU ≤ MAU', दिनों पर योग = मासिक कुल (योगात्मक मैट्रिक्स के लिए)।
पूर्णता नियंत्रण: NULL का हिस्सा, डुप्लिकेट का हिस्सा, ताजगी में अंतराल।
विसंगति रिपोर्ट - विसंगतियों और उपचारात्मक चरणों की सूची।
7) प्रदर्शन और एसएलओ
ताजगी एसएलओ: परिचालन इकाइयाँ - लैग ≤ 15 मिनट; दिन - स्थानीय समयानुसार 06:00 बजे तक; मासिक - T + 1/T + 3 तक।
अनुकूलन: पूर्व-एकत्रीकरण, वृद्धिशील पुनर्गणना, विभाजन (तारीख/ब्रांड/देश द्वारा), लोकप्रिय स्लाइस के लिए कैश।
UI सीमाएँ: ≤ 12 श्रेणियाँ प्रति शेड्यूल; तालिकाओं की पृष्ठभूमि; आलसी-भार।
8) परिभाषाओं और संस्करणों का प्रबंधन करें
मेट्रिक्स का शब्दकोश: कोड, परिभाषा, सूत्र, स्रोत, इकाइयाँ, मालिक, रेलिंग।
संस्करण: 'METRIC _ vN'; कोई भी संपादन → नया संस्करण + बैकफिल और चेंजलॉग।
शब्दार्थ परत: द्वि/प्रयोगों/शिपमेंट के लिए सत्य का एक स्रोत।
9) सुरक्षा और पहुंच
आरएलएस/सीएलएस: भूमिका (देश/ब्रांड/कानूनी इकाई), पीआईआई मास्किंग द्वारा पहुंच।
लेखा परीक्षा: किसने अपलोड किया कौन सी रिपोर्ट; निर्यात नियंत्रण (समय सीमा, टोकन)।
न्यूनतम: कच्चे पीआईआई डेटा के बजाय समुच्चय जारी करें।
10) विशिष्ट समुच्चय और दृश्य
उत्पाद: फ़नल (स्टेप-बार), cohorts (हीटमैप), D7/D30 प्रतिधारण, ARPU/ARPPU, GGR/Net।
वित्त: पी एंड एल पदानुक्रम, झरना (पुल) कारक, क्षेत्र द्वारा राजस्व संरचना, जी एंड ए गतिशीलता द्वारा।
संचालन/एमएल: एसएलए, विलंबता p95/p99, PR- AUC/Recall@FPR≤x%, पीएसआई-हीटमैप बहाव।
11) समेकित रिपोर्ट का पासपोर्ट (टेम्पलेट)
कोड/संस्करण: 'CONSOL _ PNL _ v3'
उद्देश्य: ब्रांड समूह द्वारा प्रबंधन P&L, मल्टीक्यूरेंसी → बेस करेंसी EUR
कवरेज: समूह की सभी कानूनी संस्थाएं; विधि - पूर्ण समेकन; एनसीआई - हाइलाइट किया गया
स्रोत/परत: 'mart _ fin _ pnl _ v3' ('fact _ tx _ v2', 'dim _ legal', 'dim _ fx _ rates' पर आधारित)
ग्रैन्युलरिटी: महीना (दिन से रोलअप)
उन्मूलन: 'इंटरकॉम = ट्रू' - इंट्रा-ग्रुप टर्नओवर को बाहर रखा गया
SLO: T + 1 06:00 लॉक; उपलब्धता ≥ 99। 9%
टोही - लेखांकन रिपोर्ट 'BK _ PNL _ T + 1', विचरण ≤ 0। 3%
मालिक: वित्त एनालिटिक्स, डेटा प्लेटफॉर्म
रेलिंग: एफएक्स तालिका 24 घंटे से अधिक पुरानी नहीं है; कवरेज लेनदेन ≥ 99। 5%
12) बार-बार गलतियाँ और उनसे कैसे बचें
शांत सूत्र बदलता है: हमेशा संस्करणों और चेंजलॉग के माध्यम से।
दोहरी गिनती: डुप्लिकेट स्प्रिंग्स/जॉयनेस - नियंत्रण कुंजी और अनाज।
मिश्रण समय क्षेत्र: केंद्रीकृत कैलेंडर और यूटीसी भंडारण।
गलत प्रतिशत: कुल अंश/भाजक, "औसत का मतलब" नहीं।
"रॉ" दरें: स्पष्ट एफएक्स तिथि/स्रोत, लगातार गोल नीति।
कोई समाप्ति नहीं: अंतर-कंपनी तिरछा रिपोर्ट को बदल देती है।
अपारदर्शी ताजगी: हमेशा "अद्यतन एन मिनट पहले" दिखाएं।
13) छद्म-एसक्यूएल: वृद्धिशील मासिक कुल
sql
-- Recalculate only affected days/months
WITH changed_days AS (
SELECT DISTINCT DATE(event_time_utc) AS d
FROM fact_tx_delta -- new/modified per day
),
daily AS (
SELECT
DATE(event_time_utc) AS d,
brand, country,
SUM(net_revenue_eur) AS net_eur
FROM fact_tx
WHERE DATE(event_time_utc) IN (SELECT d FROM changed_days)
GROUP BY 1,2,3
)
MERGE INTO agg_month_brand_country m
USING (
SELECT DATE_TRUNC('month', d) AS month, brand, country, SUM(net_eur) AS net_eur
FROM daily
GROUP BY 1,2,3
) s
ON (m. month = s. month AND m. brand = s. brand AND m. country = s. country)
WHEN MATCHED THEN UPDATE SET m. net_eur = s. net_eur, m. updated_at = NOW()
WHEN NOT MATCHED THEN INSERT (month, brand, country, net_eur, updated_at)
VALUES (s. month, s. brand, s. country, s. net_eur, NOW());
14) प्रक्रियाएं और संचालन
1. डिजाइन: लक्ष्य/दर्शक, मैट्रिक्स, पदानुक्रम, मुद्रा/समय क्षेत्र।
2. डेटा: स्रोत अनुबंध, योजनाएं, गुणवत्ता परीक्षण।
3. विंडो बिल्डिंग: शब्दार्थ वस्तुएं, रोलअप नियम, समाप्ति।
4. टोही: स्वचालित विचरण रिपोर्ट, सुधार टिकट।
5. रिलीज: संस्करण, प्रलेखन, उपयोगकर्ता प्रशिक
6. निगरानी: ताजगी, पूर्णता, डुप्लिकेट, प्रतिक्रिया समय, घटनाएं।
7. संशोधन: परिभाषाओं, मैपिंग, एफएक्स नीतियों का त्रैमासिक सत्यापन।
15) पूर्व-समेकित स्टेटमेंट चेकलिस्ट
- मीट्रिक और पदानुक्रम परिभाषाएं अर्थ परत में प्रलेखित
- मुद्रा रूपांतरण और समय क्षेत्र स्थापित किए गए हैं; पाठ्यक्रम की इकाइयों और तारीख को दर्
- इंट्रा-ग्रुप क्रांति/एनसीआई उन्मूलन लागू (यदि लागू हो)
- संदर्भ स्रोतों के साथ अपरिवर्तनीय और सामंजस्य सहिष्णुता में किया जाता है
- वृद्धिशील पुनर्गणना और विभाजन सक्षम
- ताजगी/उपलब्धता एसएलओ निर्धारित हैं; अद्यतन स्थितियां प्रदर्शित की
- आरएलएस/सीएलएस और पीआईआई मास्किंग विन्यस्त हैं; निर्यात लेखा परीक्षा सक्षम
- संस्करण/चेंजलॉग और मालिक निर्दिष्ट; रनबुक की घटनाएं हैं
कुल
एकत्रीकरण और समेकन केवल 'ग्रुप बाय' नहीं है, बल्कि एक समग्र प्रणाली है: सुसंगत परिभाषाएं, सही रोलअप, बहु-मुद्रा और कैलेंडर, उन्मूलन और सामंजस्य, अवलोकन और एसएलओ। वर्णित वास्तुकला का पालन करके, आप उत्पाद, वित्तीय और जोखिम प्रबंधन के लिए विषम डेटा को विश्वसनीय वाल्टों में बदल देते हैं।