एनालिटिक्स और ईटीएल पाइपलाइनें

(धारा: प्रौद्योगिकी और बुनियादी ढांचा)

संक्षिप्त सारांश

विश्लेषणात्मक पाइपलाइन स्थिर मीट्रिक शोकेस (जीजीआर/एनजीआर, एलटीवी, प्रतिधारण, धोखाधड़ी रोधी संकेतों) में "कच्चे" आईगेमिंग परिचालन घटनाओं (दांव, जमा, पीएसपी वेबहूक, गेम लॉग) को बदल देती है। सहायक सिद्धांत: एक एकल परत मॉडल (कांस्य/रजत/गोल्ड), वाद्य अनुशासन डीक्यू/वंश, वृद्धिशीलता और पहचान, अवलोकन और एसएलओ, लागत नियंत्रण। निर्णय लोड प्रोफाइल (टूर्नामेंट चोटियों), नियामक (पीआईआई/स्थानीयकरण) और डेटा ताजगी के लिए व्यावसायिक आवश्यकताओं को ध्यान में रखते हुए किए जाते हैं।

1) आर्किटेक्चर: ईटीएल बनाम ईएलटी, बैच बनाम स्ट्रीम

DWH में लोड करने से पहले → ट्रांसफॉर्म → लोड-ट्रांसफॉर्म निकालें। उपयुक्त जहां परिवर्तनों को "क्लाउड" से पहले एक नियंत्रित वातावरण/रहस्य की आवश्यक

ELT (एक्सट्रैक्ट → लोड → ट्रांसफॉर्म): लेक/लेकहाउस/DWH में कच्चे माल, फिर SQL/इंजन (dbt/SQL स्क्रिप्ट)। स्तंभ इंजन और लचीले पुनरावृत्तियों के लिए सुविधाजनक।

बैच: अनुसूचित खिड़कियां (हर 5/15/60 मिनट, रात में)। सस्ता और अनुमानित।

स्ट्रीम: почти वास्तविक समय (काफ्का → फ्लिंक/ksqlDB → OLAP)। निकट-वास्तविक समय की खिड़कियों (5-60 सेकंड) और विरोधी धोखाधड़ी/सीआरएम संकेतों के लिए।

हाइब्रिड: कांस्य धारा, सिल्वर/गोल्ड - वृद्धिशील बैच मॉडल से भरता है।

सिफारिश: आईगेमिंग में ईएलटी + स्ट्रीमिंग: सीडीसी/आउटबॉक्स → कांस्य (मिनट ताजगी) के माध्यम से घटनाएं, सिल्वर/गोल्ड में वृद्धिशील परिवर्तन।

2) पदक

कांस्य (रॉ): बिजनेस लॉजिक के बिना कच्ची घटनाएं/सीडीसी। Parquet/ORC प्रारूप, योजनाओं के रूप में, न्यूनतम सत्यापन।

सिल्वर (अनुरूप): सफाई, डीडुप्लीकेशन, आईडी सामान्यीकरण, आयाम एससीडी, मुद्रा/समय क्षेत्र एकीकरण।

गोल्ड (मार्ट्स): व्यावसायिक मामले (तथ्य/आयाम, क्यूब्स), भौतिक विचार, पूर्वग्रह (दिन/देश/उत्पाद)।

पेशेवरों: प्रजनन योग्यता, पारदर्शी विकास, परत द्वारा विभिन्न एसएलओ और टीटीएल।

3) स्रोत और लोडिंग: सीडीसी, आउटबॉक्स, फ़ाइलें

CDC (बदलें डेटा कैप्चर): गारंटीकृत ऑर्डर और पहचान के साथ OLTP (Postgres/MySQL) से परिवर्तन प्रवाह।

आउटबॉक्स पैटर्न: घटनाओं को सेवा लेनदेन में आउटबॉक्स टेबल/संग्रह पर लिखा जाता है - कनेक्टर बस/झील को प्रकाशित करता है।

फाइल अपलोड: PSP अपलोड, पार्टनर रिपोर्ट; प्रकट, चेकसम का उपयोग करें, और निर्देशिका प्राप्त करें।

प्रथाएं: स्रोत प्रत्येक स्रोत के लिए बहुमुखी (स्कीमा संस्करण) हैं - क्षेत्रों और गुणवत्ता की अपेक्षाओं का एक अनुबंध।

4) ऑर्केस्ट्रेशन: डीएजी, निर्भरता, तैनाती

DAGs: स्पष्ट निर्भरता (कच्चे मंचन dims तथ्य marts)।

टास्क आइडेम्पोटेंसी: साइड इफेक्ट्स के बिना रेरन (पार्टिशन-ओवरराइट, 'MERGE '/upsert)।

वातावरण का पृथक्करण: देव/चरण/Prod, कलाकृतियों का प्रचार, महंगे बैकफिल के लिए "मैनुअल अनुमोदन"।

शेड्यूलिंग: क्रॉन/टाइम विंडोज + इवेंट ट्रिगर (फ़ाइलों/पार्टियों के आगमन के अनुसार)।

रहस्य: गुप्त प्रबंधक से; DAG कोड में रहस्यों को छोड़ कर।

python with DAG("dwh_daily", schedule="0  ") as dag:
bronze = ingest_cdc(source="payments", partition=hour())
silver = dedup_normalize(input=bronze)
dims  = build_dimensions(input=silver)
facts = build_facts(input=silver, dims=dims)
marts = build_marts(input=facts)
bronze >> silver >> [dims, facts] >> marts

5) डेटा गुणवत्ता (डीक्यू) और वंश

डीक्यू-चेक: पूर्णता (गिनती, देर से आगमन), कुंजियों की विशिष्टता, रेंज/डोमेन नियम (निर्देशिका में राशि ≥ 0, मुद्रा)।

ट्रिगर थ्रेशोल्ड: टेबल की आलोचना के आधार पर अलर्ट के साथ हार्ड स्टॉप/सॉफ्ट-फेल।

वंश/सूची: रिपोर्ट से स्रोत (टेबल, कॉलम, मैट्रिक्स), मालिक, प्रलेखन, पीआईआई वर्गीकरण।

स्कीमा नियंत्रण: स्वचालित संगतता परीक्षण (बैकवर्ड-/फॉरवर्ड- संगत), "ब्रेकिंग" परिवर्तनों के लिए सतर्क।

6) सिमुलेशन: एससीडी, सरोगेट कुंजियाँ, सामान्यीकरण

SCD2 आयामों के लिए 'मान्य _ से/मान्य _ to/is _ corment', सरोगेट कुंजी ('_ sk'), और प्राकृतिक कुंजी ('_ id') हैं।

SCD1-Overwrites मामूली विशेषताओं के लिए (उदाहरण के लिए, इंटरफ़ेस लोकेल)।

सरोगेट कुंजियाँ: जुड़ ने के लिए स्थिर '_ sk', विशिष्टता के लिए प्राकृतिक कुंजियाँ।

आयाम सामान्यीकरण: बर्फबारी जहां पदानुक्रम गहरे हैं; अन्यथा गति के लिए तारा।

7) वृद्धिशील मॉडल और विभाजन

वाटरमार्क ('अद्यतन _ at', 'ingest _ ts'): केवल नई/परिवर्तित लाइनें पढ़ें।

वृद्धिशील रणनीतियाँ: व्यापार कुंजियों द्वारा 'MERGE', 'INSERT OVERWRITE' लॉट द्वारा, छोटे लॉट के लिए 'DELETE + INSERT'।

विभाजन: तिथि/घंटा/क्षेत्र; फ़िल्टरिंग और कुंजियों में शामिल होकर क्लस्टरिंग (सॉर्ट कुंजी/जेड-ऑर्डर)।

भौतिक विचार: जीजीआर/एनजीआर प्रीग्रीगेशन, लोकप्रिय वर्गों का कैश।

लगभग इकाइयाँ: सस्ते शीर्ष-एन शोकेस के लिए।

sql
MERGE INTO fact_deposits f
USING staging_deposits s
ON (f. deposit_id = s. deposit_id)
WHEN MATCHED THEN UPDATE SET amount = s. amount, status = s. status, updated_at = s. updated_at
WHEN NOT MATCHED THEN INSERT (...)
VALUES (...);

8) बैकफिल, पुनर्संसाधन और कहानी प्रबंधन

बैकफिल: संसाधन सीमा और विंडो के साथ व्यक्तिगत डीएजी; एक स्पष्ट "सत्य की खिड़की" (उदा। 2024-01-01.. 2025-11-05).

पुनर्संसाधन: नियतात्मक परिवर्तन - दोहराए गए रन एक ही परिणाम देते हैं। मॉडल कोड के लॉगिंग संस्करण।

टाइम-ट्रैवल/टेबल संस्करण: जांच के लिए सुविधाजनक और डीआर "तार्किक त्रुटियां"।

रिट्रैक्शन: लॉगिंग के साथ पॉलिसी को वापस लेना (मिटाना/फिक्स करना)।

9) कन्वेयर सीएलओ/एसएलए/एसएलओ

ताजगी: कांस्य ≤ 1-5 मिनट, रजत ≤ 15 मिनट, गोल्ड ≤ 60 मिनट (उदाहरण)।

विश्वसनीयता: DAG ≥ 99 पास दर x%।

प्रदर्शन: p95/p99 नोड अवधि; पार्टी समय बजट।

लैग मॉनिटरिंग: निगरानी धारा का अंतराल, कतार की गहराई, "देर से डेटा" का हिस्सा।

अलर्ट: ताजगी/मात्रा का उल्लंघन, डीक्यू-फाइलें, स्कैन की लागत में वृद्धि, एमवी का क्षरण।

10) लागत: पूर्वानुमान और अनुकूलन

विभाजन और समूह स्कैन वॉल्यूम को कम करते हैं।

गर्म मार्करों का भौतिककरण (दिन/देश/उत्पाद)।

अक्सर उपयोग किए जाने वाले डैशबोर्ड के लिए परिणाम कैश/एमवी।

आवृत्ति को फिर से आरंभ करें (बिना किसी कारण के "हर 5 मिनट" नहीं)।

टीटीएल: आक्रामक कांस्य प्रतिधारण, मध्यम रजत, लंबा सोना (केवल कुल)।

क्षमता योजना: कैटलॉग मैट्रिक्स, टूर्नामेंट/अभियान चोटियों का पूर्वानुमान।

11) सुरक्षा, पीआईआई और स्थानीयकरण

डेटा वर्गीकरण: पीआईआई/वित्तीय/परिचालन।

एन्क्रिप्शन: आराम और पारगमन में; केएमएस/भूमिका-आधारित पहुंच।

डी-आइडेंटिफिकेशन: हैशिंग/मास्किंग, चाबियों के साथ अलग कॉलम।

बहु-किरायेदारी के लिए RLS/blizzard ('किरायेदार _ id' द्वारा)।

स्थानीयकरण: क्षेत्र द्वारा भंडारण और प्रसंस्करण क्षेत्र (ईयू/टीआर/एलटीएएम); केवल स्थानों की अनुमति के लिए निर

लेखा परीक्षा: महत्वपूर्ण तालिकाओं, निर्देशिका अभिगम को पढ़ ता/लिखता है।

12) अवलोकन: मैट्रिक्स, लॉग, ट्रेल्स

पाइपलाइन मैट्रिक्स: कार्य अवधि, कतार, त्रुटियां, रिट्रे, बाइट्स/पंक्तियाँ संसाधित, लागत।

लॉग: संरचित; 'trace _ id '/' run _ id' पर सहसंबंध।

ट्रेसिंग: स्रोत से शोकेस (इनगेस्ट → ट्रांसफॉर्म → लोड → BI)।

डैशबोर्ड: परतों की ताजगी, डीएजी की सफलता, शीर्ष महंगे अनुरोध, p95/p99।

13) उपकरण (भूमिका बेंचमार्क)

ऑर्केस्ट्रेशन: डीएजी ऑर्केस्ट्रेटर (शेड्यूलर, रिट्रेज़, अलर्ट, रहस्य के साथ)।

परिवर्तन: SQL मॉडलिंग ("कोड के रूप में मॉडल"), मॉडल की इकाई परीक्षण, प्रलेखन।

DQ/अनुबंध: डेटासेट पर सत्यापन फ्रेमवर्क और SLA।

वंश/कैटलॉग: स्वचालित निर्भरता ग्राफ, मालिक खोजें।

स्ट्रीमिंग: विंडो/एकत्रीकरण प्रोसेसर, सिंक/स्रोत कनेक्टर।

(कंपनी के ढेर और सुरक्षा आवश्यकताओं के लिए विशिष्ट विक्रेताओं का चयन किया जाता है।)

14) नमूना टेम्पलेट

जीजीआर शोकेस टैम्पलेट (जेनेरिक एसक्यूएल)

sql
CREATE OR REPLACE TABLE mart_ggr_daily AS
SELECT
DATE(b. ts) AS d,
c. country_code,
SUM(b. stake) AS stake_sum,
SUM(b. win)  AS win_sum,
SUM(b. stake - b. win) AS ggr
FROM fact_bets b
JOIN dim_country c ON c. country_sk = b. country_sk AND c. is_current
WHERE b. ts >= DATE_SUB(CURRENT_DATE, INTERVAL 60 DAY)
GROUP BY d, c. country_code;

वृद्धिशील जलचिह्नित मॉडल

sql
INSERT INTO fact_bets PARTITION (dt)
SELECT
FROM staging_bets
WHERE updated_at > (SELECT COALESCE(MAX(watermark), '1970-01-01') FROM _meta_watermarks WHERE table='fact_bets');
-- then update watermark

डीक्यू जाँच (विचार)

sql
-- 1) key uniqueness
SELECT deposit_id FROM fact_deposits GROUP BY deposit_id HAVING COUNT()>1;

-- 2) negative amounts (error)
SELECT FROM fact_deposits WHERE amount < 0;

15) कार्यान्वयन चेकलिस्ट

1. मेट्रिक्स शब्दकोश (GGR/NGR/LTV/रिटेंशन) और मालिकों को परिभाषित करें।

2. कांस्य/रजत/सोने की परतों में एसएलओ ताजगी रिकॉर्ड करें।

3. स्रोत अनुबंध (स्कीमा, डीक्यू, एसएलए) को मानकीकृत करें।

4. अज्ञात चरणों और पृथक रहस्यों के साथ एक DAG ग्राफ का निर्माण करें।

5. वृद्धिशीलता (MERGE/पार्टी द्वारा अधिलेखित) और वॉटरमार्क को लागू करें।

6. DQ (महत्वपूर्ण/सॉफ्ट चेक), वंश और डेटा निर्देशिका शामिल करें.

7. अवलोकन (मैट्रिक्स, लॉग, ट्रेल्स) और अलर्ट सेट करें।

8. प्रतिधारण/टीटीएल और बैकफिल/पुनर्संसाधन नीति भरें।

9. PII नियंत्रण, एन्क्रिप्शन, RLS और स्थानीयकरण प्रदान करें।

10. खेल-दिवस बिताएं: एक स्रोत ड्रॉप की नकल, "ब्रेकिंग" योजनाएं, बड़े पैमाने पर बैकफिल।

16) एंटीपैटर्न

"वन नाइट ईटीएल फॉर एवरीथिंग" जिसमें कोई पार्टी नहीं है और कोई वृद्धिशीलता नहीं है।

डीक्यू और वंश की कमी - परस्पर विरोधी रिपोर्ट और भूत शिकार।

प्रत्येक लॉन्च पर तालिकाओं का पूर्ण संशोधन (लागत का विस्फोट)।

बफ़र्स/रिट्रेस के बिना वास्तविक समय में हार्ड बंडल।

विभाजन और मास्किंग के बिना PII और सार्वजनिक भंडार सम्मिश्रण।

कोई वापसी/विलोपन नीति नहीं (त्रुटियों को ठीक नहीं किया जा सकता)।

सारांश

IGaming में मजबूत एनालिटिक्स पाइपलाइन हार्ड डीक्यू/वंश, वृद्धिशील मॉडल, पारदर्शी ऑर्केस्ट्रेटर और औसत दर्जे के एसएलओ के साथ एक स्तरित मॉडल में लोडिंग ईएलटी + स्ट्रीमिंग है। लागत नियंत्रण, पीआईआई/स्थानीयकरण नीति, नियमित बैकफिल/डीआर अभ्यास जोड़ें - और आपका विश्लेषणात्मक मंच वांछित ताजगी और गुणवत्ता के आंकड़ों के साथ व्यापार का जवाब देते हुए टूर्नामेंट की चोटियों पर मज़ा उठाएगा।