डेटा मेष: फेडरेटेड डेटा मॉडल

(धारा: प्रौद्योगिकी और बुनियादी ढांचा)

संक्षिप्त सारांश

डेटा मेश एक संगठनात्मक और तकनीकी मॉडल है जहां डेटा को डोमेन टीमों के उत्पादों के रूप में माना जाता है, और प्लेटफ़ॉर्म की केंद्रीय भूमिका स्व-सेवा, मानक और अनुपालन प्रदान करना है। आईगेमिंग के लिए, इसका मतलब है: भुगतान टीम "डिपॉजिट इवेंट्स" और "नेट डिपॉजिट मार्ट" का मालिक है, जोखिम टीम "फ्रॉड सिग्नल", "बेट इवेंट्स" और "लीडरबोर्ड" का मालिक है, और केंद्रीय मंच एक कैटलॉग, अनुबंध योजनामों, गुणता है। टी।

1) डेटा मेष सिद्धांत

1. डोमेन जिम्मेदारी: प्रत्येक डोमेन (भुगतान, जोखिम, खेल, केवाईसी/अनुपालन, सीआरएम, संबद्ध) इसके डेटा सेट और उनके जीवन चक्र का मालिक है।

2. एक उत्पाद के रूप में डेटा: प्रत्येक सेट में एक मालिक, विवरण, एसएलओ, एक्सेस एसएलए, प्रलेखन, संस्करण, प्रतिक्रिया और रोडमैप होता है।

3. स्व-सेवा प्लेटफ़ॉर्म: मानक पाइपलाइनें निगलना/परिवर्तन/सेवा, टेम्पलेट, डिफ़ॉल्ट सुरक्षा, निर्देशिका और अवलोकन।

4. संघीय प्रबंधन: केंद्र में योजनाओं, मैट्रिक्स, पीआईआई/स्थानीयकरण और गुणवत्ता के सामान्य मानक; कार्यान्वयन और विकास - डोमेन में।

2) ऑपरेटिंग मॉडल और भूमिकाएँ

डोमेन डेटा उत्पाद मालिक (डीपीओ): प्राथमिकता, एसएलओ, डेटा उत्पाद सुधार का बैकलॉग।

डोमेन डेटा इंजीनियर/एनालिटिक्स इंजीनियर: स्कीमैटिक्स, पाइपलाइन, डीक्यू परीक्षण, वर्शनिंग।

डोमेन स्टीवर्ड: फील्ड शब्दार्थ, मेट्रिक्स शब्दार्थ और पीआईआई वर्गीकरण के लिए पत्राचार।

प्लेटफ़ॉर्म टीम: कैटलॉग, आईएएम/आरबीएसी, पॉलिसी-ए-कोड, टेबल प्रारूप (डेल्टा/आइसबर्ग/हुडी), ऑर्केस्ट्रेशन, वेधशाला, फिनॉप्स।

फेडरेटेड गवर्नेंस बोर्ड: मानकों (योजनाओं, मैट्रिक्स, सुरक्षा) को मंजूरी देता है, क्रॉस-डोमेन विवादों को हल करता है।

3) "डेटा उत्पाद" - पासपोर्ट और कलाकृतियाँ

• संविदा (योजना, प्रकार, विकास, संगतता)।
• एक्सेस API (SQL/टेबल, टॉपिक/स्ट्रीम, फ़ाइल/शेयर)।
• एसएलए/एसएलओ (ताजगी, उपलब्धता, गुणवत्ता)।
• डीक्यू परीक्षण (विशिष्टता, रेंज, संदर्भ अखंडता)।
• प्रलेखन (क्षेत्रों का विवरण, अनुरोधों के उदाहरण, स्वामी, संपर्क)।
• वर्शनिंग (शब्दार्थ संस्करण योजनाएं, पदावनत नीति)।
• नीतियां (पीआईआई, स्थानीयकरण, प्रतिधारण/टीटीएल, अधिकार)।

पासपोर्ट टेम्पलेट (YAML, उदाहरण)

yaml name: bets. events. v1 domain: games owner: games-data@company interface:
sql: lakehouse. silver. bets_events stream: kafka://bets. events. v1 share: read-only (EU only)
schema_version: 1. 3. 0 slo:
freshness: "<= 5 min (p95)"
availability: ">= 99. 9%"
dq:
- unique: bet_id
- valid_values: currency in [EUR, USD, TRY, BRL]
- non_negative: [stake, payout]
security:
pii: false region: EU retention: 365d lineage:
sources: [game_engine. outbox, payments. psp. webhooks]
consumers: [crm. triggers, risk. realtime, dwh. fact_bets]
versioning:
compat: backward deprecation_policy: "60 days"

4) अंतर और मानक

योजनाएं/अनुबंध: एवरो/प्रोटोबुफ/जेसन-स्कीमा + स्कीमा रजिस्ट्री; बैक-कॉम्पैट पॉलिसी, एक नए प्रमुख संस्करण के बिना कोई ब्रेकिंग

शब्दार्थ परत: GGR, NGR, शुद्ध जमा, LTV, cohorts की एकीकृत परिभाषाएँ - कोड (dbt metrics/semantic परत) के रूप में।

पहचानकर्ता: वैश्विक 'player _ id', 'tenant _ id', 'bet _ id', एकीकृत देश/मुद्रा/प्रदाता निर्देशिका।

मेटाडेटा: आवश्यक स्तम्भों 'ingest _ ts', 'schema _ version', 'trace _ id', 'source', 'extror'.

पहुंच: SQL (लेकहाउस/OLAP), स्ट्रीम (काफ्का/पल्सर), टेबल/स्नैपशॉट शेयरिंग; विनिमय प्रारूप Parquet/Delta/Iseberg है।

5) प्रक्रिया संदर्भ मानक (विक्रेताओं के लिए अज्ञानी)

इनगेस्ट: आउटबॉक्स/सीडीसी из ओएलटीपी → काफ्का → लेकहाउस (कांस्य)।

ट्रांसफॉर्म: ईएलटी/डीबीटी в सिल्वर/गोल्ड; वृद्धिशील 'MERGE', SCD, सामग्री प्रदर्शन मामले।

परोसें: OLAP (ClickHouse/BigQuery/Snowflake), RT- (Pinot/Druid) - निकट-वास्तविक समय।

कैटलॉग/वंश: एक एकल कैटलॉग, ऑटो-प्रलेखन, निर्भरता ग्राफ।

अवलोकन: ताजगी/एसएलओ मैट्रिक्स, डीक्यू-जोर, स्ट्रीम लैग्स, लागत।

नीतियां: IAM/RBAC/ABAC, एन्क्रिप्शन, स्थानीयकरण (ज़ोन डेटा रूटिंग)।

6) डेटा उत्पादों के लिए SLO/SLA

• ताजगी: बेट्स इवेंट्स (p95) ≤ 5 мин; फ्रॉड सिग्नल ≤ 30 सेकंड; नेट डिपॉजिट मार्ट ≤ 15 मिनट।
• उपलब्धता: ≥ 99। 9% पढ़ ने के लिए इंटरफेस।
• गुणवत्ता: डुप्लिकेट ≤ 0। 01%, खाली आवश्यक क्षेत्रों की हिस्सेदारी ≤ 0। 1%, मुद्रा स्थिरता 100%।
• लागत SLO: विंडो स्कैन की लागत ≤ N $/दिन, छोटी फ़ाइलें अनुपात <10%।

7) सुरक्षा, पीआईआई और स्थानीयकरण

वर्गीकरण: पीआईआई/संवेदनशील वित्तीय/परिचालन।

तकनीकी उपाय: एन्क्रिप्शन एट-रेस्ट/इन-ट्रांजिट; पीआईआई टोकन; मास्किंग कॉलम; 'किरायेदार _ आईडी' द्वारा पंक्ति-स्तर के फिल्टर।

स्थानीयकरण: डोमेन उत्पाद अधिकृत क्षेत्रों (ईयू/टीआर/एलटीएएम) में प्रकाशित होते हैं; सीमा पार साझाकरण - केवल पीआईआई के बिना इकाइयाँ।

लेखा परीक्षा: जिसने प्रकाशित/पढ़ा; स्कीमा संस्करण अधिकार वृद्धि अनुरोध - अनुमोदन के माध्यम से

8) FinOps और मूल्य प्रबंधन

डोमेन द्वारा बजट: गणना सीमा, ओवरस्पेंड अलर्ट।

भंडारण: भंडारण कक्षाएं + टीटीएल (कांस्य लघु, रजत माध्यम, गोल्ड लॉन्ग/एग्रीगेट)।

क्वेरी अनुकूलन: विभाजन/क्लस्टरिंग, भौतिक दृश्य, बीआई परिणाम कैश।

छोटी फ़ाइलें: संघनन/ऑप्टिमाइज़नीतियाँ; लक्ष्य फ़ाइल का आकार 128-1024 एमबी है।

9) जीवन चक्र और विकास

वर्शनिंग: 'डोमेन। उत्पाद। v {प्रमुख} '; मामूली क्षेत्र - बैक-कॉम्पैट।

पदावनत: उपभोक्ता अधिसूचना, "दो-रेल" अवधि, पुराने संस्करणों के लिए स्वचालित अलर्ट।

स्कीमा परिवर्तन: अनुबंध भंडार के लिए अनुरोध खींचें; सीआई संगतता परीक्षण; कैटलॉग को स्वतः प्रकाशित करें।

प्रतिक्रिया: उत्पाद चैनल (निर्गम ट्रैकर), उपभोक्ता एनपीएस, घटना प्रतिक्रिया समय।

10) iGaming - डोमेन और उत्पाद मानचित्र के लिए कंक्रीटाइजेशन

भुगतान

'भुगतान। psp। webhooks। v1 '(धारा)

'mart _ net _ dovits _ day। v1 '(SQL) - SLO ताजगी ≤ 15 मिनट; पीआईआई-मुक्त

खेल

'दांव लगाता है। घटनाओं। v1 '(स्ट्रीम/SQL) - p95 ≤ 5 मिनट

'mart _ ggr _ day। v1 '(SQL/MV) - देश/खेल द्वारा समुच्चय

जोखिम/विरोधी धोखाधड़ी

'जोखिम. संकेत। v1 '(धारा) - p95 ≤ 30 सेकंड

'रिस्क। case_mgmt। v1 '(SQL) - SCD2 जांच इतिहास

सीआरएम/निजीकरण

'crm। ट्रिगर। v1 '(धारा) - खंड ट्रिगर

'profile। सुविधाएँ। ऑनलाइन। v1 '(KV/SQL) - ऑनलाइन सुविधाएँ (TTL)

केवाईसी/अनुपालन

'kyc। स्थिति। v1 '(SQL) - PII संरक्षित, पंक्ति-स्तरीय नीतियां

'उत्तरदायी _ गेमिंग। घटनाओं। v1 '(धारा) - सीमा/संकेत

11) मंच प्रक्रियाओं और कलाकृतियों

निर्देशिका: डोमेन/फील्ड/पीआईआई लेबल द्वारा खोजें, आरेख और उदाहरणों का पूर्वावलोकन।

साँचा जनरेटर: एक नए उत्पाद के लिए कुकीकटर (पासपोर्ट, सीआई, डीक्यू परीक्षण, एसएलओ डैशबोर्ड)।

नीति-के-कोड: निर्यात नियम, पीआईआई, क्षेत्रों के बीच साझा करना।

अवलोकन: तैयार डैशबोर्ड: ताजगी, डीक्यू त्रुटियां, लागत, वंश, स्ट्रीम अंतराल।

रनबुक: ताजगी/डीक्यू/योजनाओं की घटनाएं, आपातकालीन मूल्यह्रास, संस्करणों का रोलबैक।

12) डेटा मेश के लिए प्रवासन (रोडमैप)

1. डोमेन द्वारा समूहबद्ध वर्तमान डेटासेट की सूची।

2. पायलट 2-3 डोमेन (भुगतान, खेल, जोखिम) - पासपोर्ट के साथ उत्पादों के रूप में जारी करता है।

3. कैटलॉग और मानक: योजनाबद्ध विज्ञान, मैट्रिक्स, पीआईआई/स्थानीयकरण, डीक्यू।

4. स्व-सेवा: पाइपलाइन टेम्पलेट, सीआई/सीडी, एसएलओ निगरानी।

5. विस्फोट भट्ठी में अखंड शोकेस काटना; पुराने इंटरफेस के लिए "टू-रेल" समर्थन।

6. फेडरेटेड काउंसिल - नियमित सत्र, समीक्षा अनुबंध परिवर्तन।

7. सीआरएम/सहयोगी/विपणन के लिए स्केल, फिर साझेदार शेयर।

13) कार्यान्वयन चेकलिस्ट

डोमेन परिभाषित; मालिकों और संचार चैनलों को सौंपा गया है।

निर्देशिका प्रारंभ; प्रत्येक उत्पाद का पासपोर्ट प्रकाशित

स्कीमा - संविदा भंडार में; सीआई संगतता/डीक्यू का परीक्षण करता है।

एसएलओ/एसएलए घोषित; ताजगी/डीक्यू/लागत डैशबोर्ड उपलब्ध हैं।

पीआईआई/स्थानीयकरण नीतियां - कोड; ऑडिट सक्षम।

FinOps: डोमेन रिपोर्ट द्वारा बजट, अलर्ट, लागत।

सत्यापन/जमा प्रक्रिया - प्रलेखित और स्वचालित।

घटनाओं की रनबुक - उपलब्ध और प्रशिक्षित (खेल-दिवस)।

14) एंटीपैटर्न

"डेटा मेश का नाम दिया गया है, लेकिन सभी केंद्रीय डेटा कमांड के माध्यम से" - संकीर्ण गर्दन को समाप्त नहीं किया गया है।

मैट्रिक्स के एकल शब्दकोश की कमी → GGR/NGR डोमेन के बीच भिन्न होते हैं।

अनुबंध और संगतता परीक्षण के बिना योजनाएं - "ब्रेकिंग" रिलीज।

कोई सेल्फ-सर्व नहीं - प्रत्येक तालिका मैन्युअल रूप से, उच्च समय से डेटा बनाया जाता है।

क्रॉस-रीजनल शेयरिंग में पीआईआई/स्थानीयकरण की अनदेखी।

मालिकों/एसएलओ के बिना सूक्ष्म उत्पाद - "परित्यक्त" डेटा।

15) डेटा मेश सफलता केपीआई

समय-से-डेटा: विचार से उपलब्ध डेटा उत्पाद (मंझला ↓) तक।

पुन: उपयोग: प्रति उत्पाद उपभोक्ता डोमेन की संख्या।

गुणवत्ता: सफल डीक्यू जांच का हिस्सा, प्रति मिलियन घटनाओं में दोष।

विश्वसनीयता: ताजगी/उपलब्धता के साथ एसएलओ का अनुपालन।

लागत: $/अनुरोध/उपयोगकर्ता, छोटी फ़ाइलों का हिस्सा, गणना निपटान।

परिवर्तन की दर: प्रति सप्ताह सर्किट/स्टोरफ्रंट रिलीज।

सारांश

डेटा मेश न केवल एक तकनीक है, बल्कि एक प्रबंधित डोमेन फेडरेशन भी है, जहां डेटा इसके मालिकों, एसएलओ, अनुबंधों और गुणवत्ता मैट्रिक्स के साथ उत्पाद हैं। आईगेमिंग में, यह दृष्टिकोण संकीर्ण गर्दन को हटाता है, एकीकरण को गति देता है (एंटी-फ्रॉड, भुगतान, सीआरएम), मेट्रिक्स की पारदर्शिता में सुधार करता है (जीजीआर/एनजीआर/एलटीवी) और नियंत्रण लागत। एक मजबूत स्व-सेवा मंच का निर्माण करें, संघीय मानकों और एक डेटा-ए-उत्पाद संस्कृति, और व्यापार के साथ आपके एनालिटिक्स पारिस्थितिकी तंत्र तराजू को पेश करें - गुणवत्ता, गति या अनुपालन खोए बिना।