डेटा एक्सेस इंटरफेस

1) एक विचारशील इंटरफ़ेस क्यों

गति और भविष्यवाणी: बिजनेस मैट्रिक्स और रिपोर्ट "मैनुअल अपलोड" के बिना एसएलए में फिट होते हैं।

सुरक्षा और गोपनीयता: नियंत्रण के तहत पीआईआई/बायोमेट्रिक्स, के-गुमनामी, भू-सीमाएं।

लचीलापन: विभिन्न ग्राहकों (बीआई, सेवाएं, भागीदार, डीएस/एमएल) को वही मिलता है जो उन्हें चाहिए।

अनुबंधों और संस्करणों के साथ "उत्पाद के रूप में डेटा" का पुन: उपयोग करें।

2) इंटरफ़ेस मैप (जब क्या)

SQL/ANSI + विक्रेता बोलियाँ: इंटरैक्टिव एनालिटिक्स, BI, एड-हॉक।

REST JSON: स्थिर समुच्चय और परिचालन डेटा, भागीदारों के साथ एकीकरण।

ग्राफ़क्यूएल: लचीला "चयनात्मक" पढ़ ने और नेविगेशन ग्राफ (आयाम/तथ्य)।

जीआरपीसी (प्रोटोबुफ): ऑनलाइन सर्फिंग की कम विलंबता (फीचर स्टोर, स्कोरिंग)।

Arrow Flight/Parquet ओवर HTTP/S3-presigned: DS/ML के लिए फास्ट कॉलम डंप।

OData: एंटरप्राइज टूल्स, टेबल-ए-ए-सर्विस मॉडल।

धाराएँ (काफ्का/पल्सर) + सीडीसी/वेबहूक: वास्तविक समय की घटनाएँ, प्रतिक्रियाशील एकीकरण।

फेडरेशन (ट्रिनो/प्रेस्टो): कई स्रोतों के लिए एकल प्रवेश बिंदु।

नियम: समुच्चय और स्थिर स्लाइस → REST/MV, समृद्ध मनमाना प्रश्न → SQL, कम विलंबता/ऑनलाइन सुविधाएँ → gRPC, लचीली प्रतिक्रिया रूप → ग्राफ़क्यूएल, मास बाइनरी → एरो/पार।

3) अनुबंध और संस्करण (सेवर)

'मेजर। माइनर। प्रत्येक API/स्कीमा/इवेंट के लिए PATCH '।

मेजर: असंगत परिवर्तन (नया पथ/विषय/तालिका)।

माइनर: संगत क्षेत्र/तर्क परिवर्धन।

PATCH: विवरण/सीमा संपादित करें।

अनुबंध निश्चित हैं: योजना, फिल्टर, सीमा, गोपनीयता, एसएलओ।

yaml openapi: "3. 0. 3"
info: {title: "Analytics API", version: "2. 4. 0"}
paths:
/v2/payments/metrics:
get:
parameters:
- {name: brand, in: query, schema: {type: string}, required: true}
- {name: country, in: query, schema: {type: string}}
- {name: from, in: query, schema: {type: string, format: date-time}}
- {name: to, in: query, schema: {type: string, format: date-time}}
- {name: group_by, in: query, schema: {type: string, enum: [psp,status,day]}}
- {name: limit, in: query, schema: {type: integer, default: 500}}
responses:
"200": {description: "OK"}
x-slo: {p95_latency_ms: 1200, freshness_max: "PT5M"}
x-privacy: {pii: false, min_group_size: 20}

4) एनालिटिक्स (SQL और फेडरेशन) तक पहुंच

भूमिकाओं/मास्क (पंक्ति/स्तंभ-स्तरीय सुरक्षा) के साथ SQL प्रवेश द्वार।

Blizzards/BI अनुमान: स्थिर नाम और शब्दार्थ; भारी अनुरोध पूर्व निर्धारण के लिए जाते हैं।

फेडरेशन (ट्रिनो/प्रेस्टो): एकल प्रवेश बिंदु, लेकिन नीतियों के साथ: क्या निर्देशिका और क्या सुविधाएँ उपलब्ध हैं।

लेकहाउस (आइसबर्ग/डेल्टा/हुडी): समय-यात्रा, SQL/REST के माध्यम से स्नैपशॉट-रिट्रीवल।

Квоты: स्कैन किए गए बाइट्स/क्वेरी, कॉन्सुरेंसी, वॉल-टाइम।

5) ग्राफक्यूएल (लचीला रूप)

हम ग्राहक को वांछित क्षेत्र एकत्र करने के लिए देते हैं, लेकिन गहराई/हड्डी की सीमा के साथ तैयार बर्फ़ीले तूफ़ान/अनुमानों पर निष्पादित करते हैं।

graphql type Query {
payments(
brand: String!, country: String, from: DateTime!, to: DateTime!,
first: Int = 200, after: String
): PaymentConnection
}

नीतियां: गहराई ≤ 5, कुल नोड्स ≤ 5k, मनमाने ढंग से regex/लाइनों द्वारा प्रतिबंधित; हम अक्सर अनुरोधों को कैश करते हैं।

6) जीआरपीसी/फीचर स्टोर (कम विलंबता)

धोखाधड़ी विरोधी/सिफारिशें/आरजी स्कोर करने के लिए ऑनलाइन सुविधाएँ।

proto service FeatureStore {
rpc GetFeatures (FeatureRequest) returns (FeatureResponse);
}
message FeatureRequest { string user_tok = 1; repeated string features = 2; }
message FeatureResponse { map<string, FeatureValue> values = 1; int64 ts_micros = 2; }

आवश्यकताएं: p95 ≤ 50-100 एमएस, सटीक offlayn↔onlayn स्थिरता, टीटीएल सुविधा, एलआरयू कैश, पहचान और एमटीएलएस।

7) प्रवाह और सीडीसी

डोमेन घटनाएँ: 'भुगतान। deposit_accepted', 'खेल। round_finished'।

सीडीसी (ओएलटीपी से): निकट-वास्तविक समय में स्थिति/सीमा परिवर्तन।

भागीदारों के लिए वेबहूक: समुच्चय के लिए सदस्यता (उदा। "PSP विफलताएँ> सीमा")।

रिट्रे/पावती नीतियां: वास्तव में एक बार महत्वपूर्ण, कम से कम एक बार निगरानी के लिए।

8) झीलें और बड़े नमूने

डीएस/एमएल को फास्ट कॉलम डिस्चार्ज के लिए एरो फ्लाइट।

संक्षिप्त टीटीएल और हस्ताक्षरित अनुरोध के साथ पार्क/पंख के लिए हस्ताक्षरित यूआरएल।

चंक स्थानांतरण और फ़ाइल आकार नियंत्रण; डाउनलोड लॉग (WORM ऑडिट)।

9) फिल्टर, पैगिनेशन, सॉर्टिंग

बड़े सेट के लिए ऑफ़ सेट के बजाय कीसेट पगिनेशन (कर्सर)।

फ़िल्टर: फ़ील्ड, टाइप और ऑपरेटरों द्वारा व्हाइटलिस्ट ('=, इन, बीच, उपसर्ग')।

छंटाई: क्षेत्रों की सीमित सूची, डिफ़ॉल्ट क्रम।

आंशिक प्रतिक्रिया: 'फ़ील्ड = ब्रांड, देश, राशि' पेलोड को कम करता है।

http
GET /v2/game-rounds? brand=X&from=...&to=...&first=1000&after=eyJkYXRlIjoi...

10) कैशिंग और लागत

टेम्पलेट निवेदन के लिए परिणाम कैश, स्नैपशॉट आईडी द्वारा अक्षम.

सार्वजनिक/अर्ध-सार्वजनिक समुच्चय (पीआईआई के बिना) के लिए एज कैश/सीडीएन।

बजट पैरामीटर: स्कैन किए गए बाइट्स की सीमा, अनुरोध टाइमआउट, आरपीएस/मिनट कोटा।

पूल का प्राथमिकता: 'bi _ hot', 'adhoc', 'partner _ api'।

11) सुरक्षा और गोपनीयता

AuthN: OAuth2/OIDC (सेवाओं के लिए ग्राहक साख, लोगों के लिए PKCE)।

AuthZ: RBAC + ABAC (विशेषताएं: ब्रांड, देश, लाइसेंस, भूमिका)।

सेवाओं के बीच mTLS, TLS 1। 2 + बाहर।

पीआईआई स्वच्छता: एपीआई परत पर मास्क/टोकन, कॉलम मास्क, कुल की के-गुमनामी।

जियो/किरायेदार-अलगाव: लाइसेंस क्षेत्र के लिए अनुरोध; एन्क्रिप्शन कुंजी प्रति ब्रांड/क्षेत्र।

DSAR/लीगल होल्ड: विषय टोकन द्वारा खोजें, ठंड सेट के लिए रहस्य।

12) अवलोकन (SLI/SLO) और संरक्षण

SLI: p50/p95/p99 लाट, त्रुटि-दर, आरपीएस, बाइट्स स्कैन, कैश हिट, कोटा/लिमिट, नकाबपोश कॉलम का हिस्सा, प्राधिकरण विफलताओं का हिस्सा।

SLO: p95 विलंबता, डेटा ताजगी,% सफल अनुरोध, प्रतिक्रियाओं पर न्यूनतम समूह-आकार।

अलर्ट: स्कैन किए गए बाइट्स में वृद्धि, हिट-रेट में गिरावट, 429/5xx स्पाइक, PII एक्सेस प्रयास, कर्सर लीक।

yaml slo:
p95_latency_ms: 1200 success_rate: 0. 995 freshness_max: "PT5M"
privacy:
pii_allowed: false min_group_size: 20 quotas:
rps: 50 max_scanned_mb: 256

13) प्रारूप और संपीड़न

संगतता के लिए JSON; सीएसवी - केवल छोटे और सरल निर्यात के लिए।

बड़े अपलोड के लिए parquet/Arrow - default।

संपीड़न: gzip/zstd ('स्वीकार-एनकोडिंग' के माध्यम से बातचीत)।

सामग्री-वार्ता: 'स्वीकार करें: आवेदन/एक्स-लकड़ी'।

14) एपीआई के रूप में मेट्रिक्स (एनालिटिक्स/ओएलएपी गेटवे)

शीर्ष-स्तरीय मैट्रिक्स: जीजीआर/नेट, सीआर, होल्ड, आरजी घटनाएं - मापदंडों के ब्रांड, देश, विंडो, ग्रुप _ बाय 'के साथ संसाधनों के रूप में।

लगभग (HLL/TDigest) для अलग/प्रतिशत।

मुख्य कैश: '(मीट्रिक, पैराम्स, snapshot_id)'।

15) iGaming विशिष्टता - तैयार किए गए समापन बिंदु

'GET/v2/भुगतान/मेट्रिक्स' - पीएसपी/देश/ब्रांड द्वारा 7/30 डी विंडो के साथ विफलताएं/अद्यतन।

'GET/v2/game-round/metrics' - शीर्ष गेम/प्रदाता, p95 अवधि, RTP विंडो।

'GET/v2/rg/cases' - सक्रिय प्रतिबंध/स्व-बहिष्करण (k-अनाम समुच्चय)।

'POST/v1/features: get' (gRPC) - धोखाधड़ी/सिफारिश स्कोर करने के लिए ऑनलाइन फीचर्स।

'POST/v1/webhooks/psp-alerts' - सूचनाएं "गिरावट दर> सीमा।"

16) अनुबंध के उदाहरण

graphql query {
payments(brand:"X", country:"TR", from:"2025-10-01", to:"2025-10-31", first:500) {
edges { node { day totalAmount declines psp } cursor }
pageInfo { hasNextPage endCursor }
}
}

json
{"event_id":"...","occurred_at":169..., "brand":"X","psp":"Papara","status":"declined","amount":"100. 00","currency":"TRY"}

/flight/v1/query? dataset=gold. payments&from=...&to=...&brand=X&format=arrow

17) नई इंटरफेस प्रकाशन प्रक्रिया

1. एडीआर: जारी/मूल्य/ग्राहक/सुरक्षा/लागत।

2. अनुबंध: योजना, फिल्टर, सीमा, गोपनीयता, एसएलओ, संस्करण।

3. मॉडलिंग लोड करें: टॉप-एन अनुरोध, p95/स्कैन बाइट्स, लागत.

4. सत्यापन/कैश/कोटा: डिफ़ॉल्ट रूप से सक्षम।

5. प्रलेखन और एसडीके: उदाहरण, सीमा, त्रुटियां, रिट्रे, पहचान।

6. कैनरी: % क्लाइंट, प्रतिगमन परीक्षण, अलर्ट।

7. जीए: डेटा उत्पाद कैटलॉग संस्करण, प्रभाव रिपोर्ट।

18) एंटी-पैटर्न

सभी के लिए "कच्चा" एसक्यूएल खोलें - पीआईआई लीक, अप्रत्याशित लागत।

ऑफसेट पैगिनेशन और 'सेलेक्ट' - विलंबता और गिनती द्वारा दर्द।

गहराई/लागत बाधाओं के बिना ग्राफक्यूएल।

REST, जो 'फील्ड्स =...' के बिना बहुत अधिक कॉलम लौटाता है।

समुच्चय में के-गुमनामी और न्यूनतम-समूह-आकार की कमी।

शून्य कोटा/सीमा और अक्षम कैश।

कोई संस्करण/अनुबंध नहीं - हम प्रत्येक परिवर्तन के साथ ग्राहकों को "तोड़"

सभी देशों/ब्रांडों के लिए एक ही इंटरफ़ेस क्षेत्रीय नियमों की अवहेलना है।

19) कार्यान्वयन रोडमैप

0-30 दिन (एमवीपी)

1. डेटा उत्पाद कैटलॉग (मैट्रिक्स/स्लाइस) और उनके ओपनएपीआई/ग्राफक्यूएल अनुबंध।

2. RLS/CLS के साथ SQL गेटवे, समुच्चय की k-गुमनामी, मूल कोटा।

3. एक REST-मीट्रिक एंडपॉइंट ('/भुगतान/मैट्रिक्स ') + कैश + पूल' bi _ hott/adhoc '।

4. gRPC फीचर स्टोर: 10-20 कुंजी ऑनलाइन फीचर्स (p95 ≤ 80 ms) पढ़ ना।

30-90 दिन

1. PSP अलर्ट/गेम इवेंट के लिए स्ट्रीम इंटरफेस (काफ्का/वेबहुक)।

2. प्रस्तुत-URL से Arrow/Parquet अपलोड; स्नैपशॉट कैटलॉग।

3. स्पष्ट नीतियों के साथ फेडरेशन गेटवे (ट्रिनो/प्रेस्टो)।

4. अवलोकन: डैशबोर्ड SLI/SLO, लागत/विलंबता/PII पर अलर्ट।

3-6 महीने

1. SDK (टाइपस्क्रिप्ट/पायथन/गो) के साथ पुनरावृत्ति/पहचान/कोटा.

2. उत्पादों और भागीदारों के लिए पतला ग्राफ़क्यूएल स्लाइस।

3. gRPC/FS एक्सटेंशन, offlayn↔onlayn बातचीत; shadow→canary रिलीज़।

4. गोपनीयता लेखा परीक्षा/डीएसएआर; अभिगम अनुपालन रिपोर्ट।

20) RACI

डेटा प्लेटफ़ॉर्म (आर): गेटवे, कैश, कोटा, फेडरेशन, वेधशाला।

डेटा गवर्नेंस (ए/आर): अनुबंध, संस्करण, गोपनीयता/के-गुमनामी।

डोमेन ओनर्स (आर): फील्ड सेमेंटिक्स, बिजनेस इनवेरिएंट्स, डेटा प्रोडक्ट्स।

सुरक्षा/डीपीओ (ए/आर): AuthN/Z, भू-अलगाव, DSAR/कानूनी पकड़।

SRE/ऑब्जर्वेबिलिटी (C): SLO/SLI, अलर्ट, क्षमता।

एनालिटिक्स/बीआई/डीएस (सी): फॉर्म/एग्रीगेट्स, एसडीके के लिए आवश्यकताएं।

21) संबंधित अनुभाग

विश्लेषणात्मक भंडारण अनुक्रमण, विश्लेषणात्मक क्वेरी अनुकूलन, डेटा स्कीमा और एवोल्यूशन, डेटा वैलिडेशन, डेटाऑप्स प्रैक्टिस, एनालिटिक्स और मेट्रिक्स एपीआई, फीचर स्टोर, डेटा सुरक्ट पॉलिसी।

कुल

उचित रूप से डिज़ाइन किए गए डेटा एक्सेस इंटरफेस भंडारण और प्रवाह को एक विश्वसनीय "उत्पाद" में बदल देते हैं: अनुमानित एसएलए, नियंत्रित लागत, गोपनीयता अनुपालन और उत्पाद टीमों, एनालिटिक्स, अनुपालन और भागीदारों के लिए। आईगेमिंग में, इसका मतलब है कि पीएसपी क्रैश को तेजी से पकड़ ना, खिलाड़ी के व्यवहार को समझना और नियामक आवश्यकताओं को पूरा करना - मैनुअल अपलोड और नाइट माइग्रेशन के बिना।