स्ट्रीमिंग और स्ट्रीमिं

1) उद्देश्य और मूल्य

• Antifraud/AML: जमा की संरचना की पहचान, वेग हमले, प्रदाताओं की विसंगतियाँ।
• जिम्मेदार गेमिंग (आरजी): सीमा से अधिक, जोखिम पैटर्न, आत्म-बहिष्करण।
• संचालन/एसआरई: एसएलए क्षरण, त्रुटि फटना, प्रारंभिक घटना संकेत।
• उत्पाद/विपणन: निजीकरण की घटनाएं, मिशन/quests, वास्तविक समय विभाजन।
• निकट-वास्तविक समय की रिपोर्टिंग: GGR/NGR शोकेस, ऑपरेटिंग पैनल।

लक्ष्य विशेषताएं: p95 एंड-टू-एंड 0। 5-5 एस, पूर्णता ≥ 99। 5%, प्रबंधित मूल्य।

2) संदर्भ वास्तुकला

1. Ingest/Edge

'/events/batch '(HTTP/2/3), gRPC, Otel कलेक्टर।

योजनाओं का सत्यापन, एंटी-डुप्लिकेट, जियो-रूटिंग।

2. घटना बस

काफ्का/रेडपांडा ('उपयोगकर्ता _ id/किरायेदार/बाजार' द्वारा विभाजित)।

" टूटे हुए "संदेशों के लिए प्रतिधारण 3-7 दिन, संपीड़न, डीएलक्यू/" संगरोध"।

3. स्ट्रीमिं

फ्लिंक/स्पार्क संरचित स्ट्रीमिंग/बीम।

स्टेटफुल स्टेटमेंट, सीईपी, वॉटरमार्क, अनुमति विलंबता, कमी।

संवर्धन (Redis/Scylla/ClickHouse-Lookup), अतुल्यकालिक I/O टाइमआउट के साथ।

4. सर्विंग/ऑपरेशनल डिस्प्ले

मिनट/दूसरे एकत्रीकरण और डैशबोर्ड के लिए क्लिकहाउस/पिनोट/ड्र्यूड।

स्कोरिंग मॉडल के लिए फीचर स्टोर (ऑनलाइन)।

अलर्ट विषय → SOAR/टिकटिंग/वेबहूक।

5. दीर्घकालिक भंडारण (लेकहाउस)

कांस्य (कच्चा), रजत (स्वच्छ), गोल्ड (सेवा) - पर्केट + डेल्टा/आइसबर्ग/हुडी।

रीप्ले/बैकटेस्ट, टाइम-ट्रैवल।

6. अवलोकन क्षमता

पाइपलाइन मैट्रिक्स, ट्रेसिंग (ओटीएल), लॉग, वंश।

3) योजनाएं और अनुबंध

स्कीमा-प्रथम: JSON/Avro/Protobuf + रजिस्ट्री, प्रत्येक घटना में 'स्कीमा _ संस्करण'।

विकास: बैक-संगत - नए शून्य क्षेत्र; ब्रेकिंग - '/v2 '+ डबल प्रकाशन।

आवश्यक क्षेत्र हैं 'ईवेंट _ टाइम' (UTC), 'इवेंट _ id', 'ट्रेस _ id', 'उपयोगकर्ता। pseudo_id', 'बाजार', 'स्रोत'।

4) विंडोज, वॉटरमार्क और लेट डेटा

• टंबलिंग, होपिंग, सत्र।
• वाटरमार्क: घटना-समय "ज्ञान" सीमा; जैसे 2-5 मिनट।
• देर से डेटा: पूर्व-जारी समायोजन, "देर = सही", एक मजबूत अंतराल के साथ डीएलक्यू।

sql
SELECT user_id,
TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS win_start,
COUNT() AS deposits_10m,
SUM(amount_base) AS sum_10m
FROM stream.payments
GROUP BY user_id, TUMBLE(event_time, INTERVAL '10' MINUTE);

5) स्टेटफुल एग्रीगेशन और सीईपी

कुंजी: 'उपयोगकर्ता _ id', 'युक्ति _ id', 'भुगतान। account_id'।

स्थिति: कमी के लिए स्लाइडिंग रकम/काउंटर, सत्र, खिलना फिल्टर।

सीईपी पैटर्न: संरचना (<दहलीज, times, प्रति टी विंडो), डिवाइस-स्विच, आरजी-थकान।

python if deposits.count(last=10MIN) >= 3 and deposits.sum(last=10MIN) > THRESH and all(d.amount < REPORTING_THRESHOLD):
emit_alert("AML_STRUCTURING", user_id, window_snapshot())

6) बिल्कुल एक बार, आदेश और पहचान

बस: कम से कम एक बार + विभाजन कुंजियाँ स्थानीय क्रम प्रदान करती हैं।

Idempotence: 'event _ id' + dedup state (TTL 24-72 h)।

सिंक: ट्रांजेक्शनल कमिट्स (2-चरण) या अपसर्ट/मर्ज-आइडेम्पोटेंसी।

आउटबॉक्स/इनबॉक्स: OLTP से डोमेन घटनाओं के प्रकाशन की गारंटी।

7) वास्तविक समय संवर्धन

लुकअप: Redis/Scylla (RG सीमा, KYC स्थिति, BIN→MCC, IP→Geo/ASN)।

अतुल्यकालिक कॉल: टाइमआउट और फॉलबैक ("अज्ञात") के साथ प्रतिबंध/एपीपी एपीआई।

FX/timezone: मात्रा और स्थानीय बाजार समय का सामान्यीकरण ('fx _ source', 'tz')।

8) सेवा और वास्तविक समय के स्टोरफ्रंट

क्लिकहाउस/पिनोट/ड्र्यूड: मिनट/सेकंड द्वारा एकत्रीकरण, भौतिक दृश्य।

गोल्ड-स्ट्रीम: ऑपरेशनल टेबल जीजीआर/आरजी/एएमएल, 1-5 मिनट की देरी के लिए एसएलए।

एपीआई/ग्राफक्यूएल: डैशबोर्ड और बाहरी एकीकरण के लिए कम विलंबता।

sql
CREATE MATERIALIZED VIEW mv_ggr_1m
ENGINE = AggregatingMergeTree()
PARTITION BY toDate(event_time)
ORDER BY (toStartOfMinute(event_time), market, provider_id) AS
SELECT toStartOfMinute(event_time) AS ts_min,
market,
provider_id,
sumState(stake_base) AS s_stake,
sumState(payout_base) AS s_payout
FROM stream.game_events
GROUP BY ts_min, market, provider_id;

9) अवलोकन और एसएलओ

• p95 ingest→alert ≤ 2 s (महत्वपूर्ण), ≤ 5 s (शेष)।
• T ≥ 99 विंडो की पूर्णता। 5%.
• स्कीमा त्रुटियाँ ≤ 0। 1%; 'trace _ id' ≥ 98% के साथ घटनाओं का प्रतिशत।
• स्ट्रीम सेवा उपलब्धता ≥ 99। 9%.

• पार्टी/विषय लैग्स, व्यस्त समय ऑपरेटर, राज्य आकार।
• फ़नल "sobytiye→pravilo→keys", "हॉट" कुंजियों का नक्शा, देर से अनुपात।
• लागत: लागत/जीबी, लागत/क्वेरी, चौकियों/रिप्ले की लागत।

10) गोपनीयता और अनुपालन

पीआईआई कम से कम: आईडी छद्म नामकरण, फील्ड मास्किंग, पैन/आईबीएएन टोकन।

डेटा रेजिडेंसी: क्षेत्रीय पाइपलाइनें (ईईए/यूके/बीआर), व्यक्तिगत एन्क्रिप्शन कुंजी।

कानूनी संचालन: DSAR/RTBF डाउनस्ट्रीम स्टोरफ्रंट पर, मामलों/रिपोर्टों के लिए कानूनी पकड़।

ऑडिट: एक्सेस लॉग, अपरिवर्तनीय समाधान अभिलेखागार।

11) अर्थशास्त्र और उत्पादकता

कुंजी और शार्डिंग: "हॉट" कुंजी (नमकीन/समग्र कुंजी) से बचें।

शर्त: उचित टीटीएल, स्नैपशॉट, ट्यूनिंग रॉकडीबी/बैकेंड स्थिति।

पूर्वग्रह: शोर धाराओं के लिए अप-फ्रंट कम।

नमूना: गैर-महत्वपूर्ण मैट्रिक्स पर मान्य (लेनदेन/अनुपालन पर नहीं)।

चार्जबैक: थीम/नौकरियों, कोटा और टीम आवंटन के लिए बजट।

12) स्ट्रीमिंग डीक्यू (गुणवत्ता)

Ingest-validation (स्कीमा, enums, size), dedup '(event_id, source)'।

धारा पर: पूर्णता/डुप-दर/देर-अनुपात, खिड़की नियंत्रण (कोई दोहरी गिनती नहीं)।

प्रतिक्रिया नीतियां: महत्वपूर्ण → DLQ + अलर्ट; प्रमुख/मामूली → टैग और फिर स्पष्ट।

yaml stream: payments rules:
- name: schema_valid type: schema severity: critical
- name: currency_whitelist type: in_set column: currency set: [EUR,USD,GBP,TRY,BRL]
- name: dedup_window type: unique keys: [event_id]
window_minutes: 1440

13) सुरक्षा और रिहाई नियंत्रण तक पहुंच

RBAC/ABAC: थ्रेड्स पढ़ ने, बदलते नियमों/मॉडल के लिए अलग-अलग भूमिकाएँ।

दोहरे नियंत्रण: "2 कुंजी" के माध्यम से नियमों और मॉडल का रोलआउट।

कैनरी/ए/बी: डार्क रूल और मॉडल रन, सटीक/रिकॉल कंट्रोल।

रहस्य: केएमएस/सीएमके, नियमित रोटेशन, लॉग में रहस्यों का निषेध।

14) प्रक्रियाएं और आरएसीआई

आर (जिम्मेदार): स्ट्रीमिंग प्लेटफ़ॉर्म (इन्फ्रा/रिलीज़), डोमेन एनालिटिक्स (नियम/सुविधाएँ), एमएलओपी (स्कोरिंग)।

ए (जवाबदेह): डोमेन द्वारा डेटा/जोखिम/अनुपालन के प्रमुख।

सी (परामर्श): डीपीओ/कानूनी (पीआईआई/प्रतिधारण), एसआरई (एसएलओ/घटनाएं), वास्तुकला।

I (सूचित): उत्पाद, समर्थन, विपणन, वित्त।

15) कार्यान्वयन रोडमैप

1. काफ्का/रेडपांडा + दो महत्वपूर्ण विषय ('भुगतान', 'औथ')।

2. वॉटरमार्क, डीडुप्लिकेशन और एक सीईपी नियम (एएमएल या आरजी) के साथ फ्लिंक नौकरी।

3. क्लिकहाउस/पिनोट शोकेस 1-5 मिनट, डैशबोर्ड लैग/पूर्णता।

4. हादसा चैनल (वेबहूक/जीरा), बुनियादी एसएलओ और अलर्ट।

• ऑनलाइन संवर्धन (Redis/Scylla), फ़ीचर स्टोर, अतुल्यकालिक लुकअप।
• कोड, कैनरी रिलीज के रूप में नियम प्रबंधन, ए/बी।
• स्ट्रीमिंग डीक्यू, पाइपलाइनों का क्षेत्रीयकरण, डीएसएआर/आरटीबीएफ प्रक्रियाएं।

• मल्टी-रीजन सक्रिय-सक्रिय, क्या-अगर रीप्ले सिम्युलेटर, थ्रेसहोल्ड का ऑटो-कैलिब्रेशन।
• फुल गोल्ड-स्ट्रीम शोकेस (GGR/RG/AML), निकट-वास्तविक समय की रिपोर्टिंग।
• मूल्य डैशबोर्ड, चार्जबैक, डीआर अभ्यास।

16) उदाहरण (टुकड़े)

sql
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY event_time
MEASURES
FIRST(A.device_id) AS d1,
LAST(B.device_id) AS d2,
COUNT() AS cnt
PATTERN (A B+)
DEFINE
B AS B.device_id <> PREV(device_id) AND B.ip_asn <> PREV(ip_asn)
) MR

java if (seenStore.putIfAbsent(eventId, now()) == null) {
context.forward(event);
}

17) प्री-सेल चेकलिस्ट

• रजिस्ट्री में योजनाएं और अनुबंध, बैक-कॉम्पैट परीक्षण हरे रंग के हैं।
• वॉटरमार्क/अनुमत विलंबता, डीडअप और डीएलक्यू शामिल हैं।
• कॉन्फ़िगर SLO और अलर्ट (lag/let/dup/state size)।
• कैश और टाइमआउट के साथ संवर्धन, फॉलबैक "अज्ञात"।
• आरबीएसी/नियमों/मॉडलों के लिए दोहरे नियंत्रण, सभी परिवर्तन लॉग किए जाते हैं।
• नियम, स्टोरफ्रंट और रनबुक प्रलेखन और रीप्ले/रोलबैक।

18) बार-बार गलतियाँ और उनसे कैसे बचें

घटना-समय को अनदेखा करें: वॉटरमार्क के बिना, मेट्रिक्स "फ्लोट"।

कोई कमी नहीं: झूठी अलर्ट और दोहरी गिनती।

गर्म कुंजियाँ: पार्टियों का विरूपण - नमकीन/पुनर्वास।

हॉट पथ में तुल्यकालिक फ्रंट-एंड एपीआई: केवल एसिंक + कैश।

अप्रबंधित लागत: पूर्वव्यापी, टीटीएल राज्य, कोटा, लागत-डैशबोर्ड।

सिम्युलेटर की कमी: "रीप्ले" के बिना रोलआउट रीग्रेशन के लिए नेतृत्व करते हैं।

19) शब्दावली (संक्षिप्त)

सीईपी - कॉम्प्लेक्स इवेंट प्रोसेसिंग।

वाटरमार्क - घटना-समय द्वारा विंडो तत्परता सीमा।

देर की घटनाओं की अनुमति - सहिष्णुता।

स्टेटफुल ऑपरेटर - एक सहेजे गए राज्य के साथ एक ऑपरेटर।

फीचर स्टोर - समन्वित सुविधा सर्फिंग (ऑनलाइन/ऑफ़लाइन)।

20) नीचे की रेखा

स्ट्रीमिंग और स्ट्रीमिंग एनालिटिक्स एक प्रबंधित प्रणाली है: अनुबंध, खिड़कियां और वॉटरमार्क, स्टेटफुल लॉजिक और सीईपी, संवर्धन और वास्तविक समय के स्टोरफ्रंट, एसएलओ और अवलोकन, गोपनीयता और मूल्य। वर्णित प्रथाओं का पालन करके, मंच को विश्वसनीय जोखिम डिटेक्टर, परिचालन पैनल और अनुमानित विलंबता और लागत के साथ निजीकरण प्राप्त होता है।