रियल-टाइम सिग्नल प्रोसेसिंग

1) उद्देश्य और व्यवसाय मूल्य

"यहाँ और अब" का जवाब देने के लिए एक वास्तविक समय की धारा की आवश्यकता है:

एंटीफ्राड/एएमएल: संरचना जमा, "मुलिंग", वेग हमले।
जिम्मेदार गेमिंग (आरजी): सीमा से अधिक, व्यवहार के जोखिम पैटर्न।
जोखिम/अनुपालन: ऑनलाइन पंजीकरण/लेनदेन मंजूरी स्क्रीनिंग।
निजीकरण: बोनस/मिशन ट्रिगर, प्रतिक्रियाशील अभियान।
संचालन/एसआरई: एसएलए गिरावट, त्रुटियों की हवा, मैट्रिक्स की विसंगतियाँ।

मुख्य उद्देश्य: कम विलंबता (p95 0। 5-5 एस), उच्च पूर्णता (≥99। 5%), प्रतिरोध में वृद्धि।

2) सिग्नल टैक्सोनॉमी

लेन-देन: 'भुगतान। जमा/निकासी/चार्जबैक '।

गेमिंग: 'खेल। शर्त/भुगतान ',' खेल। session_start/stop'।

सत्यापन: 'प्रामाणिक. लॉगिन/असफलता', युक्ति परिवर्तन/भू.

व्यवहार: दांव की दर, राशि की घातीय वृद्धि, रात की गतिविधि।

ऑपरेटिंग रूम: 'एपी। विलंबता ',' त्रुटि। दर ', चूल्हा का एक "तूफान" फिर से शुरू होता है।

प्रत्येक प्रकार में एक स्कीमा, डोमेन मालिक, आलोचना, एसएलओ और देर से डेटा नियम होते हैं।

3) रियल-टाइम लूप संदर्भ वास्तुकला

1. इनगेस्ट एंड बस: HTTP/gRPC → Edge → Kafka/Redpanda ('user _ id/kanant' द्वारा विभाजन)।

2. स्ट्रीमिंग- движок: फ्लिंक/स्पार्क संरचित स्ट्रीमिंग/बीम; राजकीय बयान, सीईपी।

3. ऑनलाइन संवर्धन: लुकअप टेबल (रेडिस/स्काइला/क्लिकहाउस रीड-ओनली), प्रदाता कैश (प्रतिबंध/सीयूएस)।

4. सिंकी:

अलर्ट विषय/क्यू (केस प्रबंधन, SOAR)।
Fichestor ऑनलाइन (स्कोरिंग मॉडल)।
गोल्ड स्ट्रीम शोकेस (ऑपरेशनल डैशबोर्ड)।
फास्ट एनालिटिक्स (क्लिकहाउस/पिनोट/ड्र्यूड) के लिए "वार्म" भंडारण।
5. पुरालेख/फोरेंसिक: झील में अपरिवर्तनीय तह (Parquet, समय-यात्रा)।
6. अवलोकन: ट्रेसिंग/मैट्रिक्स/लॉग + वंश।

4) विंडोज, वॉटरमार्क और "लेट डेटा"

विंडो दृश्य:

टंबलिंग: निश्चित विंडो (जैसे। 1 मिनट) - सरल समुच्चय।
होपिंग: ओवरलैपिंग (जैसे। चरण 30 एस, विंडो 2 मिनट) - "चिकनी" मैट्रिक्स।
सत्र: निष्क्रियता अंतराल - व्यवहार विश्लेषण।
वाटरमार्क: घटना-समय के लिए "समय का ज्ञान" सीमा; विलंबता की अनुमति दें (उदा। 2 मिनट)।
बेलेटेड रणनीतियाँ: समायोजन का अतिरिक्त मुद्दा, पोस्टस्क्रिप्ट "लेट = ट्रू", डीएलक्यू।

5) राज्यपूर्ण कथन और कमी

कुंजी: 'user _ id', 'भुगतान द्वारा। account_id', 'डिवाइस _ आईडी'।

स्थिति: योजक, स्लाइडिंग काउंटर, पहचान के लिए खिलने वाले फिल्टर।

डेडअप: राज्य/केवी में '(event_id, seen_at)' का भंडारण; TTL = 24-72 घंटे।

बिल्कुल एक बार: ट्रांजेक्शनल सिंक 'और (2-चरण), आइडेम्पोटेंट अपसर्ट ऑपरेशन।

6) स्ट्रीम संवर्धन

लुकअप जॉय: आरजी सीमा, उपयोगकर्ता जोखिम दर, केवाईसी स्तर, भू/एएसएन।

अतुल्यकालिक कॉल: प्रतिबंध रजिस्ट्री/विरोधी धोखाधड़ी प्रदाता (async I/O, टाइमआउट और फॉलबैक)।

मुद्रा सामान्यीकरण/समय क्षेत्र: यूटीसी और आधार मुद्रा के लिए एकीकरण; 'fx _ source' को ठीक करें।

7) सीईपी: जटिल पैटर्न का पता लगाना

नियमों के उदाहरण:

संरचना: जमा करें ≥3 10 मिनट के लिए, प्रत्येक <रिपोर्टिंग सीमा, कुल> एक्स।
डिवाइस-स्विच: 15 मिनट + आईपी/एएसएन में 3 अलग-अलग डिवाइस बदलते हैं।
आरजी-थकान: 1 घंटे के लिए कुल दांव> सीमा + हानि ≥ Y.
ऑप्स-स्टॉर्म: p95 विलंबता> 2 × आधार, 5xx> 5-मिनट विंडो में 3%।

CEP को फ्लिंक CEP/SQL या इवेंट टेम्पलेट लाइब्रेरी में आसानी से व्यक्त किया जाता है।

8) ऑनलाइन सुविधाएँ और मॉडल

फीचर पाइपलाइनें: काउंटर, वेग-मैट्रिक्स, "अंतिम घटना के बाद का समय", शेयर-ऑफ-वॉलेट।

ऑनलाइन/ऑफ़लाइन स्थिरता: एक परिवर्तन कोडबेस; संक्रमण परीक्षण।

स्कोरिंग: लाइट मॉडल (लॉगिट/GBDT) तुल्यकालिक रूप से; कतार के माध्यम से भारी - अतुल्यकालिक।

बहाव नियंत्रण: पीएसआई/केएस और अलर्ट; नए मॉडलों के लिए "डार्क लॉन्च"।

9) सुपुर्दगी की गारंटी और प्रक्रिया

रिसेप्शन पर टायर + पहचान में कम से कम एक बार।

कुंजी विभाजन एक स्थानीय आदेश प्रदान करता है।

रिट्रीज़और बैकप्रेशर: जिटर, स्वचालित दबाव नियंत्रण के साथ घातीय रिट्रेज़।

10) एसएलओ/एसएलआई (अनुशंसित)

संकेतक	उद्देश्य
p95 एंड-टू-एंड लेटेंसी (इनगेस्ट → अलर्ट)	≤ 2 एस (क्रेते), ≤ 5 एस (गैर-क्रेते)
प्रति टी विंडो पूर्णता	≥ 99. 5%
सर्किट/मान्यता प्राप्त त्रुटियाँ	≤ 0. घटनाओं का 1%
trace_id के साथ घटनाओं का अनुपात	≥ 98%
सटीक चेतावनी/याद करें	≥ 0. 8 / ≥ 0. 7
स्ट्रीम सेवा उपलब्धता	≥ 99. 9%

11) वास्तविक समय समोच्च की अवलोकन

पाइपलाइन मैट्रिक्स: थ्रूपुट, प्रति विभाजन अंतराल, व्यस्त समय, चेकपॉइंट अवधि।

सिग्नल की गुणवत्ता: पूर्णता, दोहराव दर, देर से अनुपात।

डैशबोर्ड: विषय द्वारा लैग्स का हीट मैप, अलर्ट फ़नल (sobytiye→pravilo→keys), हॉट की मैप।

ट्रेसिंग: घटनाओं को शुरू करने के साथ सहयोगी अलर्ट (trace_id)।

12) सुरक्षा और गोपनीयता

पीआईआई कम से कम: पहचानकर्ताओं का टोकन, संवेदनशील क्षेत्रों का मास्किंग।

भू-निवास: क्षेत्रीय कन्वेयर (EEA/UK/BR)।

ऑडिट: अपरिवर्तनीय निर्णय लॉग (जो, क्या, क्यों), मामलों के लिए कानूनी पकड़।

पहुंच: नियमों/मॉडलों के लिए RBAC, किकआउट पर दोहरा नियंत्रण।

13) लागत और प्रदर्शन

हॉट कुंजियाँ: पुनर्वितरण (कुंजी नमकीन), समग्र कुंजी।

शर्त: उचित टीटीएल, वृद्धिशील भौतिककरण, रॉकडीबी ट्यूनिंग।

विंडोज: इष्टतम आकार और अनुमत विलंबता; "शोर" धाराओं के लिए पूर्व-एकत्रीकरण परतें।

नमूना: गैर-महत्वपूर्ण प्रवाह पर और मीट्रिक स्तर पर (लेनदेन/अनुपालन पर नहीं)।

14) उदाहरण (सरलीकृत)

फ्लिंक एसक्यूएल - संरचित जमा (10-मिनट विंडो, चरण 1 मिनट):

sql
CREATE VIEW deposits AS
SELECT user_id, amount, ts
FROM kafka_deposits
MATCH_RECOGNIZE (
PARTITION BY user_id
ORDER BY ts
MEASURES
FIRST(A. ts) AS start_ts,
SUM(A. amount) AS total_amt,
COUNT() AS cnt
ONE ROW PER MATCH
AFTER MATCH SKIP PAST LAST ROW
PATTERN (A{3,})
WITHIN INTERVAL '10' MINUTE
) MR
WHERE total_amt > 500 AND cnt >= 3;

बोली द्वारा एंटी-वेग छद्म कोड:

python key = event. user_id window = sliding(minutes=5, step=30)   # hopping window count = state. counter(key, window)
sum_amt = state. sum(key, window)
if count > 30 or sum_amt > THRESH:
emit_alert("RG_VELOCITY", key, snapshot(state))

काफ्का धाराएँ event_id:

java if (!kvStore.putIfAbsent(event. getId(), now())) {
forward(event); // unseen -> process
}

15) प्रक्रियाएं और आरएसीआई

आर (जिम्मेदार): स्ट्रीमिंग प्लेटफ़ॉर्म (जानकारी, स्थिति, रिलीज़), डोमेन एनालिटिक्स (नियम/सुविधाएँ)।

ए (जवाबदेह): इसके डोमेन द्वारा डेटा/जोखिम/अनुपालन के प्रमुख।

सी (परामर्श): डीपीओ/कानूनी (पीआईआई/प्रतिधारण), एसआरई (एसएलओ/घटनाएं), वास्तुकला।

I (सूचित): उत्पाद/सहायता/विपणन।

16) कार्यान्वयन रोडमैप

एमवीपी (2-4 सप्ताह):

1. 2-3 महत्वपूर्ण संकेत (जैसे) 'भुगतान। जमा करें ',' auth। लॉगिन ',' खेल। शर्त ')।

2. काफ्का + फ्लिंक, बेसिक डेडअप और वॉटरमार्क; धोखाधड़ी विरोधी और आरजी के लिए एक सीईपी नियम।

3. ऑपरेशनल स्टोरफ्रंट के लिए क्लिकहाउस/पिनोट; डैशबोर्ड लैग/पूर्णता।

4. हादसा चैनल (वेबहुक/जीरा) और मैनुअल ट्राइएज।

चरण 2 (4-8 सप्ताह):

ऑनलाइन फिचस्टर, स्कोरिंग लाइट मॉडल; अतुल्यकालिक लुकअप (प्रतिबंध/सीसीएल)।
कोड, कैनरी रोल, ए/बी नियम के रूप में नियम प्रबंधन।
क्षेत्रीयकरण और पीआईआई नियंत्रण, मामलों के लिए कानूनी पकड़।

चरण 3 (8-12 सप्ताह):

सिग्नल कैटलॉग, प्रलेखन की ऑटो-जनरेशन, रीप्ले और क्या-अगर सिम्युलेटर।
थ्रेसहोल्ड का ऑटो-कैलिब्रेशन (बायेसियन/मात्रा), सटीक/रिकॉल मेट्रिक्स ऑनलाइन।
DR-अभ्यास, बहु-क्षेत्र सक्रिय-सक्रिय, कमांड द्वारा चार्जबैक मॉडल।

17) बिक्री से पहले गुणवत्ता जांच सूची

योजनाएं और अनुबंध, निगरानी में मान्यता।
विंडोज कॉन्फ़िगर, वॉटरमार्क, अनुमत विलंबता + डीएलक्यू।
डेडअप और आइडेम्पोटेंट सिंक 'i।
लैग/थ्रूपुट/राज्य आकार मेट्रिक्स, एसएलओ अलर्ट।
सुरक्षा: नियम/मॉडल पर आरबीएसी, पीआईआई मास्किंग।
प्रलेखन: मालिक, एसएलओ, उदाहरण, निर्भरता मानचित्र।
रोलबैक प्रक्रियाएं और फ्रिज़बटन।

18) बार-बार गलतियाँ और उनसे कैसे बचें

घटना-समय को अनदेखा करें: वॉटरमार्क का उपयोग करें, अन्यथा मेट्रिक्स "स्लाइड" करेंगे।

कोई deduplication - duplicates गलत अलर्ट → टाइप idempotency उत्पन्न करेगा।

गर्म कुंजियाँ: पार्टियों का विरूपण - नमकीन/पुनर्वास।

विंडोज बहुत कठिन: देर से नुकसान - अनुमति दी विलंबता + सुधारात्मक उत्सर

PII सम्मिश्रण: अलग टोकन और विश्लेषणात्मक प्रवाह।

कोई सिम्युलेटर नहीं: रोल आउट करने से पहले "रीप्ले" पर टेस्ट नियम।

19) शब्दावली (संक्षिप्त)

सीईपी - कॉम्प्लेक्स इवेंट प्रोसेसिंग, पैटर्न का पता लगाना।

विंडो तत्परता के लिए वॉटरमार्क - टाइम सीमा।

अनुमत विलंबता - देर से होने वाली घटनाओं का प्रवेश।

स्टेटफुल ऑपरेटर एक लगातार ऑपरेटर है।

एमएल के लिए ऑनलाइन/ऑफ़लाइन विशेषताओं का फीचर स्टोर।

20) नीचे की रेखा

रियल-टाइम सिग्नल प्रोसेसिंग एक नियंत्रित पाइपलाइन है जिसमें स्पष्ट सर्किट, खिड़कियां और वॉटरमार्क, स्टेटफुल लॉजिक, ऑनलाइन संवर्धन और सख्त एसएलओ हैं। इन प्रथाओं का पालन करके, आपको तेज और विश्वसनीय जोखिम डिटेक्टर, स्थायी निजीकरण ट्रिगर और परिचालन डैशबोर्ड मिलते हैं जो संयम और अनुपालन के साथ पैमाने पर होते हैं।

रियल-टाइम सिग्नल प्रोसेसिंग

हमसे संपर्क करें

त्वरित संपर्क

वीडियो जल्द ही अपडेट किया जाएगा

हम इस समय परियोजनाओं में बहुत व्यस्त हैं