एपीआई के माध्यम से डेटा तुल्यकालन

1) सिंक्रनाइज़ेशन की आवश्यकता क्यों है और लक्ष्य क्या हैं

डोमेन स्थिरता: प्रोफ़ाइल, बटुआ, निर्देशिका, सीमा, केवाईसी।

लैग कम करना: महत्वपूर्ण प्रक्रियाओं (भुगतान, बोनस) के लिए लगभग वास्तविक समय।

लचीलापन: घटनाओं के नुकसान के बिना नेटवर्क/प्रदाता आउटेज का अनुभव करना।

अर्थशास्त्र: डेल्टा और पैकेटाइजेशन के माध्यम से अनुगामी/सीपीयू को कम करें।

सफलता मेट्रिक्स: स्रोत और उपभोक्ता के बीच अंतराल, ताजगी, डुप्लिकेट का अनुपात, संघर्षों का प्रतिशत, जीबी/घंटे नीले रंग की लागत।

2) सिंक्रोनाइज़ेशन मॉडल

2. 1 पुल (मतदान)

क्लाइंट अनुरोध अंतराल पर परिवर्तन करता है।

पेशेवरों: सादगी, लोड नियंत्रण।

विपक्ष: अंतराल, "खाली" चुनाव, परिवर्तन की उच्च दर पर लंघन का जोखिम।

सुधार: यदि-संशोधित-से, एटाग/इफ-नो-मैच, change_token।

2. 2 पुश (वेबहूक/घटनाएँ)

स्रोत प्राप्तकर्ता को घटनाओं को फुलाता है।

पेशेवरों: लगभग वास्तविक समय, चुनाव अर्थव्यवस्था।

विपक्ष: पुनर्वितरण, डीडुप्लीकेशन, सुरक्षा (हस्ताक्षर, एमटीएलएस) के साथ डिलीवरी की आवश्यकता है।

आवश्यकताएं: पहचाने जाने वाले उपभोक्ता, घातीय बैकऑफ, रीप्ले।

2. 3 सीडीसी/स्ट्रीमिंग (डेटा कैप्चर बदलें)

ट्रांजेक्शन लॉग/इवेंट लॉग (काफ्का, डेबेजियम) से परिवर्तनों का स्नैपशॉट।

पेशेवरों: पूर्णता, क्रम, पैमाना।

विपक्ष: जटिलता, आपको संचालन के प्रकारों पर नियंत्रण की आवश्यकता है (सम्मिलित/अद्यतन/हटाएं/समाधि पत्थर)।

2. 4 हाइब्रिड

वेबहुक एक "ट्रिगर" के रूप में, एक नतीजे के रूप में और सामंजस्य के लिए मतदान।

3) वृद्धिशील डेल्टा

3. 1 वाटरमार्क (टाइमस्टैम्प)

क्लाइंट 'last _ seed _ ts' और 'updated _ at> वॉटरमार्क' का अनुरोध करता है।

जोखिम: घंटे बहाव - UTC और NTP का उपयोग करें; 1-2 मिनट के लिए ओवरलैप विंडो लें और आईडी + संस्करण द्वारा डीडअप करें।

3. 2 बदलें टोकन/कर्सर

स्थिर अनुक्रम टोकन: '? कर्सर = eyJvZmZZZXQiOjEwMDB9 '।

पेशेवरों: ऑर्डर बदलने के लिए लचीलापन, पैमाने।

आवश्यकताएं: गैर-कमी वाले कर्सर, टीटीएल और सुरक्षित रीप्ले।

3. 3 नंबर वाले ऑफसेट (ऑटो-वेतन वृद्धि)

'id> last_id'। सरल, लेकिन अनुक्रम में शार्टिंग और "छेद" होने पर टूट जाता है।

4) बड़े नमूना पृष्ठभूमि

कीसेट/कर्सर (पसंदीदा): '? के बाद = कर्सर और सीमा = 1000 '- परिवर्तनों के साथ स्थिर।

ऑफसेट/सीमा - सरल, लेकिन महंगा और पारियों के अधीन।

हमेशा एक स्थिर सॉर्ट कुंजी निर्दिष्ट करें (उदाहरण के लिए, '(updated_at, id)')।

json
{
"items": [ { "id": "u_1", "updated_at": "2025-11-03T16:59:10Z" } ],
"next_cursor": "eyJ1cGRhdGVkX2F0IjoiMjAyNS0xMS0wM1QxNjo1OToxMFoifQ==",
"has_more": true
}

5) शब्दार्थ बदलें: अपसर्ट, मर्ज, डिलीट करें

5. 1 अपसर्ट/विलय

'पुट/रिसोर्स/{ id}' एक पूर्ण प्रतिस्थापन है।

'PATCH/संसाधन/{ id}' - आंशिक अद्यतन (सत्यापन के साथ पैच विलय करें)।

सभी लिखने के लिए 'Idempotency-Key' द्वारा पहचान।

5. 2 विलोपन

सॉफ्ट मिटाएँ (क्षेत्र 'मिटाया = सही', 'मिटाया _ at') - इतिहास सहेजें; सिंक समाधि देता है।

हार्ड डिलीट करें - गायब होने से पहले घटना को 'डेलेटेड' दें।

json
{ "id":"u_1", "event":"deleted", "deleted_at":"2025-11-03T17:00:00Z" }

6) संस्करण नियंत्रण और प्रतियोगिता

6. 1 ETag/If-Match (आशावादी ताले)

पढ़ें 'ETag: "v123"।

'इफ-मैच: "v123" से अपडेट करें - "खोए हुए अपडेट" के खिलाफ सुरक्षा।

संघर्ष के मामले में - 409 'error _ code के साथ संघर्ष: "CONFLICT_VERSION"'।

6. 2 अभिलेखों का सत्यापन

फ़ील्ड 'संस्करण '/' अद्यतन _ at' - डेल्टा गणना और डीडुप्लीकेशन में।

6. 3 विरोधाभास

नीतियां: अंतिम-लेखन-जीत, सर्वर-जीत, क्षेत्रों द्वारा विलय-रणनीति (उदाहरण के लिए, योग additive, झंडे स्रोत प्राथमिकता)।

7) ऑर्डर करना और डीडुप्लिकेशन

7. 1 सुपुर्दगी प्रक्रिया

गारंटी: कम से कम एक बार प्लस आइडेम्पोटेंसी - वास्तविक मानक।

महत्वपूर्ण नकदी प्रवाह के लिए - एक बार आइडेम्पोटेंसी स्टोर के माध्यम से प्रभाव।

7. 2 पहचान कुंजियाँ

डोमेन फ़ील्ड की संरचना: 'source _ id' घटना _ type 'अनुक्रम।

भंडारण टीटीएल 24-72 घंटे (या एसएलए में अधिक)।

7. 3 डीडुप्लिकेशन

रिसीवर पर लागू अंतिम संस्करण/seq को सहेजें; पुराने लोगों को छोड़ दें।

8) दोहराव, टाइमआउट, बैकऑफ

पुनर्प्राप्य: 5xx/429/408/टाइमआउट; गैर-पुनर्प्राप्य: 400/401/403/404/ 409/422/410/412।

घातीय बैकऑफ + जिटर: 1s, 2s, 4s... 30-60 के दशक तक।

429/503 के लिए सम्मान के बाद पुनरावृत्ति।

क्लाइंट टाइमआउट: कनेक्शन 3-5, सामान्य अनुरोध 10-30; प्रयासों की कुल सीमा 3-6।

9) लैग्स और एसएलए नियंत्रण

9. 1 SLI/SLO

SLI Lag: 'heased _ at' और 'उपभोक्ता में लागू' के बीच मध्य/p95 अंतराल।

SLO: उदाहरण के लिए, 'p95 लैग ≤ 60 (28 डी)', "खोई हुई घटनाओं का हिस्सा = 0", डुप्लिकेट्स ≤ 0 का हिस्सा। 01%».

त्रुटि बजट: रिलीज/प्रयोगों पर खर्च करें।

9. 2 मेट्रिक्स

'sync _ lag _ selections', 'events _ repressed _ tolate', 'events _ applicates _ total', 'conflicates _ total', 'retries _ total', 'backlog _ size', 'कर्सर _ adrage _ adage _ regrad _ "।

10) सुलह और बैकफिल

दिन/घंटे के सामंजस्य: योग/विंडो हैश।

सुलह एपीआई: 'GET/मेल मिलाप? से =... और =... 'चेकसम और वेरिएंट्स को रिटर्न करता है।

बैकफिल: डीडीओएस स्रोत के बिना, एक कर्सर के साथ बैचों में ऐतिहासिक डेटा को फिर से लोड करना; सीमाओं का निरीक्षण करें।

11) योजनाएं और उदाहरण

11. 1 वेबहुक घटना (हस्ताक्षरित)

json
{
"event": "user. updated",
"id": "evt_01HX",
"occurred_at": "2025-11-03T18:00:05Z",
"sequence": 123456,
"data": { "id": "u_1", "email": "a@b. com", "updated_at": "2025-11-03T18:00:02Z" }
}

• 'एक्स-सिग्नेचर: sha256 = '
• 'एक्स-इवेंट-आईडी: evt_01HX'
• 'एक्स-रेट्री: 0.. एन'

11. 2 वृद्धिशील नमूना (मतदान)

'GET/v1/उपयोगकर्ता? updated_after=2025-11-03T17: 58:00Z&cursor=...&limit=1000'

11. 3 आइडेम्पोटेंट अपसर्ट

POST /v1/users
Idempotency-Key: upsert-u_1-20251103T1800Z
{ "id":"u_1","email":"a@b. com","version":124 }
→ 201/200 (stable)

12) सुरक्षा और अनुपालन

औथ: OAuth2 स्कोप/JWT; लिंक चैनलों के लिए - मांग पर mTLS।

कैप्शन: वेबहुक के लिए HMAC सुर्खियाँ, घूर्णन रहस्य।

पीआईआई कम से कम, लॉग में मास्किंग; GDPR/DSAR अपलोड/मिटाएँ.

RBAC/ABAC: किरायेदार/संगठन पहुंच, सख्त कोटा।

13) अवलोकन और लॉग

Лейблы: 'एनवी', 'सर्विस', 'किरायेदार', 'सोर्स', 'कर्सर', 'सेक', 'इवेंट _ टाइप'।

सहसंबंध: इनपुट से 'ट्रेस _ आईडी' लॉग और ट्रेस पर लागू होता है।

डैशबोर्ड: लैग, बैकलॉग, कर्सर स्पीड, टाइप त्रुटियां, 429/5xx, लागत (एग्रेस/मिनट)।

14) फिनोप्स: सिंक्रनाइज़ेशन लागत

बैचिंग (बैच आकार 100-1000) + संपीड़न (gzip/br)।

अपरिवर्तित पृष्ठों के लिए कैशिंग और ईटीएजी।

पतले पेलोड: केवल बदले हुए क्षेत्र, मांग पर पूर्ण संसाधन के लिए एक लिंक।

बैकफिल के लिए संगोष्ठी की सीमा और "रात की खिड़कियां"।

15) परीक्षण और गुणवत्ता

15. 1 अनुबंध और नकारात्मक मामले

JSON योजनाओं, आवश्यक क्षेत्रों, स्थिरता 'त्रुटि _ कोड' को मान्य करें.

टेस्ट: आउट-ऑफ-ऑर्डर, डुप्लिकेट, स्किपिंग इवेंट्स, संस्करण संघर्ष, 429/5xx।

15. 2 अराजकता/खेल

इंजेक्शन: नेटवर्क में देरी, 10-30% घटनाओं को छोड़ दें, फिर से व्यवस्थित करें।

मानदंड: बनाए रखा आदेश/अखंडता? कोई नुकसान नहीं? SLO के भीतर अंतराल?

16) कार्यान्वयन चेकलिस्ट

• चयनित मॉडल (पुश/पुल/हाइब्रिड) और सत्य का स्रोत।
• वृद्धिशील डेल्टास: वॉटरमार्क या कर्सर/टोकन।
• Pagination: स्थिर ग्रेड के साथ कर्सर/कीसेट।
• आइडेम्पोटेंसी-स्टोर, कुंजियाँ और टीटीएल; dedup '(id, संस्करण/seq)' द्वारा।
• ETag/If-Match और संघर्ष नीति (LWW/Server-wins/merge).
• Retry/bacoff/jitter, 'Retry-After' का सम्मान करें।
• मेट्रिक्स लैग/बैकलॉग/डुप्लिकेट/संघर्ष, डैशबोर्ड और अलर्ट।
• सुलह एपीआई + दैनिक सामंजस्य।
• सुरक्षा: OAuth2/JWT, वेबहुक हस्ताक्षर, एमटीएलएस, पीआईआई नीतियां।
• FinOps: बैच + संपीड़न, संगति सीमा, कोटा।
• टेस्ट सूट: रिऑर्डर, डुप्लिकेट, आउटेज, बैकफिल।

17) कार्यान्वयन योजना (3 पुनरावृत्ति)

1. एमवीपी (1-2 सप्ताह):

कर्सर पगिनेशन, वॉटरमार्क डेल्टास, आइडेम्पोटेंट अपसर्ट, बेसिक लैग/बैकलॉग, रीट्री + बैकऑफ मेट्रिक्स।

2. स्केल (2-3 सप्ताह):

ट्रिगर + पोलिंग-फॉलबैक, एचएमएसी हस्ताक्षर, सुलह, ईटीएजी/इफ-मैच, डैशबोर्ड और लैग द्वारा अलर्ट के रूप में वेबहूक।

3. प्रो (3-4 सप्ताह):

हॉट डोमेन, ऑटो-बैकफिल, डीआर स्क्रिप्ट, फिनोप्स ऑप्टिमाइजेशन (बैच/ब्रोटली), लैग और रिपोर्टिंग के लिए एसएलए के लिए सीडीसी/स्ट्रीमिंग (काफ्का/डेबेजियम)।

18) मिनी-एफएक्यू

क्या चुनें: वॉटरमार्क या कर्सर?

कर्सर/कीसेट पुनर्क्रम और पैमाने के लिए अधिक प्रतिरोधी है; वॉटरमार्क शुरू करना आसान है, लेकिन ओवरलैप और डेडअप जोड़ें।

क्या यह बिल्कुल एक बार की जरूरत है?

सामान्य तौर पर, महंगा। अभ्यास - कम से कम-एक बार + पहचान; बिल्कुल एक बार - केवल मौद्रिक प्रभावों के लि

झगड़ों को कैसे कम करें?

ETag/If-Match का उपयोग करें, फ़ील्ड द्वारा डिज़ाइन विलय करें, "छिपे हुए" दुष्प्रभावों से बचें।

कुल

विश्वसनीय तुल्यकालन वृद्धिशील डेल्टास + सही पृष्ठभूमि + निष्क्रियता और संस्करण नियंत्रण है, जो अवलोकन, चमक और किफायती परिवहन द्वारा बढ़ाया जाता है। सही मॉडल (पुश/पुल/सीडीसी) चुनें, अंतराल पर एसएलओ को पिन करें, संघर्ष नीतियों और गंदे परिदृश्य परीक्षणों को लागू करें - और आपका डेटा एक्सचेंज अनुमानित, टिकाऊ और लागत प्रभावी हो जाता है।