स्वचालित त्रुटि सुधार

1) उद्देश्य और सिद्धांत

उद्देश्य: एमटीटीआर को कम करना और एसएलओ, राजस्व और अनुपालन को संरक्षित करके घटनाओं की वृद्धि को रोकना।

• SLO-first: ऑटो-एक्शन की अनुमति केवल तभी होती है जब त्रुटि बजट के लिए एक पुष्ट खतरा हो।
• सुरक्षा पहले: न्यूनतम विस्फोट-त्रिज्या, स्पष्ट सीमा और टाइमबॉक्स।
• डिजाइन द्वारा व्याख्यात्मक: प्रत्येक क्रिया व्याख्यात्मक और श्रव
• रोलबैक-तैयार: कोई भी कदम वापसी मानदंड के साथ है।
• मानव-इन-द-लूप जहां जोखिम अधिक है: P1-critical परिवर्तन - दोहरे नियंत्रण या आईसी/ऑन-कॉल पुष्टि के माध्यम से (जब तक कि अन्यथा नीति द्वारा स्थापित नहीं किया जाता है)।

2) शर्तें

ऑटो-रिमेडिएशन: मानव हस्तक्षेप के बिना एक घटना (अलर्ट/विसंगति) के लिए प्रोग्रामेटिक प्रतिक्रिया।

रेलिंग: प्रतिबंध नीति (सीमा, अवधि, प्रयासों की संख्या, प्रभाव क्षेत्र)।

रनबुक-एक्शन: प्री/पोस्ट चेक और रोलबैक के साथ परमाणु ऑपरेशन।

निर्णय इंजन - एक सेवा जो नीतियों और ट्रिगर कार्यों के लिए एक घटना को मैप करती है।

3) समाधान वास्तुकला

1. संकेत: एसएलओ/बर्न-रेट, केआरआई, सिंथेटिक्स, आरयूएम, गहरे स्वास्थ्य।

2. संदर्भ सहसंबंध: रिलीज, फ्लैग, नियोजित कार्य, आश्रित प्रदाता।

3. निर्णय इंजन: नियम/नीतियां (नीति-जैसे-कोड), प्रभाव और जोखिम मूल्यांकन, परिदृश्य चयन।

4. निष्पादन: रनबुक क्रियाओं के ऑर्केस्ट्रेटर (पहचान, जिटर के साथ रेट्राई)।

5. नियंत्रण: पूर्व-सत्यापन, पोस्ट-वेरिफायर, टाइमबॉक्स, रोलबैक।

6. ऑडिट और वेधशाला: गतिविधि ट्रेस, सफलता मेट्रिक्स, लॉग (WORM/अपरिवर्तनीय)।

7. संचार: स्थिति पृष्ठ (कॉम्स लीड के माध्यम से), var-कमरा, समर्थन के लिए मैक्रोस।

4) पॉलिसी-ए-कोड

• 'यदि burn_rate (भुगतान)। auth)> फास्ट एंड इफेक्ट> थ्रेशोल्ड एंड psp_alt। स्वस्थ और within_limits ("psp _ reroute") '

• 'allow अगर p99 ( )> 3x & & & feature ("repay _ center")। सक्षम किया गया '

• 'अगर alloy और and। ठीक है और region_capacity। उपलब्ध '

• 'यदि export_spike & no_ticket & & data_class=PII -> कार्रवाई = ब्लॉक + सूचित करें (अनुपालन)'

प्रत्येक नीति में शामिल हैं: स्थिति, कार्रवाई, सीमा (दायरा/समय/आवृत्ति), सफलता मानदंड, रोलबैक।

5) सुरक्षित कार्रवाई निर्देशिका (परमाणु रनबुक-क्रियाएं)

भुगतान: एक वैकल्पिक पीएसपी/बैंक में यातायात स्विच करें; रूटिंग हेल्थ × शुल्क × रूपांतरण की प्राथमिकताओं को बदलें; सरलीकृत 3DS को jitter के साथ रिट्रे सीमा बढ़ाने में सक्षम करें।

सट्टेबाजी/गेमिंग: स्केल सेटल वर्कर्स; कैश-वार्मअप अस्थायी रूप से गैर-महत्वपूर्ण सुविधाओं (एनिमेशन, द्वितीयक फीड) को अक्षम करें; प्रतीक्षा कक्ष/कतार-पृष्ठ सक्षम करें।

बुनियादी ढांचा: अपमानित उदाहरणों (बाहरी-डिटेक्टर) को हटाएं, पड़ोसी AZ/क्षेत्र में यातायात को खाली करें; पूल/कोटा बढ़ाएं श्रमिकों को लिंट जांच के साथ फिर से शुरू करें।

डेटा/कतारें: पुनर्वितरण पार्टियां; उपभोक्ताओं को टोपी तक उठाना; स्वस्थ प्रतिकृति के लिए ट्रैफ़िक पढ़ें; अनुकूली मार्ग नमूना सक्षम करें।

सुरक्षा/अनुपालन: अस्थायी रूप से टिकट के बिना पीआईआई निर्यात को अवरुद्ध करें; वेग उत्पादन सीमा को मजबूत करना संवेदनशील कार्यों पर दोहरे नियंत्रण को सक्षम करता है।

अल्पविराम परत: कॉम्स लीड के लिए ऑटो-ड्राफ्ट स्थिति + अद्यतन स्लॉट; जब PSP अपमानित करता है तो भागीदारों को सूचित करना।

6) प्री- और पोस्ट-मान्यता

• जाँचें कि समस्या वास्तविक और ताजा है (एन-ऑफ-एम विंडो; कोई मौन/नियोजित कार्य नहीं)।
• यह सत्यापित करें कि नीति द्वारा कार्रवाई की अनुमति है और एक संसाधन बजट है।
• लागत (FinOps) और अनुपालन बाधाओं का अनुमान लगाएं।

• बर्न-रेट/मैट्रिक्स में कमी की पुष्टि करें; परिणाम रिकॉर्ड करें; शर्तों के अनुसार ऑटो-रोलबैक अनुसूचित करें।

7) रोलबैक - "एस्केप हैच"

मैट्रिक्स को स्थिर करते समय और अधिकतम-टीटीएल क्रियाओं के माध्यम से ऑटो-रिटर्न।

वार रूम में आईसी/ऑन-कॉल के लिए रोल बैक बटन।

केवल आपातकालीन पहुंच के लिए ब्रेक-ग पोस्ट-ऑडिट की आवश्यकता है।

8) सतर्कता और घटनाओं के साथ एकीकरण

कोई भी ऑटो-एक्शन घटना कार्ड से जुड़ा होता है: कौन/क्या/कब/क्यों, परिणाम, रेखांकन से लिंक।

पेजर डुप्लिकेट के लिए मौन है, लेकिन असफल ऑटो-फिक्स (वृद्धि) के लिए नहीं।

स्थिति पृष्ठ को टेम्पलेट से कॉम्स लीड के माध्यम से अपडेट किया गया है।

9) सुरक्षा और अनुपालन डिजाइन

ऑर्केस्ट्रेटर के लिए कम से कम विशेषाधिकार; प्रति एक्शन/डोमेन व्यक्तिगत भूमि

उच्च जोखिम के लिए एसओडी और दोहरे नियंत्रण: पीएसपी रूटिंग, बोनस सीमा, पीआईआई निर्यात।

इनपुट और नीति संस्करणों सहित सभी स्वचालित समाधानों के WORM/अपरिवर्तनीय ऑडिट करें।

PII स्वच्छता: लेबल और एक्शन लॉग में व्यक्तिगत पहचानकर्ताओं के बिना।

10) ऑटो-लूप की अवलोकन क्षमता

मेट्रिक्स: क्रियाओं की सफलता दर, प्रतिक्रिया समय,% रोलबैक, एमटीटीआर बचत, एसएलओ पर प्रभाव।

निशान: सिग्नल के लिए एंड-टू-एंड निशान → निर्णय → क्रिया → प्रभाव।

लॉग: संरचित, policy_id, संस्करण और पूर्व/पोस्ट चेक के साथ।

डैशबोर्ड: Exec (राजस्व प्रभाव/SLO), ऑप्स (एक्शन मैट्रिक्स × डोमेन), FinOps (ऑटो-उपायों की लागत)।

11) उदाहरण परिदृश्य (iGaming)

11. 1 पीएसपी गिरावट (टीआर/ईयू)

सिग्नल: 10 मिनट में 25% की सफलता, कवरेज> 30% लेनदेन।

क्रियाएं: 40% यातायात को PSP-2/3 में पुनर्वितरित करना; सरलीकृत 3DS को jitter के साथ बैंक X अनुरोधों की पुनरावृत्ति को सक्षम करें।

सीमाएं: वैकल्पिक पीएसपी प्रति कुल यातायात का 60% से अधिक नहीं; टीटीएल 45 मिनट।

रोलबैक: सफलता-दर के सामान्यीकरण पर - 15 मिनट के लिए लक्ष्य।

11. निपटान दांव पर 2 राइजिंग p99

सिग्नल: p99 "bet→settle"> 3 × मानदंड + उपभोक्ता-अंतराल> सीमा।

क्रियाएं: टोपी से पहले श्रमिकों का स्केल-आउट; गुणांक कैश वार्म-अप; अस्थायी रूप से "फिर से इतिहास" बंद करें।

रोलबैक: हेडरूम> X और p99 के बाद सामान्य रूप से 20 मिनट।

11. 3 डेटाबेस प्रतिकृति पीछे है

सिग्नल: प्रतिकृति-लैग> एन सेकंड, लॉक-वेट ग्रोथ।

क्रियाएं: ट्रैफ़िक को एक स्वस्थ प्रतिकृति में डायवर्ट करें; कम प्राथमिकता वाले थ्रॉटलिंग राइट ऑपरेशन

रोलबैक: अंतराल सामान्यीकरण और लॉक त्रुटियों के बाद।

11. 4 पीआईआई निर्यात स्पाइक

सिग्नल: निर्यात दर> बेसलाइन × K, कोई टिकट नहीं।

क्रियाएँ: निर्यात खंड, अनुपालन अधिसूचना, दोहरा नियंत्रण सक्षम।

रोलबैक: अनुरोधों की पुष्टि करने और विसंगति को बंद करने के बाद।

12) केपीआई и केआरआई

MTTR↓ उन घटनाओं के लिए जहां ऑटो-फिक्स ने काम किया।

TTD→Action: पता लगाने से लेकर कार्रवाई तक का समय।

क्रियाओं की सफलता-दर और रोलबैक-दर (कम - अच्छा, यदि झूठी सकारात्मकता के कारण नहीं)।

झूठी-क्रिया दर (बिना किसी प्रभाव या नकारात्मक प्रभाव के साथ क्रिया)।

एसएलओ प्रभाव बचाया।

पेजर fatigue↓ (समान/बेहतर एसएलओ के साथ कम मैनुअल पेजर)।

13) कार्यान्वयन रोडमैप (8-12 सप्ताह)

नेड। 1-2: 3-5 उच्च ROI परिदृश्यों का चयन करें (PSP-feilover, अंतराल द्वारा ऑटोस्केल, फीचर-डिग्रेड); नीतियों/सीमाओं/रोलबैक का वर्णन करें।

नेड। 3-4: एक्शन ऑर्केस्ट्रेटर, रहस्य और भूमिकाओं को लागू करना, घटना मंच के साथ एकीकरण; अवलोकन और ऑडिटिंग जोड़ें।

नेड। 5-6: "शैडो" मोड (सिमुलेट-ओनली) में पायलट → ए/बी प्रभाव अनुमान; फिर कम कवरेज वाले उत्पाद में शामिल करें।

नेड। 7-8: स्क्रिप्ट (डेटाबेस/कैश/कतारें/फ्रंट) की निर्देशिका का विस्तार करें, स्थिति पृष्ठ और कॉम्स के साथ जुड़ें।

नेड। 9-10: FinOps सीमा नियम (लागत/SLI) जोड़ें, उच्च जोखिम के लिए दोहरे नियंत्रण को लागू करें।

नेड। 11-12: टेबलटॉप/अराजकता शिक्षा, केपीआई/केआरआई संशोधन, दिशानिर्देशों का प्रकाशन और ऑन-कॉल प्रशिक्षण।

14) कलाकृतियाँ और पैटर्न

ऑटो-रिमेडिएशन पॉलिसी: शर्त, कार्रवाई, सीमा, टीटीएल, रोलबैक, मालिक, जोखिम वर्ग।

रनबुक-एक्शन स्पेक: पूर्व शर्त, चरण, जांच, त्रुटियां, निगरानी, रोलबैक तर्क।

चेंज-कंट्रोल: कौन नीतियों, पीआर समीक्षाओं, परीक्षणों, डिफ और संस्करण पर शासन कर सकता है।

साक्ष्य पैक: एसएलओ प्रभाव लॉग/ट्रेल्स/मैट्रिक्स, पोस्टमार्टम/ऑडिट के लिए रिपोर्ट।

15) एंटीपैटर्न

कारण और SLO flapping की जाँच किए बिना "लक्षण का इलाज"।

रोलबैक और टीटीएल के बिना कार्रवाई → जमे हुए गिरावट।

रेलिंग के बिना यूनिवर्सल स्क्रिप्ट - कैस्केडिंग क्रैश।

लेखा परीक्षा और नीति संस्करण का अभाव।

लागत की अनदेखी (एक सीमा के बिना ऑटोस्केल) और अनुपालन (पीआईआई निर्यात)।

पी 1 जोखिमों में मानव-इन-द-लूप के बिना पूर्ण स्वायत्तता।

कुल

स्वचालित त्रुटि सुधार एक प्रबंधित लूप है: एसएलओ संकेत - रेलिंग के साथ नीतियां - रोलबैक अवलोकन और ऑडिट घटना प्रशिक्षण के साथ सुरक्षित रनबुक क्रियाएं। यह दृष्टिकोण MTTR को कम करता है, हुकुम में राजस्व रखता है, और सुरक्षा और नियामक आवश्यकताओं के अनुरूप शेष रहते हुए ऑन-कॉल से दिनचर्या को हटा देता है।