रूट कारण विश्लेषण

1) आरसीए क्या है और इसकी आवश्यकता क्यों है

रूट कारण विश्लेषण पुनरावृत्ति को रोकने के लिए एक घटना के मूल कारणों की पहचान करने के लिए एक संरचित प्रक्रिया है। केंद्र में - तथ्य, कारण संबंध और प्रणालीगत सुधार (प्रक्रियाएं, वास्तुकला, परीक्षण), और दोष की खोज नहीं।

उद्देश्य: रिलैप्स को रोकें, एमटीटीआर/घटना दर को कम करें, एसएलओ में सुधार करें, नियामकों और भागीदारों के साथ विश्वास का निर्माण करें।

2) सिद्धांत (जस्ट कल्चर)

कोई शुल्क नहीं। हम लोगों को नहीं, बल्कि जोखिम भरी प्रथाओं को दंडित करते हैं।

तथ्यात्मकता। केवल सत्यापित डेटा और कलाकृतियाँ।

E2E दृश्य। ग्राहक से लेकर प्रदाताओं तक।

परिकल्पनाओं की परीक्षा। कोई भी कथन - एक परीक्षण/प्रयोग के साथ।

CAPA बंद। मालिकों और समय सीमा के साथ सुधारात्मक और निवारक उपाय।

3) प्रवेश कलाकृतियाँ और तैयारी

UTC टाइम लाइन: T0 डिटेक्शन → T + क्रियाएं → T + रिकवरी।

अवलोकन डेटा: लॉग, मैट्रिक्स (कोहॉर्ट द्वारा सहित), ट्रेल्स, सिंथेटिक्स, स्थिति पृष्ठ।

परिवर्तन: रिलीज़, फ़ीचर फ्लैग, कॉन्फ़िग, प्रदाता घटना।

पर्यावरण: संस्करण, कलाकृति हैश, एसबीओएम, बुनियादी ढांचे के टैग।

हादसा आधार: प्रभाव का विवरण (SLO/SLA, ग्राहक, टर्नओवर), किए गए निर्णय, वर्कअराउंड।

हिरासत की श्रृंखला: कौन और कब एकत्र/संशोधित साक्ष्य (अनुपालन के लिए महत्वपूर्ण)।

4) आरसीए विधियाँ: जब

1. 5 क्यों - जल्दी से संकीर्ण समस्याओं के लिए कारण श्रृंखला का पता लगाएं। जोखिम: एक लाइन के लिए एक जटिल प्रणाली "रोल अप"।

2. फिशबोन - लोगों/प्रक्रिया/मंच/नीति/भागीदार/उत्पाद के रूप में कारकों को वर्गीकृत करें। शुरुआत में उपयोगी।

3. फॉल्ट ट्री एनालिसिस (एफटीए) - घटना से लेकर सेट (AND/OR) तक की कटौती। बुनियादी ढांचे और पेड़ की विफलताओं के लि

4. कारण ग्राफ/घटना श्रृंखला - संभावनाओं और योगदान वजन के साथ निर्भरता ग्राफ। Microservices और बाहरी प्रदाताओं के लिए अच्छा है।

5. FMEA (विफलता मोड और प्रभाव विश्लेषण) - रोकथाम: विफलता मोड, गंभीरता (S), आवृत्ति (O), पहचानने योग्यता (D), RPN = S × O × D।

6. परिवर्तन विश्लेषण - तुलना "जैसा कि यह बन गया था/" (कॉन्फ़िग डिफ़, स्कीमा, संस्करण)।

7. मानव कारक समीक्षा - लोगों के फैसलों का संदर्भ (सतर्क थकान, खराब प्लेबुक, ओवरलोड)।

अनुशंसित संयोजन: फिशबोन → चेंज एनालिसिस → कॉसल ग्राफ/एफटीए → 5 प्रमुख शाखाओं द्वारा क्यों।

5) चरण-दर-चरण आरसीए प्रक्रिया

1. पहल: एक आरसीए मालिक नियुक्त करें, एक रिपोर्ट जारी करने की समय सीमा निर्धारित करें (उदाहरण के लिए, 5 कार्य दिवस), एक टीम (आईसी, टीएल, स्क्रिप्टर, प्रदाता प्रतिनिधि) को इकट्ठा करें।

2. तथ्य एकत्र करें: समयरेखा, रेखांकन, रिलीज़, लॉग, कलाकृतियाँ; संस्करण और राशि नियंत्रण को ठीक करें।

3. मानचित्र प्रभाव: जो SLI/SLO प्रभावित हुए, जो सहवास करते हैं (देश, प्रदाता, VIP)।

4. परिकल्पना का निर्माण: प्राथमिक, विकल्प; जाँच करें जो अब सत्यापन योग्य हैं।

5. परीक्षण परिकल्पना: मंच पर प्लेबैक/सिमुलेशन/कैनरी, ट्रेस विश्लेषण, गलती इंजेक्शन।

6. जड़ और योगदान करने वाले कारणों का निर्धारण करें: तकनीकी, प्रक्रिया, संगठनात्मक

7. फॉर्म CAPA: सुधारात्मक (सही) और निवारक (रोकथाम); सफलता मेट्रिक्स और समयसीमा।

8. सामंजस्य और रिपोर्ट प्रकाशित करें: आंतरिक ज्ञान आधार +, यदि आवश्यक हो, तो ग्राहकों/नियामक के लिए बाह

9. सत्यापित प्रभाव: 14/30 दिनों के बाद चौकियों; समापन क्रियाएं।

6) "मूल कारण" के रूप में क्या मायने रखता है

• कमजोर परीक्षण/सुविधा झंडे, लापता सीमा/अलर्ट, अस्पष्ट प्रलेखन, गलत चूक, नाजुक वास्तुकला।
• अक्सर यह कारकों का एक संयोजन है (कॉन्फ़िगरेशन × एक गेट × लोड × प्रदाता की कमी)।

7) CAPA: सुधारात्मक और निवारक उपाय

• कोड/कॉन्फिग फिक्स, पैटर्न रोलबैक, बदलती सीमा/टाइमआउट, इंडेक्स जोड़ ना, प्रतिकृति/शार्डिंग, ट्रैफिक पुनर्वितरण, प्रमाणपत्र अद्यतन।

• परीक्षण (अनुबंध, अराजकता के मामले), अलर्ट (बर्न रेट, सिंथेटिक्स का कोरम), रिलीज पॉलिसी (कैनरी/ब्लू-ग्रीन), कॉन्फ्रेंस के लिए गिटोप्स, प्रशिक्षण/चेकलिस्ट, प्रदाता दोहराव, डीआर अभ्यास।

प्रत्येक क्रिया: मालिक, समय सीमा, अपेक्षित प्रभाव, सत्यापन मीट्रिक (उदाहरण के लिए, एक्स% द्वारा परिवर्तन-विफलता-दर में कमी, 90 दिनों की कोई पुनरावृत्ति नहीं)।

8) परिकल्पनाओं और प्रभावों का सत्यापन

प्रयोग: गलती इंजेक्शन/अराजकता, छाया यातायात, ए/बी कॉन्फ़िग, वास्तविक प्रोफाइल के साथ लोड।

सफलता मेट्रिक्स: SLO रिकवरी, p95/p99 स्थिरीकरण, कोई त्रुटि-दर स्पाइक्स, MTTR में कमी, बर्न-रेट और शून्य-फिर से खोलने की प्रवृत्ति 30 दिनों के लिए।

नियंत्रण बिंदु: D + 7, D + 30, D + 90 - CAPA कार्यान्वयन और प्रभाव का संशोधन।

9) आरसीए रिपोर्ट साँचा (आंतरिक)

1. संक्षिप्त सारांश: क्या हुआ जब, किसने प्रभावित

2. प्रभाव: SLI/SLO, उपयोगकर्ता, क्षेत्र, कारोबार/दंड (यदि कोई हो)।

3. टाइम लाइन (यूटीसी): मुख्य कार्यक्रम (अलर्ट, निर्णय, रिलीज, फिक्स)।

4. अवलोकन और डेटा: रेखांकन, लॉग, निशान, कॉन्फ़िग (डिफ़्स), प्रदाता स्टेटस।

5. परिकल्पना और परीक्षण: स्वीकार/अस्वीकार, प्रयोगों के संदर्भ।

6. मूल कारण: तकनीकी, प्रक्रिया, संगठनात्मक।

7. योगदान करने वाले कारक: "नोटिस क्यों नहीं किया/रोका नहीं गया।"

8. CAPA योजना: मालिकों/समय सीमा/मैट्रिक्स के साथ कार्रवाई की तालिका।

9. जोखिम और अवशिष्ट कमजोरियां: और क्या निगरानी/परीक्षण करने की आवश्यकता है।

10. अनुप्रयोग: कलाकृतियाँ, लिंक, रेखांकन (सूची)।

10) उदाहरण (छोटा, सामान्यीकृत)

घटना: 19: 05-19: 26 (SEV-1) पर 35% पर भुगतान की सफलता।

प्रभाव: 21 मिनट e2e-SLO उल्लंघन, 3 देश प्रभावित, रिटर्न/मुआवजा।

कारण 1 (वे): कार्ड मान्यता के नए संस्करण ने विलंबता को 1 तक बढ़ा दिया। प्रदाता को 2 s → टाइमआउट।

कारण 2 (प्रतिशत): प्रदाता "ए" के लिए कोई कैनरी नहीं थी, रिलीज तुरंत 100% थी।

कारण 3 (org): व्यापार SLI पर अलर्ट सीमा ने एक विशिष्ट बिन रेंज (VIP cohort) को कवर नहीं किया।

CAPA: सत्यापन का पुराना संस्करण वापस करें; कैनरी 1/5/25% दर्ज करें; बिन सहकर्मियों द्वारा व्यापार एसएलआई जोड़ें; प्रदाता "बी" के लिए 30% से अधिक पर सहमत; अराजकता का मामला "धीमी गति से ऊपर की ओर।"

11) आरसीए प्रक्रिया परिपक्वता मैट्रिक्स

CAPA समय पर पूरा होता है (% 30 दिनों में बंद)।

फिर से खोलने की दर (90 दिनों में फिर से खुलने की घटनाएं)।

परिवर्तन-विफलता-दर से पहले/बाद।

घटनाओं का अनुपात जहां प्रणालीगत कारण पाए जाते हैं (न केवल "मानवीय त्रुटि")।

आरसीए से नए परिदृश्यों का परीक्षण कवरेज।

रिपोर्ट रिलीज का समय (प्रकाशन एसएलए)।

12) विनियमित डोमेन की विशेषताएं (फिनटेक/आईगेमिंग, आदि)

बाहर से रिपोर्टिंग: संवेदनशील विवरण के बिना रिपोर्ट के ग्राहक/नियामक संस्करण, लेकिन पुनरावृत्ति को रोकने की योजना के साथ।

ऑडिट लॉग और अपरिवर्तनीयता: कलाकृतियों का भंडारण, हस्ताक्षरित रिपोर्ट, टिकटों से जुड़ ना, सीएमडीबी, लॉग जारी करना।

उपयोक्ता डेटा: नमूना लॉग में depersonalization/मास्किंग।

नोटिस अवधि: अनुबंध और विनियमों से बंधे (जैसे) प्रारंभिक सूचना के अनुसार एन घंटे)।

13) एंटी-पैटर्न

"वास्या को दोष देना है" - प्रणालीगत कारणों के बिना मानव कारक पर रोक।

परिकल्पना परीक्षणों का अभाव - अंतर्ज्ञान द्वारा निष्कर्ष।

बहुत सामान्य आरसीए ("सेवा ओवरलोड थी") - कोई विशिष्ट परिवर्तन नहीं।

रिपोर्ट के लिए कोई CAPA या कोई मालिक/समय सीमा - रिपोर्ट नहीं।

जानकारी छिपाना - विश्वास की हानि, संगठन को प्रशिक्षित करने में असमर्थता

गैर-एसएलओ/व्यापार एसएलआई मैट्रिक्स के साथ ओवरलोड।

14) उपकरण और व्यवहार

मेटाडेटा के साथ आरसीए भंडार (विकी/ज्ञान आधार): सेवा, एसईवी, कारण, सीएपीए, स्थिति।

टेम्पलेट और बॉट्स: एक घटना (समयरेखा, रेखांकन, रिलीज़) से एक रिपोर्ट फ्रेम उत्पन्न करना।

कारण ग्राफ: एक घटना-कारण मानचित्र का निर्माण (उदाहरण के लिए, लॉग/निशान के आधार पर)।

अराजकता सूची: मंच में पिछली घटनाओं को पुन: पेश करने के लिए स्क्रिप्ट।

डैशबोर्ड "आरसीए के बाद": व्यक्तिगत विजेट, जो सीएपीए प्रभाव की पुष्टि करता है।

15) चेकलिस्ट "प्रकाशन के लिए तैयार"

• समयरेखा और कलाकृतियां पूर्ण और सत्यापित हैं।
• रूट परीक्षणों/प्रयोगों द्वारा पहचाने और सिद्ध होने के कारण।
• जड़ और योगदान कारणों को अलग किया जाता है।
• CAPA में मालिक, समय सीमा, औसत दर्जे का प्रभाव मेट्रिक्स शामिल हैं।
• 14/30 दिनों में एक सत्यापन योजना है।
• बाहरी हितधारकों के लिए संस्करण तैयार किया जाता है (यदि आवश्यक हो)।
• रिपोर्ट ने तकनीक/प्रतिशत की समीक्षा पारि

16) नीचे की रेखा

आरसीए औपचारिकता के लिए पूर्वव्यापी नहीं है, लेकिन सिस्टम के लिए एक सीखने का तंत्र है। जब तथ्यों को एकत्र किया जाता है, तो कारण साबित होता है, और सीएपीए को मैट्रिक्स में बंद कर दिया जाता है और प्रयोगों द्वारा परीक्षण किया जाता है, संगठन हर बार अधिक स्थिर हो जाता है: एसएलओ अधिक स्थिर होते हैं, रिलैप्स का जोखिम कम होता है।