हादसा सिमुलेशन

1) सिमुलेशन क्यों करते हैं

• कम MTTD/MTTA/MTTR, किकबैक और फ़ाइलओवर में विश्वास बढ़ाएं;
• प्रक्रिया अंतराल (वृद्धि, संचार) और वास्तुशिल्प कमजोरियों की पहचान करें;
• RCA→CAPA के लिए एक इनपुट के रूप में कार्य करें और प्रलेखन में सुधार करें (रनबुक/एसओपी);
• एसएलए/नियामक/लेखा परीक्षा आवश्यकताओं के लिए तत्परता की पुष्टि करें।

2) सिमुलेशन प्रारूप

टेबलटॉप (टेबलटॉप) - बोर्ड/चैट पर संवादी स्क्रिप्ट: भूमिकाओं और संचार के अभ्यास के लिए सस्ता, तेज, महान।

खेल दिवस (प्रतिबंधों के साथ मंच/बिक्री में अभ्यास) - प्लेबुक के लिए व्यावहारिक कदम; बिक्री में - स्पष्ट फाटकों के साथ केवल सुरक्षित, प्रतिवर्ती कार्

स्थिरता और एसएलओ फाटकों की जांच के लिए अराजकता इंजीनियरिंग - नियंत्रित विफलताएं (निर्भरता/नेटवर्क/नोड्स का विघटन)।

डीआर अभ्यास (आपदा वसूली) - AZ/क्षेत्र की विफलता, बैकअप से वसूली, प्रदाताओं को स्विच करना।

कॉम्स-ड्रिल - विशुद्ध रूप से संचार: स्थिति पृष्ठ, संदेश टेम्पलेट, पीआर/कानूनी।

3) भूमिकाएँ और जिम्मेदारियाँ

हादसा कमांडर (आईसी) - निर्णय लेता है, एक योजना का नेतृत्व करता है, डी-एस्केलेशन।

टेक लीड (टीएल) - निदान, तकनीकी "इंजेक्शन" और परिकल्पना।

कम्स लीड (CL) - आंतरिक/बाहरी अद्यतन, स्थिति पृष्ठ।

स्क्रिब - प्रोटोकॉल (समयरेखा, कार्य, निर्णय, कलाकृतियां)।

पर्यवेक्षक/मूल्यांकनकर्ता - रिकॉर्ड मैट्रिक्स और प्रक्रियाओं का अनुपा

रेड टीम (वैकल्पिक) - अप्रत्याशित "इंजेक्शन" पेश करता है।

4) सिमुलेशन सफलता मैट्रिक्स

सिंथेटिक घटना द्वारा MTTD/MTTA/MTTR।

कॉम एसएलए: अपडेट की समयबद्धता और गुणवत्ता।

एसएलओ-रेलिंग: बर्न-रेट के लिए सही प्रतिक्रिया, बाहरी नमूनों का कोरम।

रनबुक निष्ठा: प्रति दस्तावेज़ पूरा करने वाले चरणों का%, कोई कामचलाऊ नहीं।

वृद्धि विलंबता - वांछित भूमिका/प्रदाता को जोड़ ने की गति।

चेकलिस्ट पास-रेट: "तैयार/स्वीकृत/बंद" का अनुपालन।

शोर और थकान: अतिरिक्त अलर्ट, कॉल पर अधिभार।

CAPA पूर्णता: सिमुलेशन के बाद पूर्ण क्रियाओं का प्रतिशत।

5) तैयारी: शुरुआत से पहले आपको क्या चाहिए

उद्देश्य और परिकल्पना: हम क्या जांचते हैं (प्रक्रियाएं, वास्तुकला, लोग)।

परिदृश्य और "इंजेक्शन": समय के साथ लक्षणों/घटनाओं का अनुक्रम।

सुरक्षा प्रतिबंध: अपरिवर्तनीय परिवर्तनों का निषेध; पूर्ववत अंक।

डेटा और स्टैंड: सिंथेटिक ट्रैफिक, गिरावट की सुविधा झंडे, सुरक्षित कुंजी।

दस्तावेज़: रनबुक/एसओपी, वृद्धि, प्रदाताओं की संपर्क सूची के लिंक।

अवलोकन: पूर्व-चिह्नित डैशबोर्ड/अलर्ट, परीक्षण कैनरी।

रसद: समय/अवधि, प्रतिभागी, युद्ध-कक्ष चैनल, रिकॉर्डिंग।

6) सिमुलेशन निष्पादन: चरण

1. संक्षिप्त (5-10 मिनट): आईसी लक्ष्यों, भूमिकाओं, सुरक्षा नियमों, पूर्णता मानदंडों जैसा दिखता है।

2. T0 - लक्षणों का इंजेक्शन: अलर्ट (ओं), व्यापार SLI में गिरावट, प्रदाता की बाहरी स्थिति।

3. ट्राइएज और एस्केलेशन: एसईवी असाइन करना, फ्रीज रिलीज करना, आवश्यक भूमिकाओं को जोड़ ना।

4. निदान: परिकल्पना, डीएनएस/टीएलएस/सीडीएन/डीबी/कैश/बस जांच, एनोटेशन जारी करें।

5. क्रियाओं को कम करना: otkat/kanareyka↓, गिरावट झंडे, प्रदाता विफलता, सीमा/रिट्रास।

6. संचार: नियमित अपडेट (प्रारूप: Impakt→Diagnostika→Deystviya→Sled। अद्यतन)।

7. वसूली और सत्यापन: ग्रीन ज़ोन एन अंतराल में बाहरी सिंथेटिक्स + एसएलआई।

8. डेब्रीफ (AAR): 15-30 मिनट - तथ्य, निष्कर्ष, CAPA।

7) उदाहरण परिदृश्य (कैटलॉग)

गिरते हुए भुगतान की सफलता: एक देश में प्रदाता ए अपमान; अपेक्षित कार्रवाई - यातायात पुनर्वितरण, सरलीकृत यूएक्स, संचार को सक्षम करना।

DNS विफलता: लिखने/TTL त्रुटि, कुछ उपयोगकर्ता डोमेन को हल नहीं करते हैं; अपेक्षित कदम - सुधार/फोलबैक, सीडीएन समाशोधन, स्थिति अपडेट।

समाप्त टीएलएस प्रमाणपत्र: पुराने ग्राहकों के लिए हैंडशेक ब्रेक; आपातकालीन विस्तार और श्रृंखला की जाँच

काफ्का अंतराल: केवाईसी/एएमएल घटनाओं में बढ़ ती देरी; अपेक्षाएं - उपभोक्ता, उत्पादकों को सीमि

डेटाबेस p99 ↑ और वृद्धि 5xx: संकीर्ण सूचकांक, कनेक्शन सीमा; उम्मीदें - फ्लैग्स, लिमिट, हॉटफिक्स/रोलबैक।

क्षेत्रीय विफलता: AZ/PoP बंद; प्रतीक्षा - GSLB/Anycast स्विचिंग, डेटा सत्यापन और SLO।

संचार ड्रिल: सब कुछ "हरा" है, लेकिन हम कानूनी/पीआर के साथ पैटर्न, अंतराल और समन्वय की जांच करते हैं।

8) साँचा "इंजेक्शन" (कार्ड)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) सुरक्षा और अनुपालन

उत्पादन सिमुलेशन - केवल प्रतिवर्ती: झंडे की सुविधा, छोटे अंशों में यातायात को स्विच करना, पढ़ ने के लिए टिप्पणी, "छाया यातायात।"

एक्सेस कंट्रोल/ऑडिट: चैटोप्स/पाइपलाइन के माध्यम से सभी कार्रवाई; गैर-परिवर्तनशील भंडारण में लॉग।

पीआईआई/रहस्य - प्रशिक्षण कलाकृतियों में उपयोग नहीं किया जाता है; डेटा depersonalized।

नियामक: यदि सिमुलेशन ग्राहक संचार को प्रभावित करता है - निजी चैनलों में "शिक्षण" को चिह्नित करना; सार्वजनिक पदों की नकल नहीं की जाती है।

10) मूल्यांकन और AAR → RCA → CAPA

AAR (एक्शन रिव्यू के तुरंत बाद) - अभ्यास के तुरंत बाद: क्या अपेक्षित/देखा गया था, क्या काम किया/नहीं।

आरसीए - महत्वपूर्ण विफलताओं के लिए (उदाहरण के लिए, वृद्धि काम नहीं करती थी) आरसीए टेम्पलेट के अनुसार।

CAPA - मालिकों/समय सीमा/प्रभाव मेट्रिक्स (प्लेबुक, अलर्ट, वास्तुकला में परिवर्तन) के साथ कार्यों की सूची।

चौकियों - D + 14/D + 30: निष्पादन का सत्यापन, कमजोर बिंदुओं पर बार-बार मिनी-ड्रिल।

11) प्रलेखन और कलाकृतियाँ

सिमुलेशन योजना: लक्ष्य, परिदृश्य, इंजेक्शन, प्रतिभागी, खिड़कियां, सफलता मानदंड।

टाइम लाइन (UTC): T0...Tn, IC समाधान, तकनीकी कदम, अपडेट।

डैशबोर्ड/लॉग की तस्वीरें, अलर्ट और स्टेटस के अर्क।

सारांश रिपोर्ट - मेट्रिक्स, प्लेबुक विसंगतियाँ, CAPAs

प्रलेखन अद्यतन: रनबुक/एसओपी/संपर्क संपादन, नए डैशबोर्ड के लिंक।

12) आवृत्ति और कवरेज

टेबलटॉप: महीने में 2-4 बार (प्रमुख धाराओं और भूमिकाओं द्वारा)।

मंच में गेम डेज़: महीने में 1-2 बार।

अराजकता के मामले (प्रोड-लाइट): त्रैमासिक, कड़ाई से फाटकों द्वारा।

डीआर अभ्यास: वास्तविक स्विचिंग के साथ वर्ष में 1-2 बार।

कॉम्स-ड्रिल: टेम्पलेट और एसएलए अपडेट को प्रशिक्षित करने के लिए मासिक।

13) चेकलिस्ट

सिमुलेशन से पहले

• परिदृश्य, "इंजेक्शन", सफलता मानदंड, सुरक्षा खिड़कियां।
• भूमिका, चैनल, टेम्पलेट की स्थिति सुसंगत है।
• स्टैंड/फ्लैग/डैशबोर्ड की उपलब्धता की जाँच की गई।
• वापसी और प्रतिवर्तनीयता योजना प्रलेखित है।
• एसएलओ/ग्राहकों पर जोखिम और प्रभाव का आकलन किया गया।

के दौरान

• SEV सौंपा, फ्रीज रिलीज (यदि आवश्यक हो)।
• एक अनुसूची पर संचार, प्रारूप सुसंगत है।
• ऑडिट टूल के माध्यम से सभी कार्रवाई।
• स्क्रिब एक प्रोटोकॉल रखता है, कलाकृतियों को इकट्ठा करता है।
• सुरक्षा: निषेधों/प्रतिबंधों का सम्मान किया जाता है।

के बाद

• AAR ने पोस्ट किया, रिपोर्ट सहेजी।
• आरसीए (विफलताओं के मामले में) शुरू किया जाता है।
• CAPA मालिकों/समय सीमा के साथ जारी किए जाते हैं।
• अद्यतन रनबुक/एसओपी/संपर्क।
• कमजोरियों का एक रिटेस्ट योजना बनाई गई है।

14) एंटी-पैटर्न

"योजना के बजाय सुधार" - सफलता के लिए कोई स्क्रिप्ट और मानदंड नहीं है।

गेट्स और रद्द करने की योजना के बिना जोखिम - अभ्यास एक घटना में बदल जाता है।

संचार और वृद्धि के बिना केवल उपकरण काम करना।

एएआर/आरसीए की कमी - टीम सीख नहीं रही है।

अवलोकन और एसएलओ-माली के बिना प्रोड-अराजकता।

अपारदर्शी अधिकार: गुप्त मैनुअल संपादन में।

15) मिनी टेम्पलेट्स

खेल दिवस एजेंडा (60-90 मिनट)

1. संक्षिप्त (5 मिनट) → लक्ष्य, भूमिकाएँ, सुरक्षा।

2. परिदृश्य T0 (5 मिनट) → लक्षणों की प्रस्तुति।

3. ट्राइएज/एस्केलेशन (10 मिनट)।

4. निदान + क्रियाएं (30-45 मिनट) - 1-2 "इंजेक्शन"।

5. वसूली और सत्यापन (10 मिनट)।

6. AAR (15 मिनट) - निष्कर्ष, CAPA।

एएआर टैम्पलेट (संक्षिप्त)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) नीचे की रेखा

हादसा सिमुलेशन लोगों, प्रक्रियाओं और वास्तुकला के लिए एक "सिम्युलेटर" है। नियमित, सुरक्षित और औसत दर्जे का अभ्यास संकट को एक दिनचर्या में बदल देता है: टीम तेजी से प्रतिक्रिया करती है, प्लेबुक वास्तव में काम करती है, वास्तुकला अधिक स्थिर है, और नियामक और ग्राहक परिचालन समारोह की परिपक्षमता देखते हैं। मुख्य बात स्पष्ट लक्ष्य, सुरक्षित द्वार, अच्छे मेट्रिक्स और अनिवार्य AAR→RCA→CAPA है।