संचालन और → प्रबंधन हादसा शमन

घटनाओं के प्रभाव को कम करना

1) उद्देश्य और सिद्धांत

उद्देश्य: घटना की वृद्धि को एक सेवा विफलता में रोकने और क्षति को कम करने के लिए: डाउनटाइम, धन, प्रतिष्ठा और नियामक जोखिमों के संदर्भ में।

• नियंत्रण पहले (विस्फोट त्रिज्या ↓)।
• सुंदर गिरावट: बेहतर "बदतर काम करता है" की तुलना में "बिल्कुल भी काम नहीं करता है।"
• Decouple और fallback: स्वतंत्र घटक और सुरक्षित विकल्प।
• निर्णय गति> परिपूर्ण जानकारी (सुविधा ध्वज, मार्ग स्विच)।
• जल्दी संवाद करें: सत्य का एक स्रोत, स्पष्ट स्थिति और मंच-दर-चरण ईटीए।

2) हादसा मॉडल और परिणाम वर्गीकरण

प्रभाव: उपयोगकर्ता (क्षेत्र, खंड), धन (जीजीआर/एनजीआर, प्रसंस्करण), अनुपालन (केवाईसी/एएमएल), भागीदार/प्रदाता।

प्रकार: प्रदर्शन क्षरण, आंशिक निर्भरता विफलता (पीएसपी, केवाईसी, गेम प्रदाता), रिलीज़ प्रतिगमन, डेटा घटना (शोकेस विलंबता/ईटीएल), डीडीओएस/लोड स्पाइक।

स्तर (P1-P4): महत्वपूर्ण कोर प्रवाह डाउनटाइम से स्थानीय दोष तक।

3) शमन पैटर्न (तकनीकी)

3. 1 विस्फोट त्रिज्या का स्थानीयकरण और सीमा

चार्ट/क्षेत्रों द्वारा अलगाव: समस्या शार्ड/क्षेत्र को बंद करें, बाकी काम करना जारी रखते हैं।

सर्किट ब्रेकर: त्रुटियों/समयसीमा के दौरान निर्भरताओं की त्वरित रिहाई - श्रमिकों की सुरक्षा।

बल्कहेड: महत्वपूर्ण रास्तों के लिए अलग कनेक्शन पूल/कतारें।

ट्रैफिक शैडोइंग/कैनरी: नए संस्करण के माध्यम से यातायात का एक हिस्सा चलाएं जब तक कि यह पूरी तरह से स्विच न हो जाए।

3. 2 प्रबंधित गिरावट (सुंदर)

रीड-ओनली मोड: नेविगेशन और इतिहास को बचाते हुए अस्थायी रूप से म्यूटेशन (उदाहरण के लिए, दांव/जमा) को अवरुद्ध करना।

कार्यात्मक कटऑफ: माध्यमिक विजेट/परिदृश्य, भारी सिफारिशों, "गर्म" खोजों को अक्षम करना।

कैशबैक: बासी-जबकि-पुनर्मूल्यांकन प्रतिक्रियाएं, सरलीकृत मॉडल।

सरलीकृत सीमाएं: बैच/पेज का आकार कम करें, लंबा टीटीएल, महंगा फिल्टर बंद करें।

3. 3 लोड प्रबंधन

शेड/थ्रॉटल: निरर्थक अनुरोधों को "निष्पक्ष" छोड़ दें: कोर संचालन के लिए प्राथमिकता के साथ आईपी/कुंजी/समापन बिंदु द्वारा।

Backpressure: उत्पादकों को उपभोक्ताओं को सीमित करना; जिटर के साथ स्पीकर को फिर से आज़मा

कतार आकार: P1 प्रवाह (भुगतान, प्राधिकरण) और पृष्ठभूमि विश्लेषण के लिए समर्पित कतारें।

3. 4 त्वरित स्विच

फ़ीचर फ़्लैग्स एंड किल-स्विच: रिलीज़ के बिना समस्याग्रस्त सुविधा की तत्काल अक्षम।

ट्रैफिक रूटिंग: स्विचिंग प्रदाता (PSP A→B), एक असफल डेटा सेंटर को दरकिनार करते हुए, "गर्म" प्रतिकृति में स्थानांतरित होता है।

टॉगल कॉन्फ़िग: टाइमआउट, रिट्रे, क्यूपीएस लिमिट - ऑडिट के साथ कॉन्फ़िग सेंटर के माध्यम से।

3. 5 डेटा और रिपोर्टिंग

आस्थगित उत्परिवर्तन: आउटबॉक्स/लॉग पर लिखने के बाद डिलीवरी।

अस्थायी विखंडन: भौतिक स्टोरफ्रंट से पढ़ कर डेटाबेस पर लोड को कम करना।

Degrade BI: अस्थायी रूप से अंतिम-अच्छा-स्नैपशॉट दिखाएं "12:00 UTC पर डेटा।"

4) डोमेन उदाहरण (iGaming)

KYC प्रदाता विफलता: एक वैकल्पिक प्रदाता चालू करें; "कम जोखिम" सीमाओं के लिए - कम खाते की सीमा के साथ एक सरलीकृत परिदृश्य के अनुसार अस्थायी सत्यापन।

उच्च पीएसपी विलंबता: स्थानीय पर्स के लिए अस्थायी प्राथमिकता, भुगतान सीमा में कमी, "टी +" कतार में भुगतान का हिस्सा रखना।

गेम प्रदाता की विफलता: विशिष्ट शीर्षक/प्रदाता को छिपाएं, लॉबी और विकल्पों को सहेजें, बैनर प्रदर्शित करें "प्रगति में काम करें, एक्स/वाई।"

5) संगठन और भूमिकाएँ (आईसीएस - हादसा कमान प्रणाली)

आईसी (हादसा कमांडर): एकल समन्वय, कार्यों का प्राथमिकता।

ऑप्स लीड/एसआरई: कंटेंट, रूटिंग, फीचर फ्लैग, इंफ्रास्ट्रक्चर।

कम्स लीड: स्थिति अद्यतन, स्थिति पृष्ठ, आंतरिक चैट/मेल.

विषय पदार्थ मालिक: प्रभावित उपतंत्र (PSP, KYC, गेम प्रदाता) का मालिक।

व्यवसाय से संपर्क: उत्पाद, समर्थन, वित्त, अनुपालन।

मुंशी: समयरेखा, समाधान, पोस्टमार्टम के लिए कलाकृतियाँ।

नियम: सक्रिय "युद्ध-कक्ष" में 7 से अधिक 2 लोग, बाकी - "अनुरोध पर।"

6) संचार

चैनल: स्थिति पृष्ठ, आंतरिक # घटना चैनल, PagerDuty/teleconfence, अपडेट टेम्पलेट।

अस्थायी: P1 - प्रत्येक 15-20 मिनट; P2 - 30-60 मिनट।

अद्यतन टेम्पलेट: क्या टूट गया - जिसका उल्लेख किया गया है - जो पहले से ही बना है - निम्नलिखित चरण - निम्नलिखित अपडेट के समय एक संदर्भ

ग्राहक समर्थन: पूर्व-तैयार मैक्रोस और FAQs के लिए L1/L2, "आंशिक गिरावट" मार्कर, मुआवजा नीति।

7) सफलता मैट्रिक्स और ट्रिगर

MTTD/MTTA/MTTR, कंटेनमेंट टाइम, SLO बर्न रेट (1h/6h/24h विंडो)।

जोखिम में राजस्व: खंड द्वारा खोए हुए जीजीआर/एनजीआर का मूल्यांकन।

विस्फोट त्रिज्या%: प्रभाव में उपयोगकर्ताओं/क्षेत्रों/कार्यों की हिस्सेदारी।

Comms SLA: स्थिति अपडेट की समयबद्धता।

झूठी-पॉजिटिव/झूठी-नकारात्मक अलर्ट, माध्यमिक घटनाएं।

• p95 कुंजी API> एक पंक्ति में 5 मिनट की दहलीज - कैश फॉलबैक और थ्रॉटलिंग सक्षम।
• उपभोक्ता अंतराल> 2 मिनट → गैर-महत्वपूर्ण उत्पादकों को फ्रीज करते हैं, श्रमिकों को बढ़ाते हैं।
• पीएसपी सफलता <97% 10 मिनट स्टैंडबाय पीएसपी को यातायात का स्थानांतरण हिस्सा।

8) प्लेबुक (संपीड़ित)

8. 1 "↑ विलंबता y/api/जमा"

1. त्रुटि% और PSP बाहरी टाइमआउट की जाँच करें - शॉर्ट टाइमआउट और जिटर रिट्रे सक्षम करें।

2. सीमा/निर्देशिका का कैश सक्षम करें, भारी जाँच अक्षम करें "जगह में".

3. आंशिक रूप से स्टैंडबाय पीएसपी को यातायात हस्तांतरित करें।

4. जोखिम कम करने के लिए अस्थायी रूप से भुगतान/जमा की सीमा कम करना।

5. पोस्ट-फिक्स: इंडेक्स/डेनॉर्मल, एसिंक्रोनी को मजबूत करें।

8. 2 "KYC लटका हुआ है"

1. एक वैकल्पिक प्रदाता पर स्विच करें, प्रतिबंधों के साथ "सरलीकृत KYC" सक्षम करें।

2. पहले से ही पारित लोगों के लिए कैश केवाईसी स्थिति।

3. संचार: प्रोफाइल में बैनर, ईटीए।

8. 3 "ईटीएल/बीआई पीछे रह गया"

1. मार्क पैनल "बासी" + टाइमस्टैम्प।

2. भारी पुनर्निर्माण निलंबित करें, वृद्धिशील सक्षम करें।

3. ↑ नौकरियों की समानता, परिचालन केपीआई के साथ शोकेस के लिए प्राथमिकता।

9) पूर्व-घटना डिजाइन (सक्रिय)

फ़ीचर फ़्लैग टेबल: एंडपॉइंट/प्रदाता/विजेट द्वारा परमाणु स्विच।

थ्रॉटलिंग/शेडिंग नीतियां: प्राथमिकता से "कांस्य/रजत/सोना" के पूर्व-सहमत स्तर।

गिरावट परीक्षण: नियमित "फायर-ड्रिल", खेल-दिन, अराजकता प्रयोग (देरी/त्रुटियों को जोड़ ना)।

बाहरी निर्भरताओं का कोटा: सीमाएँ, त्रुटि बजट, बैकऑफ रणनीतियाँ।

रनबुक 'और: उदाहरणों के साथ लघु चरण-दर-चरण निर्देश और कमांड/कॉन्फ़िग।

10) सुरक्षा और अनुपालन

विफल-सुरक्षित: जब अपमानित - उल्लंघन के जोखिम के साथ संचालन को अवरुद्ध करें, न कि "रेट्राई को बढ़ाएं।"

पीआईआई और वित्तीय डेटा: मैनुअल राउंड के लिए - सख्त ऑडिट, न्यूनतम विशेषाधिकार, टोकन।

ट्रेसेस: आईसी/ऑपरेटर क्रियाओं का पूरा लॉग, फ्लैग/कॉन्फ़िग बदलना, समयरेखा निर्यात करना।

11) एंटी-पैटर्न

"हम तब तक इंतजार करते हैं जब तक यह स्पष्ट न हो जाए" - सुनहरे समय का नुकसान।

"ट्विस्ट रेट्राई टू जीत" - व्यसनों में स्नोबॉल और तूफान।

विभाजन के बिना वैश्विक फीचर झंडे - मोमबत्ती को बुझाएं, शहर में बिजली नहीं।

चुप्पी "इसलिए डराने के लिए नहीं" - टिकटों की वृद्धि, विश्वास की हानि।

बिना लेखा परीक्षा - अनुपालन जोखिम के नाजुक मैनुअल प्रक्रियाएं।

12) चेकलिस्ट

महत्वपूर्ण परिवर्तनों को

• कैनरी मार्ग + सुविधा ध्वज।
• SLO रेलिंग और अलर्ट p95/त्रुटि% द्वारा।
• आश्रित सेवाओं पर भार का अनुकरण किया जाता है।
• संचार योजना और मालिक।

घटना के दौरान

• आईसी और संचार चैनलों को परिभाषित किया गया है।
• नियंत्रण (अलगाव/झंडे/राउट) लागू किया।
• प्रबंधित गिरावट सक्षम है।
• स्थिति पृष्ठ अद्यतन किया गया है और समर्थन अधिसूचित किया गया है।

घटना के बाद

• पोस्टमार्टम ≤ 5 कार्य दिवस, "अपराधियों को खोजे बिना।"
• मालिकों और समय सीमा के साथ एक्शन गेम।
• पुनरावृत्ति परीक्षण: स्क्रिप्ट को पुन: पेश किया जाता है और अलर्ट/परीक्षण के साथ कवर किया जाता है।
• अद्यतन प्लेबुक और प्रशिक्षण।

13) मिनी कलाकृतियाँ (टेम्पलेट्स)

• क्या हुआ इम्पैक्ट - रूट कारण - क्या काम किया/काम नहीं किया दीर्घकालिक सुधार एक्शन आइटम (मालिक/समय सीमा)।

14) नीचे की रेखा

घटनाओं के परिणामों को कम करना त्वरित और प्रतिवर्ती समाधानों का एक अनुशासन है: स्थानीयकरण, नियंत्रण को नीचा दिखाना, भार को पुनर्वितरित करना, पारदर्शी रूप से संवाद करना और सुधार को मजबूत करना। आप आज एक मिनट की "सामरिक स्थिरता" जीतते हैं - और इसे कल रणनीतिक स्थिरता में बदल देते हैं।