संचालन और → प्रबंधन परिचालन जिम्मेदारी संस्कृति

परिचालन जिम्मेदारी की संस्कृति

1) आपको इसकी आवश्यकता क्यों है

प्रौद्योगिकी उपकरण प्रदान करती है, लेकिन लोग और उनका व्यवहा एक परिचालन जिम्मेदारी संस्कृति मंच को अनुमानित करती है, आपदा वसूली में तेजी लाती है, "शोर" को कम करती है और घटनाओं को सुधार के लिए ईंधन में बदल देती है।

• "क्या विश्वसनीयता है" की एक एकीकृत समझ और इसके लिए कौन जिम्मेदार है।
• संचालन में पारदर्शी भूमिकाएं, जिम्मेदारियां और प्राधिकरण।
• त्रुटियों और त्वरित समायोजन पर चर्चा करने के लिए एक सुरक्षित वातावरण।
• एसएलओ का लयबद्ध सुधार, प्रतिक्रिया समय और संचालन की लागत।

2) सिद्धांत (संस्कृति का मूल)

1. आप इसे बनाते हैं - आप इसे चलाते हैं। टीम कोड से ऑन-कॉल तक अपने डोमेन की गुणवत्ता का मालिक है।

2. एसएलओ-पहला। एसएलओ और त्रुटि बजट पर प्रभाव के माध्यम से निर्णयों का मूल्यांकन किया जाता है।

3. ब्लैमलेस और तथ्यात्मक। आरोपों के बिना पोस्टमार्टम, केवल तथ्य, डेटा और कार्रवाई।

4. छोटा और प्रतिवर्ती। छोटे परिवर्तन, फिचफ्लैग, कैनरी, त्वरित रोलबैक।

5. बोलने के लिए सुरक्षा। हर कोई बिना किसी डर के "लाल झंडा" उठा सकता है।

6. राय पर साक्ष्य। डेटा और कलाकृतियां राय और स्थिति से अधिक महत्वपूर्ण हैं।

7. लगातार सीखते हैं। घटनाएं - परिकल्पना प्रयोग - मानक।

3) भूमिकाएँ और स्वामित्व

डोमेन मालिक (भुगतान/दांव/खेल/केवाईसी): एसएलओ, ऑन-कॉल, सुधार रोडमैप, त्रुटि बजट।

हादसा प्रबंधक (रोटेशन): प्रतिक्रिया का समन्वय, समयरेखा, संचार की गुणवत्ता।

SRE/Platform: विश्वसनीयता उपकरण (अवलोकन, अलर्ट, phicheflags, canaries)।

टीम लीड/ईएम: अपेक्षाएं, दक्षताओं का विकास, अनुष्ठानों का पालन।

व्यापार हितधारक: एसएलओ/प्राथमिकताओं को संरेखित करता है, जोखिम/समझौता स्वीकार करता है।

4) देयता अनुबंध के रूप में एसएलओ

सत्य का एकमात्र स्रोत: मेट्रिक्स, खिड़कियों, अपवादों की परिभाषा।

त्रुटि बजट: स्पष्ट जोखिम सीमाएं - गेट जारी करने/प्रयोगों के लिए।

एसएलओ चर्चा: "क्या यह रिलीज बजट का 20% जल जाएगी? ».

एक तिमाही में एक बार संशोधन: उत्पाद और व्यवसाय के साथ।

5) ऑन-कॉल और घटना की तैयारी

स्पष्ट उम्मीदें: प्रतिक्रिया समय, चैनल, प्राधिकरण (वाल्व अधिकार रोकें)।

प्रशिक्षण: घटनाओं का अनुकरण, छाया शुल्क, डीआर अभ्यास।

कलाकृतियाँ: लाइव रनबुक 'और, एस्केलेशन मैट्रिक्स, अपडेट टेम्पलेट।

लोगों की देखभाल: शिफ्ट लोड, मुआवजा, रोटेशन, "नो हीरोइक्स" पॉलिसी।

• एक्सेस और वीपीएन सत्यापित।
• अधिसूचना चैनल और बैकअप संपर्क स्वस्थ हैं।
• रनबुक अपडेट ≤ 30 दिन पहले।
• पिछले 90 दिनों में डीआर की भागीदारी।

6) संचालन में संचार

वर्दी टेम्पलेट: घटनाओं पर लघु अपडेट, शिफ्ट के बीच "हैंडओवर" पैकेज।

निर्णयों का प्रचार: प्रमुख समझौते लिखित रूप में दर्ज किए

रेखांकन पर एनोटेशन: रिलीज, फ्लैग, प्रदाता विंडो।

सभी के लिए एसएलओ पैनल: स्टेटस और त्रुटि बजट की पारदर्शिता।

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) बिना आरोप के पोस्टमॉर्टम

तथ्य और समयरेखा: कौन, कब, क्या किया, क्या डेटा के आधार पर।

प्रणालीगत कारण: प्रक्रियाएं, उपकरण, इंटरफेस, "अपराधी" नहीं।

समय सीमा के साथ कार्रवाई: सुधारात्मक और निवारक।

सबक सीखा: मानक, चेकलिस्ट, रनबुक अपडेट।

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) अनुष्ठान और ताल

साप्ताहिक ऑप्स रिव्यू (30 मिनट): एसएलओ, घटनाएं, अलर्ट, कार्रवाई प्रगति।

मासिक विश्वसनीयता पूर्वव्यापी: सबक, रुझान, अद्यतन मानकों।

त्रैमासिक विश्वसनीयता समीक्षा: एसएलओ/बजट संशोधन, रोडमैप एकीकरण।

खेल-दिन/अराजकता: विफलताओं के नियोजित परिदृश्य और फीलओवर के विकास।

9) प्रेरणा, विकास और प्रक्षेपवक्र

दक्षता: वह-कॉल, घटना-प्रबंधन, अवलोकन, एसएलओ-इंजीनियरिंग, फिनोप्स।

कैरियर का स्तर: विश्वसनीयता योगदान की उम्मीदें (पहल, पोस्टमार्टम, मेंटरिंग)।

अमूर्त प्रेरणा: मान्यता, सुधार की लेखकता, तिमाही की "विश्वसनीयता चैंपियन"।

सामग्री: ऑन-कॉल मुआवजा, एसएलओ-केपीआई प्राप्त करने के लिए बोनस।

10) आचरण की नीतियां और मानदंड (टुकड़े)

• जब एसएलओ को धमकी दी जाती है तो कोई भी वह कॉल रिलीज/फीचर को रोक सकता है।
• जोखिम समाप्त होने के बाद निर्णय तय और संशोधित किया जाता है।

• केवल phicheflags और canaries के साथ प्रमुख परिवर्तन।
• एसएलओ मैट्रिक्स द्वारा ऑटोगेट; विचलन → ठहराव/रोलबैक।

• सभी महत्वपूर्ण जानकारी निजी समाधानों के बिना, आम चैनलों में है।
• ETS (अनुमानित समय से स्थिति) P1/P2 घटनाओं के लिए अनिवार्य है।

11) संस्कृति मेट्रिक्स (परिपक्वता केपीआई)

एसएलओ कवरेज: औपचारिक रूप से वर्णित एसएलओ/अलर्ट के साथ महत्वपूर्ण रास्तों का अनुपात।

प्री-इंसीडेंट डिटेक्ट रेट: गिरावट के चरण में इंटरसेप्ट की गई घटनाओं का प्रतिशत।

MTTR/MTTD: क्वार्टर द्वारा गतिशीलता।

परिवर्तन विफलता दर: पोस्ट-रिलीज़पुलबैक/रीग्रेशन।

पोस्टमॉर्टम एक्शन एसएलए: समय पर कार्रवाई का अनुपात बंद।

अलर्ट थकान सूचकांक: ऑन-कॉल/शिफ्ट अलर्ट।

हैंडऑफ क्वालिटी स्कोर: शिफ्ट के बीच से गुजरने की गुणवत्ता।

मनोवैज्ञानिक सुरक्षा पल्स: लघु नियमित सर्वेक्षण (अनाम)।

12) कार्यान्वयन चेकलिस्ट

• डोमेन, मालिक, ऑन-कॉल और एसएलओ को परिभाषित किया गया है।
• स्टॉप-वाल्व, पोस्टमार्टम और संचार नीतियों को अपनाया गया है।
• उठाया SLO पैनल और एनोटेशन जारी करें।
• अनुष्ठान लॉन्च: साप्ताहिक ऑप्स समीक्षा और टेम्पलेट हैंडओवर।
• पोस्टमार्टम टेम्पलेट और एक एक्शन ट्रैकर विकसित किए गए हैं।
• पहला गेम-डे/डीआर अभ्यास आयोजित किया गया था।
• संस्कृति केपीआई सेट करें और मासिक समीक्षा करें।

13) एंटी-पैटर्न

नायकों का पंथ: सिस्टम फिक्स के बजाय अंतिम समय पर सहेजें।

लोगों की गलती: "अपराधी" का पता लगाना, इसका कारण नहीं।

छिपे हुए समाधान: निजी चैट, "मौखिक समझौते।"

बड़ी रात रिलीज़: कोई झंडे या कैनरी नहीं।

कार्रवाई के बिना मैट्रिक्स: रिपोर्ट हैं, समाधान नहीं हैं।

अराजक हैंडओवर: स्वीकृति का कोई खाका और पुष्टि नहीं है।

14) उपकरण और कलाकृतियाँ (न्यूनतम)

मालिकों के साथ SLO/अलर्ट निर्देशिका।

रनबुक भंडार (डोमेन द्वारा, अद्यतन ≥ मासिक)।

साँचा: पोस्टमॉर्टम, हैंडओवर, घटना अपडेट, क्षरण योजना।

Панели: एसएलओ अवलोकन, घटनाएं, परिवर्तन सुरक्षा, प्रदाता।

गतिविधि ट्रैकर: SLAs और मालिकों के साथ एक एकल बैकलॉग।

15) एचआर सर्किट में एम्बेडिंग

ऑनबोर्डिंग: एसएलओ में प्रशिक्षण, ऑन-कॉल, पोस्टमॉर्टम।

प्रदर्शन मूल्यांकन: विश्वसनीयता और संस्कृति में योगदान प्रदर्शन समीक्षा का हिस्सा हैं।

मेंटरिंग: छाया कर्तव्य, जोड़ी घटना प्रबंधन।

पल्स सर्वेक्षण: तिमाही सुरक्षा/बर्नआउट मूल्यांकन।

16) - - स्टार्ट-अप योजना

• डोमेन मालिकों और ऑन-कॉल असाइन करें, कम से कम SLO (p95, सफलता दर) द्वारा ठीक करें।
• स्टॉप वाल्व और पोस्टमार्टम नीतियों को अपनाएं, टेम्पलेट को मंजूरी दें।
• एक साप्ताहिक ऑप्स समीक्षा और हैंडओवर अनुष्ठान लॉन्च करें।

• 2 गेम-डे/डीआर अभ्यास करें, एसएलओ और चेंज सेफ्टी पैनल उठाएं।
• 1-2 महत्वपूर्ण सेवाओं पर SLO के माध्यम से एक कैनरी और ऑटो गेट बनाएं।
• रन कल्चर मैट्रिक्स (MTTR, एक्शन SLA, पल्स सर्वेक्षण)।

• ट्रेंड विश्लेषण, एसएलओ/बजट को अद्यतन करना, रोडमैप में सुधार को एकीकृत करना।
• एक "विश्वसनीयता चैंपियन" और एक सलाह कार्यक्रम पेश करें।
• पूर्वव्यापी परिणामों के आधार पर अनुष्ठानों और नीतियों को समायोजि

17) टेम्पलेट (टुकड़े)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) एफएक्यू

प्रश्न: आप "संस्कृति" को कैसे मापते हैं, न कि केवल तकनीक?

A: पल्स-पोल (मनोवैज्ञानिक सुरक्षा), एक्शन SLA पोस्टमॉर्टम, सार्वजनिक निर्णयों का हिस्सा, HQS हैंडओवर दर्ज करें।

प्रश्न: "वीरता" के बारे में क्या करें?

A: धन्यवाद, लेकिन प्रणालीगत परिवर्तन रिकॉर्ड करें ताकि वीरता की आवश्यकता न हो। प्रदर्शन में, रोकथाम और सुधार पर विचार करें, न कि केवल "करतब"।

प्रश्न: आप संस्कृति के मूल्य के एक व्यवसाय को कैसे समझाते हैं?

A: कनेक्शन दिखाएं: कम MTTR/परिवर्तन विफलता दर - उच्च रूपांतरण/राजस्व, कम जुर्माना और देर रात के पृष्ठ, अनुमानित रिलीज।