ऑटो-हीलिंग और सेल्फ-रिकवरी सिस्टम

1) ऑटो-हीलिंग क्या है और इसकी क्यों जरूरत है

ऑटो-हीलिंग मानव हस्तक्षेप के बिना विफलताओं के मामले में सेवा का एक स्वचालित स्थिरीकरण है, मूल कारण खोज (आरसीए) पर लक्षण वसूली प्राथमिकता (एसएलओ) के साथ।

लक्ष्य: कम एमटीटीआर, त्रुटिपूर्ण बजट की रक्षा करें, परिचालन लागत और मानवीय त्रुटि को कम करें।

• पता लगाना (मेट्रिक्स/लॉग/सिंथेटिक्स/इवेंट्स)।
• समाधान (नियम/नीतियां/एमएल अनुमान)।
• क्रिया (पुनः आरंभ/स्केल/शेडिंग/फिचफ्लाग/रोलबैक/फीलओवर)।
• सत्यापन (दिए गए विंडो में एसएलओ हरा)।
• गिरावट पर वापस।

2) ऑटो-हीलिंग तंत्र मानचित्र

एप्लिकेशन स्तर पर: आइडेम्पोटेंसी, टाइमआउट, रीट्री + बैकऑफ + जिटर, सर्किट ब्रेकर, बल्कहेड, कैश डिग्रेडेशन (सुंदर)।

Kubernetes: लाइवनेस/तत्परता/स्टार्टअप प्रोब, रेस्टार्टपॉलिसी, PDB, HPA/VPA, Descheduler, Pod/Node ऑटो-remediation।

नेटवर्क/एज: दर सीमा, प्रति-किरायेदार कोटा, कनेक्शन ड्रेनिंग, फेल-ओपन/क्लोज, WAF नियम।

कतारें/स्ट्रीमिंग: उपभोक्ता-ऑटोस्केल, लैग-आधारित बैकप्रेशर, डीएलक्यू/पार्किंग स्थल।

भंडारण/डीबी: प्रतिकृति-फ़ीलोवर, ऑटो-मरम्मत (पुनर्निर्माण), थ्रॉटल्ड ऑटोवाकुम, कनेक्शन पूल पुनर्संतुलन।

सीआई/सीडी: कैनरी गणना, प्रगतिशील वितरण, ऑटो-रोलबैक।

इवेंट ऑर्केस्ट्रेशन: कंट्रोलर/ऑपरेटर, वर्कफ़्लो इंजन (आर्गो, एयरफ़्लो) रीट्री पॉलिसी के साथ।

वॉचडॉग/हार्टबीट्स: बैकग्राउंड जॉब्स के लिए डेड मैन का स्विच।

3) सुरक्षित आत्म-वसूली डिजाइन सिद्धांत

1. SLO-चालित: सभी स्वचालित क्रियाएं उपयोगकर्ता अनुभव से बंधे लक्षणों से शुरू होती हैं।

2. कैनरी-पहला: पहले स्थानीय/बिंदुवार, फिर विश्व स्तर पर।

3. वन-वे डोर रेलिंग: टाइमर/स्थिति द्वारा रोलबैक, जोखिम भरे संचालन के लिए "डबल कुंजी"।

4. पहचान: प्रत्येक क्रिया (पुनः आरंभ, माइग्रेशन, रोटेशन) दोहराने के लिए सुरक्षित है।

5. अवलोकन-दर-डिज़ाइन: एक्शन लेबल, निशान के साथ सहसंबंध, कौन/क्या/कब/क्यों लॉग।

6. कम से कम विशेषाधिकार: स्वचालन के न्यूनतम अधिकार हैं (RBAC, स्कोप किए गए रहस्य)।

7. लागत-जागरूक: "महंगी" क्रियाओं (स्केलिंग, एग्रेस, स्नैपशॉट) पर सीमा।

4) पता लगाना: ऑटो-हीलिंग शुरू करने के लिए संकेत

Метрики: 5xx%, p95/p99 विलंबता, काफ्का लैग, डीबी लॉक/लैग, नोड दबाव।

सिंथेटिक्स: अपटाइम फॉल/पाथ रिग्रेशन (लॉगिन/डिपॉजिट)।

लॉग: नया त्रुटि हस्ताक्षर, अपवाद दर।

: क्रैशलोपबैकऑफ, नोडनोट्रेडी, शेड्यूलिंग।

दिल की धड़ कन: नौकरी की चुप्पी> एन मिनट।

promql
API error regression sum (rate (http_requests_total{status=~"5"..}[5m]) )/sum (rate (http_requests_total[5m]))> 0. 01

Kafka: lag> threshold max by (topic, group) (kafka_consumergroup_lag)> 10000

K8s: pod в CrashLoopBackOff increase(kube_pod_container_status_restarts_total[5m]) > 3

5) ऑटो रिस्टोर क्रियाएँ (प्लेबुक)

5. 1 अनुप्रयोग/नेटवर्क

बैकएंड विसंगति के साथ सर्किट ब्रेकर → फास्ट फेल-फास्ट + कैश/स्टैब प्रतिक्रियाएं।

सीमा और डी-डुप्लिकेशन के साथ पुन: प्रयास + बैकऑफ + जिटर।

दर सीमा/शेड-लोड: अधिभार के तहत - महत्वपूर्ण रास्तों की प्राथमिकता।

5. 2 कुबेरनेट्स

कंटेनर (लाइवनेस) को फिर से शुरू करें और गैर-स्वस्थ नोड पर चूल्हा निकालें।

एचपीए/वीपीए: आरपीएस/सीपीयू/लेटेंसी/लैग द्वारा ऑटो-स्केल; वीपीए - केवल सिफारिशें या ऑफ-घंटे लागू होते हैं।

नोड्स का ऑटो-रिमेडिएशन: लगातार समस्याओं (दाग) के लिए कॉर्डन + नाली।

AZ-फ़ाइलों के खिलाफ सुरक्षा के लिए Affinity/Topology फैल गया।

5. 3 कतारें/स्ट्रीमिंग

ऑटो-स्केल उपभोक्ता - अंतराल; थ्रूपुट उत्पादकों की अस्थायी कमी।

जहरीले संदेशों के लिए डीएलक्यू; अभिलेखागार से रीप्ले।

5. 4 डीबी/कैश

राज्य/कॉन्फ़िगरेशन सत्यापन के साथ प्रतिकृति में विफल।

कनेक्शन लीक के लिए कनेक्शन पूल रीसेट।

ग्राहकों के स्वचालित पुनर्निर्माण के साथ हॉट-स्टैंडबाय को बढ़ावा

5. 5 सीआई/सीडी

कैनरी ट्रैफिक पर 5xx/p95 वृद्धि के साथ ऑटो-रोलबैक।

सुविधा-झंडे: वैश्विक रोलबैक के बजाय समस्याग्रस्त सुविधा का स्वचालित बंद।

6) प्रगतिशील वितरण और ऑटो-रोलबैक

उदाहरण (आर्गो रोलआउट्स कैनरी रणनीति)

yaml strategy:
canary:
canaryService: api-canary stableService: api-stable steps:
- setWeight: 10
- pause: {duration: 5m}
- analysis:
templates:
- templateName: api-slo-check
- setWeight: 25
- pause: {duration: 10m}
- analysis:
templates:
- templateName: api-slo-check

यदि टेम्पलेट विश्लेषण "विफल" (त्रुटियों/विलंबता से अधिक) लौटाता है, तो रोलआउट स्वचालित रूप से वापस लुढ़क जाता है।

7) सेल्फ-रिकवरी टूल के रूप में झंडे की सुविधा

समस्याग्रस्त सुविधाओं (सर्वर-साइड) के लिए किल-स्विच।

लक्ष्यीकरण: खंड/क्षेत्र पर फ़ीचर अक्षम करें।

ऑटो-नियम: यदि फीचर का 5xx%> Y मिनट में X बंद है और टिकट बैकलॉग में है।

सत्यापन: बजट के साथ एसएलओ-पैनल सुविधा।

8) ओवरलोड: अपने आप को मृत्यु के लिए "व्यवहार" कैसे न करें

शेड-लोड: गैर-महत्वपूर्ण अनुरोधों (टैरिफ, भारी-रिपोर्ट) के QoS को अस्वीकार/कम करें।

टोकन-बाल्टी/लीकी-बाल्टी और किरायेदार/कुंजी कोटा।

अनुकूली संगति (प्रॉक्सी/एसडीके स्तर पर) - विलंबता बढ़ ने पर संगति को कम करें।

बल्कहेड: धागा/कनेक्शन पूल को अलग करना।

9) स्थिरता और पहचान

पहचान कुंजी (request_id) → पुनरावृत्ति से सुरक्षा।

भयभीत लेनदेन (भुगतान, राइट-ऑफ) - दो-चरण प्रक्रियाएं, पुष्टि/मुआवजा (गाथा)।

आउटबॉक्स/इनबॉक्स - बिल्कुल एक बार idempotency भंडारण।

10) सुरक्षा और अनुपालन

स्वचालित चिकित्सा के लिए न्यूनतम आरबीएसी (केवल आवश्यक संसाधन)।

सभी कार्यों का लेखा परीक्षा: कौन/कब/क्या संकेत/क्या प्रभाव।

ऑटो-क्रियाओं को निष्क्रिय करने के लिए मैनुअल ओवरराइड और "लाल बटन"।

घटना कलाकृतियों और स्वचालन लॉग पर कानूनी पकड़।

रहस्य - एक गुप्त प्रबंधक के माध्यम से, स्व-कार्यों के दौरान महत्वपूर

11) फिनोप्स: "सेल्फ-हीलिंग" की कीमत

अधिकतम ऑटोस्केल पर सीमा ताकि छप के साथ टूट न जाए।

प्रति एक्शन मेट्रिक्स लागत: 1 पुनरारंभ की लागत, 1 अतिरिक्त प्रतिकृति, 1TB egress।

समुच्चय: प्रति एसएलओ-मिनट की लागत, प्रति शमन घटना लागत।

"नाइट मोड" नीतियां: यदि व्यापार यातायात कम है तो स्वचालन की आक्रामकता कम है।

12) स्वचालन की अवलोकन क्षमता

रेखांकन पर लेबल: ' रीमेडिएशन _ एक्शन =" रोलबैक",' सोर्स =" आर्गो",' कारण = "slo _ burn"।

अलग डैशबोर्ड: ऑटो-एक्शन, सफलता, औसत वसूली समय, रोलबैक दर की आवृत्ति।

प्रभाव - लाभ मूल्यांकन के लिए SLO सहसंबंध।

13) कॉन्फ़िग और उदाहरण

13. 1 K8s: जांच और नीतियों को फिर से शुरू करना

yaml livenessProbe:
httpGet: { path: /healthz, port: 8080 }
initialDelaySeconds: 20 periodSeconds: 10 timeoutSeconds: 2 readinessProbe:
httpGet: { path: /readyz, port: 8080 }
periodSeconds: 5 failureThreshold: 3 startupProbe:
httpGet: { path: /startupz, port: 8080 }
failureThreshold: 30 periodSeconds: 5

13. 2 अलर्ट → ऑटो-एक्शन (छद्म)

yaml rule: api_5xx_rate_high action:
type: feature_flag target: "payments. new_flow"
set: false guardrails:
cooldown: 10m max_actions_per_hour: 2 rollback_if:
- condition: "5xx% not reduced within 5m"

13. 3 काफ्का लैग ऑटोस्केल (कस्टम मीट्रिक द्वारा एचपीए)

yaml metrics:
- type: Pods pods:
metric:
name: kafka_consumer_lag target:
type: AverageValue averageValue: "500"

14) ऑटो-हीलिंग का परीक्षण (अराजकता और खेल के दिन)

अराजकता इंजेक्शन: नेटवर्क रुकता है, पॉड्स/नोड्स को मारता है, डेटाबेस/कैश गिरावट।

खेल के दिन: समय सीमा और एमटीटीआर मैट्रिक्स के साथ परिदृश्य प्रशिक्षण।

छाया यातायात: उपयोगकर्ताओं को प्रभावित किए बिना कैनरी के लिए यातायात का किराया।

ड्राई-रन ऑटोमेशन मोड (हम लिखते हैं, लेकिन ऐसा नहीं करते हैं)।

15) "ऑटो-रिकवरी तत्परता" के लिए मानदंड

• एसएलओ परिभाषित हैं, मैट्रिक्स स्थिर हैं, सिंथेटिक्स हैं।
• नमूने/healthz ,/readyz ,/startupz स्थिति को सही ढंग से दर्शाते हैं।
• पहचान और दोहरी सुरक्षा (विशेष रूप से भुगतान में)।
• फ़ीचर फ्लैग और कैनरी डिस्प्ले उपलब्ध हैं।
• गार्ड: कूलडाउन, दर-सीमा क्रियाएं, उच्च जोखिम वाले संचालन के लिए दोहरी कुंजी।
• स्वचालन डैशबोर्ड और ऑडिट लॉग।
• जाम के मामले में मैनुअल ओवरराइड और रनबुक योजना।

16) चरण द्वारा कार्यान्वयन (4 पुनरावृत्तियां)

1. आधार: SLO को परिभाषित करें, जांच जोड़ें, पुनरारंभ/मुख्य अलर्ट शामिल करें।

2. स्थानीय क्रियाएं: फिचफ्लाग-किल-स्विच, लैग-स्केलिंग उपभोक्ता, ऑटो-रोलबैक कैनरी।

3. Infra-level: नोड रीमेडिएशन, डेटाबेस/कैश फेलओवर, लोड शेडिंग।

4. अनुकूलन: रेलिंग, फिनोप्स सीमा, अराजकता परीक्षण, पता लगाने के लिए एमएल हेयूरिस्टिक्स।

17) लगातार त्रुटियां और विरोधी पैटर्न

लक्षणों के कारण का इलाज करना - लंबे एमटीटीआर।

कैनरी चरण के बिना वैश्विक क्रियाएं।

कोई रोलबैक या कोई पूर्ववत मानदंड नहीं।

झूठी स्वास्थ्य जांच (टूटी हुई लत के लिए 200)।

"ब्लोट" ऑटोस्केल बिना सीमा/लागत थ्रेसहोल्ड के।

बैकऑफ और डीडुप्लिकेशन के बिना ब्लाइंड रिट्रे तूफान।

18) मिनी-एफएक्यू

क्या आपको ऑटो स्कोरिंग के लिए एमएल की आवश्यकता है?

नहीं, यह नहीं है। एसएलओ/मैट्रिक्स और रेलिंग पर नियमों के साथ शुरू करें; एमएल विसंगतियों और विधेय के लिए उपयोगी है।

पुनः आरंभ क्यों नहीं करता हमेशा मदद?

यदि रूट निर्भर है (डेटाबेस, कैश, नेटवर्क), तो पुनः आरंभ केवल तूफान को बढ़ाएगा। एक ब्रेकर/शेडिंग/फीलओवर की आवश्यकता है।

लाभ कैसे साबित करें?

बजट से पहले/बाद में गलत की खपत और एमटीटीआर की तुलना करें। प्रति शमन मेट्रिक्स लागत जोड़ें।

कुल

ऑटो-हीलिंग एक प्रणाली है, न कि "रीस्टार्ट बैसाखी" का सेट: एसएलओ-डिटेक्शन - सुरक्षित बिंदु क्रियाएं - सत्यापन रोलबैक जब खराब हो जाता है। जांच, कैनरी गणना, फ्लैग, स्केलिंग, छायांकन, फेलोवर और सख्त रेलिंग के संयोजन से, आप एमटीटीआर को कम करते हैं, बजट को गलत रखते हैं और लागत को नियंत्रण में रखते हैं।