अलर्ट की अधिकता को रोकना
1) समस्या और उद्देश्य
अलर्ट थकान तब होती है जब सिस्टम बहुत अधिक अप्रासंगिक या कार्रवाई योग्य सूचनाएं नहीं भेजता है। नीचे की रेखा पृष्ठों की अनदेखी कर रही है, MTTA/MTTR बढ़ रही है और वास्तविक घटनाओं को छोड़ रही है।
लक्ष्य: संकेतों को दुर्लभ, सार्थक और निष्पादन योग्य बनाने के लिए उन्हें एसएलओ और प्लेबुक से जोड़ कर।
2) सिग्नल टैक्सोनॉमी (चैनल = परिणाम)
पृष्ठ (P0/P1) - एक व्यक्ति को जगाता है; केवल तभी जब मैनुअल कार्रवाई की आवश्यकता हो और एक रनबुक हो।
टिकट (P2) - घंटे/दिन में अतुल्यकालिक कार्य; नहीं उठता है, लेकिन SLA द्वारा ट्रैक किया जाता है।
डैश-ओनली (P3) - सक्रिय कार्यों के बिना अवलोकन/प्रवृत्ति; शोर पैदा नहीं करता।
साइलेंट सेंट्री - पृष्ठभूमि में मैट्रिक्स/ऑडिट (आरसीए/पोस्टमार्टम के लिए)।
3) "सही" अलर्ट डिजाइन करना
प्रत्येक अलर्ट में होना चाहिए:- उद्देश्य/परिकल्पना (हम क्या रक्षा करते हैं: एसएलओ, सुरक्षा, धन, अनुपालन)।
- ट्रिगर स्थिति (दहलीज, विंडो, स्रोत कोरम)।
- रनबुक/प्लेबुक (लघु चरण आईडी + लिंक)।
- मालिक (टीम/भूमिका समूह)।
- पूर्णता मापदंड (जब बंद करना हो, स्वतः रिज़ॉल्यूशन)।
- भेद्यता वर्ग (उपयोगकर्ता-प्रभाव/मंच/सुरक्षा/लागत)।
4) एसएलओ उन्मुख निगरानी
SLI/SLO → प्राथमिक संकेत: उपलब्धता, विलंबता, व्यवसाय संचालन की सफलता।
बर्न-रेट अलर्ट: दो खिड़कियां (छोटी + लंबी), उदा।:- संक्षिप्त: 1 घंटे में बजट का 5% → पृष्ठ।
- लंबा: 6 घंटे में बजट का 2% - टिकट।
- Cohort: क्षेत्र/प्रदाता/वीआईपी खंड द्वारा अलर्ट - कम गलत ग्लोबल अलार्म।
5) शोर कम करने की तकनीक
1. कोरम जांच: केवल तभी शुरू हुआ जब ≥2 स्वतंत्र स्रोत (विभिन्न क्षेत्र/प्रदाता) समस्या की पुष्टि
2. डीडुप्लीकेशन - एकत्रीकरण कुंजियाँ: सेवा + क्षेत्र + कोड।
3. हिस्टेरिसिस/अवधि: स्पाइक्स को फ़िल्टर करने के लिए "रेड ज़ोन ≥ एन मिनट" में।
4. दर-सीमा: एक्स अलर्ट/घंटे/सेवा से अधिक नहीं; यदि पार हो, तो एक पृष्ठ + सारांश।
5. ऑटो-स्नूज ़/बुद्धिमान दमन: टी विंडो में एक बार-बार अलर्ट - टिकट के लिए अनुवाद जब तक रूट समाप्त नहीं हो जाता।
6. घटना सहसंबंध: दर्जनों लक्षणों के बजाय एक "मास्टर अलर्ट" (उदा। "डीबी अनुपलब्ध" माइक्रोसर्विस से 5xx को जाम करना)।
7. रखरखाव विंडो: निर्धारित कार्य स्वचालित रूप से अपेक्षित संकेतों को दबाता है
8. विसंगति + रेलिंग: विसंगतियाँ - केवल टिकट के रूप में, अगर एसएलओ सिग्नल द्वारा कोई पुष्टि नहीं है।
6) रूटिंग और प्राथमिकताएं
प्राथमिकताएं: P0 (पृष्ठ, 15 मिनट अपडेट), P1 (पृष्ठ, 30 मिनट), P2 (टिकट, 4-8 घंटा), P3 (अवलोकन)।
लेबल द्वारा रूटिंग: सेवा/env/क्षेत्र/किरायेदार - ऑन-कॉल के अनुरूप।
समय वृद्धि: 5 मिनट → P2 → ड्यूटी मैनेजर/IC में कोई ack नहीं।
शांत घंटे: गैर-महत्वपूर्ण के लिए रात के समय; पृष्ठ P2/P3 के लिए अनुमति नहीं है।
थकान नीति: यदि इंजीनियर के पास> एन पृष्ठ/शिफ्ट - पी 2 में पुनर्वितरण है, तो सिग्नल संदूषण को बढ़ाएं।
7) अलर्ट की गुणवत्ता: व्यवस्था
एक्शन क्षमता ≥ 80%: अधिकांश पृष्ठ रनबुक एक्शन की ओर ले जाते हैं।
पृष्ठ संकेतों के लिए गलत सकारात्मक ≤ 5%।
टाइम-टू-फिक्स-अलर्ट ≤ 7 दिन - दोषपूर्ण चेतावनी को सही/हटाया जाना चाहिए।
स्वामित्व 100% - प्रत्येक अलर्ट में एक मालिक और इसकी परिभाषा के साथ एक भंडार है।
8) कोड जीवन चक्र के रूप में सतर्क
1. पीआर बनाएँ (उद्देश्य विवरण, शर्तें, रनबुक, स्वामी, परीक्षण योजना)।
2. सैंडबॉक्स/छाया: छाया अलर्ट चैट/लॉग पर लिखता है, लेकिन पृष्ठ नहीं करता है।
3. कैनरी: कॉल पर सीमित दर्शक, एफपी/टीपी को मापते हैं।
4. Prod: दर-सीमा + अवलोकन 2-4 सप्ताह के साथ समावेश।
5. साप्ताहिक समीक्षा: गुणवत्ता मैट्रिक्स, संपादित/निकासी।
6. मूल्यह्रास: यदि सिग्नल एक उच्च दोहराता है या कार्रवाई योग्य नहीं है।
9) परिपक्वता मेट्रिक्स (डैशबोर्ड पर दिखाएं)
प्रति कॉल घंटे (औसत/95-प्रतिशत) अलर्ट।
% कार्रवाई योग्य (चरणों को पूरा किया जाता है) और झूठी-सकारात्मक दर।
पृष्ठों और page→ticket दर के आसपास MTTA/MTTR (उच्च नहीं होना चाहिए)।
टॉप-टॉकर्स (सेवाएं/नियम जो ≥20% शोर उत्पन्न करते हैं)।
अलर्ट को ठीक करने का मतलब समय।
बर्न-रेट कवरेज: दो खिड़कियों में एसएलओ-अलर्ट के साथ सेवाओं का हिस्सा।
10) चेकलिस्ट "अलर्ट की स्वच्छता"
- अलर्ट SLO/SLI या व्यवसाय/सुरक्षा से जुड़ा हुआ है।
- एक रनबुक और मालिक है; संपर्क और युद्ध-कक्ष चैनल निर्दिष्ट हैं।
- दो विंडो (छोटे/लंबे) और स्रोतों का एक कोरम कॉन्फ़िगर किया गया है।
- डेडअप, दर-सीमा, ऑटो-रिज़ॉल्यूशन और ऑटो-स्नूज़शामिल हैं।
- विंडोज रखरखाव और दमन रिलीज/पलायन के लिए निर्दिष्ट हैं।
- छाया/कैनरी पारित; मापा FP/TP।
- अलर्ट गुणवत्ता मेट्रिक्स रिपोर्ट में शामिल हैं।
11) मिनी टेम्पलेट्स
अलर्ट विनिर्देश (YAML विचार)
yaml id: payments-slo-burn severity: P1 owner: team-payments@sre purpose: "Защитить SLO успеха платежей"
signal:
type: burn_rate sli: payment_success_ratio windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
confirmations:
quorum:
- synthetic_probe: eu,us
- rum: conversion_funnel routing:
page: oncall-payments escalate_after: 5m controls:
dedup_key: "service=payments,region={{region}}"
rate_limit: "1/10m"
auto_snooze_after: "3 pages/1h"
runbook: "rb://payments/slo-burn"
maintenance:
suppress_when: [ "release:payments", "db_migration" ]मानक अद्यतन पाठ (शोर कम करने के लिए)
Импакт: падение success_ratio платежей в EU (-3.2% к SLO, 20 мин).
Диагностика: подтвержден кворумом (EU+US синтетика), RUM — рост отказов на 2 шаге.
Действия: переключили 30% трафика на PSP-B, включили degrade-UX, след. апдейт 20:30.12) प्रक्रियाएं: साप्ताहिक "अलर्ट समीक्षा"
एजेंडा (30-45 मिनट):1. टॉप-टॉकर्स → संपादित/हटाएं।
2. पृष्ठ संकेतों पर FP/TP - थ्रेसहोल्ड/विंडोज/कोरम समायोजित करें।
3. डाउनग्रेड (Page→Ticket) के लिए आवेदक और इसके विपरीत।
4. टाइम-टू-फिक्स-अलर्ट स्थिति - सेवा मालिकों के लिए देरी को बढ़ाया जाता है।
5. एसएलओ अलर्ट और रनबुक की उपस्थिति के साथ कवरेज की जाँच।
13) रिलीज और संचालन के लिए लिंक
रिलीज एनोटेशन स्वचालित रूप से अस्थायी दमन जोड़ ते हैं।
विंडो बदलें: रिलीज के बाद पहले 30 मिनट में - केवल एसएलओ संकेत।
प्लेबुक में रूट पर ध्यान केंद्रित करने के लिए "कम/दबाना गैर-कुंजी अलर्ट" कदम होता है।
14) सुरक्षा और अनुपालन
सुरक्षा संकेत (हैकिंग/रिसाव/असामान्य पहुंच) - बिना शांत घंटों के अलग-अलग चैनल।
सभी दबावों/शांत खिड़कियों का ऑडिट लॉग: कौन, कब, क्यों, समय सीमा।
महत्वपूर्ण अलर्ट (घटना हस्ताक्षर) के लिए अपरिवर्तनीयता आवश्यकता।
15) एंटी-पैटर्न
"हर ग्राफ = अलर्ट" - हिमस्खलन।
बिक्री में "! = 0 त्रुटियाँ"।
सत्य के स्रोत के रूप में एक जांच/एक क्षेत्र।
रनबुक/स्वामी के बिना पृष्ठ।
बिना किसी शब्द के "अस्थायी दमन"।
"इसे बाद में ठीक करें" दोषपूर्ण अलर्ट - वर्षों के लिए जमा करें।
उत्पादन की घटनाओं के साथ शोर जारी करना।
16) कार्यान्वयन रोडमैप (4-6 सप्ताह)
1. इन्वेंट्री: सभी अलर्ट उतारें, मालिकों और चैनलों को नीचे रखें।
2. SLO कर्नेल: महत्वपूर्ण सेवाओं के लिए डबल विंडो के साथ बर्न-रेट नियम पेश करें।
3. शोर नियंत्रण: कोरम, डेडअप और दर-सीमा सक्षम करें, एक साप्ताहिक समीक्षा शुरू करें।
4. रनबुक कवरेज: प्लेबुक के साथ पेज सिग्नल का 100% बंद करें।
5. फाटिग नीति: पृष्ठ सीमा/शिफ्ट, शांत घंटे, पुनर्वितरण लोड करें।
6. स्वचालन: अलर्ट-ए-कोड, छाया/कैनरी, गुणवत्ता मैट्रिक्स पर रिपोर्टिंग।
17) नीचे की रेखा
मौन निगरानी की कमी नहीं है, लेकिन एसएलओ और प्रक्रियाओं से जुड़े अच्छी तरह से डिज़ाइन किए गए संकेत हैं। कोरम, डबल विंडो, डेडअप और सख्त रूटिंग अलर्ट को दुर्लभ, सटीक और निष्पादन योग्य में बदल देते हैं। टीम सो रही है, उपयोगकर्ता खुश हैं, घटनाएं नियंत्रण में हैं।