संचालन और → प्रबंधन हादसा भविष्यवाणी

घटनाओं की भविष्यवाणी करना

1) आपको इसकी आवश्यकता क्यों है

घटनाएं शायद ही कभी "कहीं से भी विस्फोट हुई हों। "विफलता से पहले, मंच संकेत देता है: p99 की त्वरित वृद्धि, त्रुटि बजट की धीमी गति से जलने, कतार लैग्स, एक विशिष्ट डाउनस्ट्रीम पर रिट्रेज़की वृद्धि, प्रदाता कोटा के पास। प्रणालीगत घटना की भविष्यवाणी "अग्निशमन" से "प्रारंभिक हस्तक्षेप", एमटीटीआर को कम करने, विफलता दर और राजस्व नुकसान की प्रतिक्रिया का अनुवाद करती है।

• अग्रदूत पैटर्न पहचानें और निवारक क्रियाओं को स्वचालित रूप से शुरू करें।
• बाईं ओर शिफ्ट करके P1/P2 शेयर को कम करें (पूर्व-घटना का पता लगाने की दर)।
• रिलीज, फीलओवर और क्षमता प्रीमेप्शन की प्रक्रियाओं में भविष्यवाणियों का निर्माण करें।

2) लीड संकेतक

प्लेटफ़ॉर्म/infra

त्वरण p95/p99 (ढाल), देरी की "पूंछ", भिन्नता में वृद्धि।

कतारें/धाराएँ: वृद्धि 'अंतराल' और सकारात्मक व्युत्पन्न अंतराल; एचपीए अधिकतम पर।

DB/cache: 'सक्रिय _ conns/max _ conns', 'प्रतिकृति _ lag', 'निष्कासन', 'cache _ hit' छोड़ें।

नेटवर्क: mTLS/हैंडशेक त्रुटियां, 5xx/timeout वृद्धि बाहर की ओर।

• एक विशिष्ट प्रदाता, 'सर्किट _ open', 'outa _ usage> 0 के लिए' outbound _ erry _ ret '/' retry _ rate '। 9`.
• SLA प्रदाता: नियोजित खिड़कियां, गिरावट।

• असामान्य भार (अभियान/मैच), आरपीएस/टीपीएस कूदता है, असामान्य क्षेत्रीय/चैनल मिश्रण।
• जमा/दर रूपांतरण p99 वृद्धि → अर्ध-प्रॉक्सी घटना के साथ गिरता है।

• बर्न-रेट त्रुटि-बजट> सीमा (उदाहरण के लिए,> 4 × 10-15 मिनट के लिए)।
• एसएलओ के लगातार मामूली उल्लंघन (सूक्ष्म-गिरावट) विफलता के करीब आने के मार्कर के रूप में।

3) डेटा स्रोत और डेटा मार्ट

ऑनलाइन टेलीमेट्री: प्रोमेथियस/ओटीएल (मैट्रिक्स, लॉग, ट्रेल्स)।

दुर्घटना की घटनाएँ: टिकट/स्टेटस/पोस्टमॉर्टम (लक्ष्य के लिए सही)।

परिवर्तन योजना/तथ्य: रिलीज़, फ़िचफ्लैग, माइग्रेशन, प्रदाता खिड़कियां।

निर्देशिका: निर्भरता मानचित्र, कोटा, मालिक।

DWH-snapshots: प्रशिक्षण/सत्यापन के लिए इकाइयाँ (तुल्यकालिक विंडो!)।

गुणवत्ता आवश्यकताएं: ≥99% पूर्णता, घंटे/मिनट TZ संरेखण, समान p95/p99 परिभाषाएँ।

4) भविष्यवाणी दृष्टिकोण

4. 1 गैर-पैरामीट्रिक/नियम (त्वरित शुरुआत)

परिवर्तन दर के लिए दहलीज अलर्ट: 'डेरिव (p99)', छोटी खिड़कियों के लिए 'जेड-स्कोर'।

समग्र स्थिति: ' + HPA = max + ((= "PSP-X")'।

एसएलओ-बर्न गेट्स: रिलीज/कैनरी स्टॉप बर्न-रेट> एक्स।

4. 2 विसंगति का पता लगाना

मौसमी बेसलाइन (एसटीएल/पैगंबर जैसे विचार), रोलिंग औसत + एमएडी।

मल्टीवेरिएट: संयुक्त विसंगति 'p99 + retry + open_circuit + कोटा'।

चेंज-पॉइंट डिटेक्शन: ट्रेंड शिफ्ट के लिए CUSUM/BOCPD।

4. 3 एमएल-मॉडल (पर्यवेक्षित)

वर्गीकरण "टी + के में घटना?" फीचर विंडो द्वारा (उदाहरण के लिए, 10-30 मिनट पहले)।

विशेषताएं: आंकड़े, डेरिवेटिव, मौसमी अवशेष, एक-गर्म प्रदाता/क्षेत्र, झंडे जारी करते हैं।

लेबल: 'incident{severity∈[P1,P2]}' अंतराल में [t, t + K].

व्याख्यात्मकता: विश्वास और परिचालन के लिए SHAP/क्रमपरिवर्तन महत्व।

4. 4 SRE-पहला हाइब्रिड

मॉडल → आलोचना के लिए HITL के साथ जोखिम (0-1) → एक्शन पॉलिसी (phicheflags/feilover/pre- स्केल)।

5) फीचर इंजीनियरिंग

स्लाइडिंग विंडो (1/5/15 मिनट): मतलब, p95/p99, std, अधिकतम, ढलान।

सापेक्ष संकेतक: 'p99/बेसलाइन _ 1d', 'त्रुटि _ rate _ delta'।

Cohort सुविधाएँ: प्रदाता, क्षेत्र, खेल/मैच प्रकार, उपकरण चैनल।

"लोड" सुविधाएँ: आरपीएस, पेलोड आकार, खुले डब्ल्यूएस की संख्या।

सिस्टम: 'hpa _ वांछित/अधिकतम', 'db _ conn _ ratio', 'redis _ evictions> 0'।

ईवेंट फ्लैग्स: "प्रगति में रिलीज़", "कैनरी 10%", "प्रदाता विंडो"।

6) भविष्यवाणी यांत्रिकी और क्रियाएं

1. डोमेन द्वारा हर एन सेकंड जोखिम स्कोरिंग (भुगतान/दांव/खेल/केवाईसी)।

• जोखिम ≥ 0। 8 + पुष्टि संकेत → डोमेन मालिक पृष्ठ;
• 0. 6–0. 8 → चेतावनी + उपायों की तैयारी।

• प्री-स्कैन (HPA minReplicas↑), कैश को सक्षम करना, भारी कार्यों को सीमित करना;
• बैकअप प्रदाता/रूट पर स्विच करें
• ठहराव/रोलबैक कैनरी;
• "संकीर्ण" डाउनस्ट्रीम के लिए रिट्रे सीमा।

4. HITL: एक व्यक्ति "व्यावसायिक व्यवहार में परिवर्तन" स्तर के उपायों की पुष्टि करता है

7) दैनिक प्रक्रियाओं में एकीकरण

रिलीज: कैनरी पर पूर्वानुमानित द्वार (तुलना और जोखिम स्कोरिंग से पहले/बाद में)।

Feilover: प्रदाता के जोखिम पर बैकअप मार्ग की स्वचालित तैयारी/वार्मिंग।

क्षमता: हेडरूम गिरने और पिछड़ ने के साथ "प्रारंभिक उत्थान"।

अलर्ट: डैशबोर्ड में अलग फ़ीड "प्री-इवेंट" + एनोटेशन।

8) अवलोकन और डैशबोर्ड

जोखिम अवलोकन: डोमेन और प्रदाता द्वारा जोखिम, रुझान, सुविधा योगदान।

लीड सिग्नल: टॉप-एन हार्बिंगर्स (p99 ग्रेडिएंट, लैग, ओपन ब्रेकर्स)।

कार्रवाई और परिणाम: क्या चालू हुआ, p95/त्रुटि पर प्रभाव, रद्द की गई घटनाएं।

मॉडल स्वास्थ्य: सटीक/रिकॉल/लेटेंसी, संकेतों का बहाव, ऑटो-क्रियाओं की आवृत्ति।

9) भविष्यवाणी गुणवत्ता मैट्रिक्स

याद करें @ (महत्वपूर्ण घटना संवेदनशीलता)।

परिशुद्धता (कम "झूठे पृष्ठ")।

लीड टाइम (औसत "तथ्य से कितने मिनट पहले")।

हस्तक्षेप जीत-दर (उन मामलों का अनुपात जहां कार्रवाई ने जोखिम/लागत को कम किया)।

अलर्ट थकान सूचकांक (अलर्ट/शिफ्ट/व्यक्ति)।

बहाव स्कोर (स्टेट। सुविधाओं बनाम प्रशिक्षण अवधि के वितरण में अंतर)।

डिफ़ॉल्ट लक्ष्य रिकॉल (P1) ≥ 0 हैं। 7, परिशुद्धता ≥ 0। 6, लीड टाइम मंझला ≥ 8-10 मिनट।

10) मॉडल जोखिम प्रबंधन (एमएल ऑप्स/शासन)

डेटा/कोड/कलाकृति संस्करण, प्रजनन योग्यता।

चैंपियन/चैलेंजर: नया मॉडल समानांतर, ऑफ़ लाइन/ऑनलाइन तुलना में चलता है।

बहाव: पीएसआई/केएल-विचलन, थ्रेसहोल्ड का ऑटो-गणना, सतर्क "मॉडल पुराना है।"

व्याख्यात्मकता: प्रत्येक समाधान के लिए, सुविधाओं के महत्व और डेटा के लिंक को संग्रहीत करें।

सुरक्षा/नैतिकता: पहुंच, पीआईआई मास्किंग, राजनेताओं द्वारा ऑटो-क्रियाओं का नियंत्रण।

11) नमूना नियम और नीतियां

policy:
if slo_burn_rate{service="payments"} > 4 for 10m and release_phase in ["canary", "post-deploy_30m"]:
action: pause_release_and_rollback notify: squad-payments

risk_psp_x = sigmoid(
1. 2z(outbound_p99_ms) +
1. 5z(outbound_error_rate) +
0. 8z(retry_rate) +
1. 0I(quota_usage>0. 9) +
0. 7I(circuit_open=1)
)
if risk_psp_x > 0. 8 for 5m -> route_to_psp_y + reduce_features

if (consumer_lag > 5e6 and deriv(consumer_lag) > 5e4) and hpa_desired == hpa_max:
action: scale_consumers + throttle_producers + enable_batching

12) कार्यान्वयन चेकलिस्ट (30-60 दिन)

• घटनाओं (गंभीरता, समयरेखा) द्वारा संकेतों और "सत्य" की सूची।
• प्रमुख मैट्रिक्स (प्री/पोस्ट रिलीज) के लिए बेसलाइन और मौसमी।
• प्रारंभिक सिग्नल नियम (p99, लैग, बर्न-रेट ग्रेडिएंट्स)।
• जोखिम/लीड सिग्नल/एक्शन डैशबोर्ड।
• phicheflags/canaries के साथ एकीकरण, पूर्व पैमाने पर HPA।
• एक ही डोमेन पर एमएल क्लासिफायर पायलट (उदा। भुगतान)।
• HITL नीतियां और ऑटो गतिविधि लॉग।
• गुणवत्ता मैट्रिक्स और मॉडल बहाव/स्वास्थ्य के लिए अलर्ट।

13) एंटी-पैटर्न

"क्रिस्टल बॉल्स": बेसलाइन और सरल नियमों के बिना एक जटिल एमएल मॉडल।

कोई कार्रवाई नहीं: हम "बुरा" की भविष्यवाणी करते हैं, लेकिन हम स्वचालित रूप से कुछ भी नहीं करते हैं।

घटनाओं के मौसमी/कैलेंडर की अनदेखी (मैच/टूर्नामेंट) → झूठे अलार्म।

मिश्रण समय क्षेत्र - गलत मेट्रिक्स/घटना विंडो।

व्याख्या की कमी - अविश्वास, कमांड के साथ भविष्यवक्ता को अक्षम करना।

सभी डोमेन/क्षेत्रों के लिए एक एकल वैश्विक सीमा - कम सटीकता।

14) डोमेन विशिष्टता (iGaming)

भुगतान: प्रदाता/कोटा, वृद्धि 'रीट्री _ रेट' और 'सर्किट _ ओपन' - शुरुआती नकली।

दांव: गुणांक को अद्यतन करने में देरी, डब्ल्यूएस प्रशंसक विकास - प्रसारण सीमा।

खेल/लाइव: कनेक्शन स्पाइक्स, स्टूडियो सीमा → यूआई गिरावट/कैश।

KYC/AML: वेबहुक देरी, सत्यापन कतारें → HITL और आस्थगित प्रसंस्करण।

15) मेट्रिक्स और अलर्ट के उदाहरण (विचार)

ALERT PreIncidentRiskHigh
IF risk_score{domain="payments"} > 0. 8 FOR 5m
LABELS {severity="critical", team="payments"}

ALERT LeadSignalP99Slope
IF deriv(api_p99_ms{service="bets"}[5m]) > 15 AND api_p99_ms > baseline_1d 1. 2 FOR 10m
LABELS {severity="warning", team="bets"}

ALERT ProviderEarlyQuota
IF usage_quota_ratio{provider="psp_x"} > 0. 85 FOR 10m
LABELS {severity="info", team="integrations"}

ALERT StreamLagStorm
IF (kafka_consumer_lag{topic="ledger"} > 5e6 AND rate(kafka_consumer_lag[5m]) > 5e4)
AND hpa_desired == hpa_max FOR 10m
LABELS {severity="critical", team="streaming"}

16) भविष्यवाणी कार्यक्रम केपीआई

प्री-हादसा दर का पता लगाएं।

घटना से पहले Avg लीड टाइम।

P1/P2 QoQ में कमी

MTTR (प्रारंभिक संदर्भ के कारण उम्मीद)।

झूठी अलार्म दर/अलर्ट थकान (स्थिर ↓)।

लागत परिहार।

17) तेज शुरुआत (नुस्खा)

1. p99/लैग और SLO-burn पर ढाल नियम सक्षम करें;

2. प्रदाताओं के लिए समग्र शर्तें जोड़ें;

3. विधेय को phicheflags और पूर्व-पैमाने से जोड़ें;

4. भविष्यवाणी → क्रिया → प्रभाव रिपोर्ट;

5. एक डोमेन में एमएल पायलट; परिशुद्धता/स्मरण के बाद स्केल बढ़ ता है।

18) एफएक्यू

प्रश्न: एमएल के बिना कहां से शुरू करें?

A: मौसमी बेसलाइन + ग्रेडिएंट्स + समग्र नियम। यह जटिलताओं के बिना रिकॉल में ध्यान देने योग्य वृद्धि देता है।

प्रश्न: लोक सकारात्मकता में कैसे डूबना नहीं है?

A: संकेतों को मिलाएं, हिस्टेरिसिस और पुष्टि समय दर्ज करें, प्रति-डोमेन/क्षेत्र थ्रेसहोल्ड को समायोजित करें, प्रिसिजन और अलर्ट थकान का मूल्यांकन करें।

प्रश्न: पहले स्वचालित करने के लिए कौन सी क्रिया?

A: सुरक्षित और प्रतिवर्ती: पूर्व-पैमाने, कैश/गिरावट को सक्षम करना, पुष्ट संकेतों पर प्रदाता को स्विच करना।