लोड और जोखिम पूर्वानुमान

1) आपको इसकी आवश्यकता क्यों है

• क्षमता नियोजन और बजट
• SLO/SLI सेटिंग्स, त्रुटि बजट और सतर्क नीतियाँ
• एक रिलीज़ रणनीति (कैनरी, ब्लू-ग्रीन, डार्क लॉन्च) चुनना;
• जोखिम प्रबंधन: गिरावट, कतारों, ड्रॉप लेनदेन, एसएलए जुर्माना की रोकथाम।

2) बुनियादी अवधारणाएं

लोड-आने वाली घटनाओं/परिचालनों (आरपीएस, टीपीएस, इवेंट/सेकंड) के साथ-साथ सीपीयू/रैम/आईओ/नेट खपत की दर।

किसी दिए गए एसएलओ और लागत पर क्षमता-लगातार प्रदर्शन प्राप्त करने योग्य।

जोखिम: एक अवांछित घटना (एसएलए विफलता, घटना, ओवरस्पेंड) की संभावना × प्रभाव।

प्रारंभिक संकेतक: घटना से पहले बढ़ ने वाले मैट्रिक्स (विलंबता p95/p99, कतार गहराई, जीसी ठहराव, त्रुटि दर, संतृप्ति)।

हेडरूम-वर्तमान लोड के लिए उपलब्ध क्षमता का अनुपात।

3) डेटा स्रोत और मैट्रिक्स

स्रोत: लॉग एंड मेट्रिक्स (प्रोमेथियस/ओटीएल), ट्रेस, बिजनेस इवेंट्स (काफ्का), सीडीएन/डब्ल्यूएएफ/एएलबी लॉग, मार्कटेक डेटा (अभियान), इवेंट कैलेंडर, बिलिंग/हड्डियां (फिनोप्स), करें एफ़्का/खरगोश), डीबी/कैश।

• ट्रैफिक: आरपीएस/टीपीएस, सक्रिय उपयोगकर्ता (डीएयू/एमएयू), सत्र, चरण रूपांतरण।
• प्रदर्शन: विलंबता p50/p95/p99, थ्रूपुट, त्रुटियां (4xx/5xx), टाइमआउट, रेट्रीज़।
• Ресурсы: CPU/LoadAvg, RAM/GC, डिस्क IOps/lat, नेटवर्क bw, कनेक्शन पूल उपयोग।
• कतारें: बैकलॉग, लैग, कंज्यूमर लैग, टाइम-इन-कतार।
• БД: QPS, लॉक इंतजार, धीमी प्रश्नों, प्रतिकृति अंतराल।
• Кэши: हिट अनुपात, निष्कासन दर, गर्म कुंजी।
• व्यावसायिक स्तर: जमा/दरें प्रति मिनट, भुगतान से इनकार, केवाईसी/एएमएल कतार।
• विश्वसनीयता: SLI/SLO, त्रुटि बजट बर्न दर (1h/6h/24h)।

4) बेसलाइन भविष्यवाणी मॉडल

1. नियतात्मक और कैलेंडर: ज्ञात ड्राइवरों पर प्रतिगमन (तिथि/समय, मैच, टूर्नामेंट, बाजार पूल, भू, स्टॉक फ्लफ)।

2. सांख्यिकीय: मौसमी/प्रवृत्ति (ARIMA/ETS), छुट्टियों के साथ प्रतिगमन, पैगंबर जैसे दृष्टिकोण।

3. ML/पहनावा: ढाल बूस्टिंग/रैंडम फॉरेस्ट/XGBoost/LightGBM; सुविधाएँ जोड़ें: मौसम, विनिमय दर, खेल समाचार, प्रतिस्पर्धी घटनाएं।

4. मिश्रित: बहिर्जात कारकों (अभियान, रिलीज़) के लिए बेसलाइन मौसमी + एमएल के आंकड़े।

5. कोटा/मात्रा: पूर्वानुमान न केवल औसत, बल्कि हेडरूम योजना के लिए p90/p95 भी।

मॉडल आउटपुट: विश्वास अंतराल के साथ T + 1h/T + 24h/T + 7d/T + 30 डी क्षितिज पर RPS/TPS और विलंबता/त्रुटि वितरण की भविष्यवाणी।

5) कतारें और सीमाएँ: मिनी थ्योरी

लिटिल का नियम: L = ć × W (सिस्टम में औसत संख्या = तीव्रता × माध्य समय)।

अड़ चनें: डीबी/कैश/बस/कनेक्शन पूल/एपीआई प्रदाता सीमाएं।

संतृप्ति: लोड> 70-80% विलंबता गैर-रैखिक बढ़ जाती है।

Backpressure: ओवरलोड के खिलाफ उपभोक्ता संरक्षण (सीमा, कतारें, शेड नीतियां, सुविधा क्षरण)।

6) क्षमता योजना

SLO विधि: आवश्यक p99 विलंबता और स्वीकार्य त्रुटि दर - जो थ्रूपुट को हेडरूम N% पर बनाए रखा जाता है।

"परिदृश्यों से" विधि: "चैंपियंस लीग मैच", "ब्लैक फ्राइडे", "बड़ेपैमाने पर टूर्नामेंट" - एक AZ/नोड की यातायात + विफलता की ऊपरी मात्रा।

विधि "लागत-जागरूक": $/आरपीएस द्वारा विन्यास का चयन करें, छूट, आरक्षण, स्पॉट/सदस्यता, ऑटोस्कलिंग को ध्यान में रखते हुए।

कलाकृतियाँ: प्रति सेवा, सीमा और कोटा (एपीआई, डीबी, कतारें), अड़ चन → एक्शन टेबल (शार्डिंग, कैशिंग, प्रतिकृति, सीक्यूआरएस, एसिंक)।

7) जोखिम प्रबंधन

जोखिम रजिस्टर: पहचान, विवरण, संभावना, प्रभाव (वित्त/एसएलए/नियामक), मालिक, रोकथाम/प्रतिक्रिया योजना।

श्रेणियां: लोड (अधिभार), बुनियादी ढांचा (AZ/क्षेत्र विफल), निर्भरता (भुगतान प्रदाता), रिलीज (प्रतिगमन), उत्पाद (अभियान उम्मीदों से अधिक मजबूत), अनुपालन (सीमा/नियामक)।

मैट्रिक्स: हीटमैप (कम/मध्यम/उच्च × प्रभाव)।

केआरआई (कुंजी जोखिम संकेतक): कतार की गहराई, p99 वृद्धि, हिट-अनुपात ड्रॉप, बर्न रेट> 2 ×, प्रदाता त्रुटियां।

8) प्रारंभिक चेतावनी और सतर्कता

प्रारंभिक चेतावनी एसएलआई: p95 वृद्धि, कैश हिट में कमी, पूंछ विलंबता वृद्धि, पुनरावृद्धि/समय वृद्धि, उपभोक्ता अंतराल वृद्धि।

बजट त्रुटियों पर बर्न-रेट अलर्ट: तेज (1h) और धीमी (6-24h) खिड़कियां।

थ्रेसहोल्ड और विसंगति-आधारित अलर्ट: बेसलाइन थ्रेसहोल्ड + विसंगति मॉडल (IQR, STL, स्ट्रीम डिटेक्टर)।

सिग्नल एकत्रीकरण: गिरावट के साथ रिलीज/फिचफ्लाग/अभियान की घटनाओं का सहसंबंध।

9) परिदृश्य विश्लेषण और "क्या-अगर"

"यदि यातायात वृद्धि + 10 मिनट में 60%?"

"यदि सीडीएन/डब्ल्यूएएफ 5% वैध यातायात में कटौती करता है?"

"यदि भुगतान प्रदाता 30% प्राधिकरण खो देता है?"

प्रत्येक परिदृश्य के लिए: अपेक्षित मैट्रिक्स, अड़ चनें, गिरावट के कदम (गैर-महत्वपूर्ण सुविधाओं को टॉगल करना), मैनुअल/ऑटो-स्केल, स्विचिंग प्रदाताओं।

10) पूर्वानुमानों का परीक्षण और सत्यापन

लोड परीक्षण: सिंथेटिक ट्रैफिक (k6/JMeter/टिड्डी), वास्तविक मिक्स प्रोफाइल।

गेम डेज ़/कैओस: अक्षम AZ, डेटाबेस को नीचा दिखाना, पूल को समाप्त करना।

छाया/अंधेरा: प्रोड को प्रभावित किए बिना नए रास्ते के "छाया में" यातायात।

सटीकता पूर्वव्यापी: MAPE/SMAPE/RMSE + पोस्टमार्टम "आप कहाँ गलत थे? ”.

11) प्रक्रियाएं और भूमिकाएँ

• जिम्मेदार: SRE/प्लेटफ़ॉर्म/DS विश्लेषकों।
• जवाबदेह: ऑप्स/एसआरई के प्रमुख।
• परामर्श: देव लीड्स, मार्केटिंग, फाइनेंस (FinOps)।
• सूचित: सहायता/अनुपालन/व्यवसाय।
• ताल: साप्ताहिक पूर्वानुमान अपडेट, मासिक एसएलओ/क्षमता संशोधन, पूर्व-घटना वर कमरे।

12) उपकरण और ढेर

डेटा: काफ्का, क्लिकहाउस/बिगक्वेरी, लेक/डीडब्ल्यूएच, डीबीटी।

निगरानी: प्रोमेथियस, ग्राफाना, टेम्पो/जैगर, लोकी/ईएलके, ओटेल।

एमएल/पूर्वानुमान: एयरफ्लो/आर्गो, फीचर स्टोर, ARIMA/ETS/GBM मॉडल, पूर्वानुमान सेवा (gRPC/REST)।

Тесты: k6/JMeter/Locust, फॉल्ट-इंजेक्शन/कैओस मेश।

प्रबंधन: फ़ीचर फ़्लैग्स, ऑटोस्कलिंग (HPA/KEDA), नीति-जैसा कोड।

FinOps: लागत खोजकर्ता, शोबैक/चार्जबैक, $/RPS डैशबोर्ड।

13) कार्यान्वयन अभ्यास (रोडमैप)

1. मैट्रिक्स और निर्भरता की सूची - महत्वपूर्ण पथ मानचित्र (जमा, दर, आउटपुट)।

2. SLO/SLI और त्रुटि बजट - लक्ष्य p95/p99, त्रुटि-दर, बर्न अलर्ट।

3. डेटा संग्रह और सफाई → एकल घटना/मीट्रिक परत, डीडुप्लिकेशन, विलंबता।

4. बेसलाइन मौसमी पूर्वानुमान - दिन/सप्ताह पैटर्न, छुट्टियां/मैच।

5. ड्राइवरों द्वारा विस्तार - बाजार अभियान, रिलीज, भू, भुगतान खिड़कियां।

6. सेवाओं द्वारा क्षमता मॉडल - हेडरूम, सीमा, अड़ चनें, अनुकूलन योजना।

7. परिदृश्य "क्या-अगर" और गिरावट तालिका (किल-स्विच, रीड-ओनली, ग्रेस)।

8. परीक्षण/छाया के माध्यम से सत्यापन - मॉडल और थ्रेसहोल्ड का समायोजन।

9. ऑपरेटिंग रूटीन - साप्ताहिक पूर्वानुमान, प्री-इवेंट समीक्षा, पोस्ट-इवेंट रेट्रो

10. पूर्वानुमान के अनुसार स्वचालन → ऑटोस्केल, प्रदाताओं का ऑटो-स्विचिंग, ऑटो-फिचफ्लैग।

14) एंटीपैटर्न

p95/p99 पूंछ के बिना "मध्यम केवल" भविष्यवाणी।

कतारों और पूलों की अनदेखी - समस्याएं चरम पर हैं।

मान्यता और सटीकता मैट्रिक्स के बिना आंख द्वारा मैनुअल।

कोई लिंक नहीं है - ओवर-स्केलिंग लागत।

गिरावट योजना और phicheflags की कमी।

15) डैशबोर्ड और रिपोर्टिंग

Exec-dashbord: RPS/TPS पूर्वानुमान (p50/p90/p95), हेडरूम, जोखिम कार्ड, बर्न-रेट।

टेक-डैशबोर्ड: सेवाओं, कतारों/अंतराल, हिट-अनुपात, कनेक्शन पूल, डेटाबेस/कैश, बाहरी एपीआई सीमाओं द्वारा p95/p99 विलंबता।

वित्तीय: $/आरपीएस, लागत पूर्वानुमान, अनुकूलन प्रभाव।

पूर्वानुमान सटीकता: वास्तविक बनाम पूर्वानुमान, अवधि/भू/चैनल त्रुटि।

16) कलाकृतियाँ पैटर्न

जोखिम रजिस्टर: आईडी, जोखिम, संभावना/प्रभाव, मालिक, केआरआई, रोकथाम योजना, प्रतिक्रिया योजना।

क्षमता शीट: सेवा, वर्तमान थ्रूपुट, सीमा, अड़ चन, हेडरूम, आवश्यक विस्तार, ईटीए/लागत।

क्या-यदि कार्ड: परिदृश्य, इनपुट कारक, अपेक्षित मैट्रिक्स, क्रियाएं, पूर्णता मानदंड।

Playbook Degrade: अक्षम करने के लिए सुविधाओं की सूची, QoS स्तर, कैश/स्थिर मार्ग, पुनरावृत्ति/समय सीमा।

17) कुंजी केपीआई कार्य

SLO निष्पादन (लक्ष्य में अवधि का%), प्रारंभिक संकेतकों के लिए प्रतिक्रिया समय, पूर्वानुमान सटीकता (MAPE/SMAPE), ओवरलोड के कारण होने वाली घटनाओं की संख्या, स्वचालित स्केलिंग का हिस, $/RPPS S S S S S S S -

कुल

लोड और जोखिमों का सिस्टम पूर्वानुमान एक बंडल है: गुणवत्ता डेटा सार्थक मेट्रिक्स परीक्षण योग्य मॉडल परिदृश्य और प्लेबुक - स्केलिंग और गिरावट का स्वचालन। यह समोच्च स्थिरता, लागत की भविष्यवाणी और चरम चोटियों पर भी एक स्थिर उपयोगकर्ता अनुभव प्रदान करता है।