प्रौद्योगिकी और बुनियादी ढांचा → एआई-ऑप्स और स्वायत्त प्रणाली

एआई-ऑप्स और स्टैंडअलोन सिस्टम

1) एआई-ऑप्स क्या है

• पहले की समस्याओं का पता लगाना (घटनाओं का प्रतिरूप),
• ऑटो-रीमेडिएशन
• अनुकूलित लागत और प्रदर्शन (भविष्यवाणी स्केलिंग, बुद्धिमान मार्ग)
• घटनाओं के विश्लेषण को गति (सिग्नल सहसंबंध, पोस्टमार्टम की पीढ़ी)।

1. महसूस करें (टेलीमेट्री एकत्र करें),

2. समझना (मॉडल, अनुमान, नियम),

3. अधिनियम (ranbooks द्वारा उत्पाद में सुरक्षित परिवर्तन क

4. सीखें (पोस्ट-इवेंट एनालिटिक्स के माध्यम से फीडबैक लूप बंद करें)।

2) एआई-ऑप्स वास्तुकला की परतें

1. टेलीमेट्री संग्रह (अवलोकन 3-इन -1): मेट्रिक्स (प्रोमेथियस/ओटीएल), लॉग (लोकी/ईएलके), ट्रेल्स (ओटेल/जेगर)।

2. संवर्धन और सुविधा इंजीनियरिंग: एकत्रीकरण, फिसलने वाली खिड़कियां, मौसमी, व्यापार टैग ('पार्टनर', 'गेम _ आईडी', 'क्षेत्र', 'वीआईपी', 'पीएसपी')।

• विसंगति का पता लगाने (एसटीएल, पैगंबर, अलगाव वन, ऑटो एनकोडर्स),
• कारण और प्रभाव रेखांकन (निर्भरता सहसंबंध),
• घटना वर्गीकरण और प्राथमिकता (ML + SRE डोमेन नियम)।
• 4. समाधान और कार्रवाई: किताबें चलाना, ऑटो रिट्रास, ट्रैफिक स्विचिंग, ऑटो-स्केलिंग, बदलती सीमा, फॉलो-रूटिंग।
• 5. मानव-मशीन सर्किट: एनओसी/एसआरई के लिए एलएलएम-कॉपीलॉट, चैट कमांड, "क्या-अगर" सिमुलेशन।
• 6. गवर्नर और सुरक्षा: अनुमोदन, खिड़कियां बदलना, भयावह स्टॉप स्थिति, ऑडिट।

3) डेटा स्रोत और सुविधाएँ

बुनियादी ढांचा: सीपीयू/मेमोरी/आईओ/लेटेंसी, नेटवर्क त्रुटियां, K8s पॉड्स/नोड्स, सीमा/अनुरोध, नोड दबाव।

सेवाएं: RPS/P50/P95/P99, 4xx/5xx, संतृप्ति, रिट्रे त्रुटियां, सर्किट-ब्रेकर घटनाएँ।

व्यावसायिक संकेत: registratsiya→depozit (सीआर), जीजीआर/नेट जमा, कोड द्वारा पीएसपी विफलता, वीआईपी यातायात, टूर्नामेंट, प्रचार अभियान।

अतिरिक्त कारक: रिलीज/फीचर फ्लैग, नियामक रिपोर्ट, बैंक भुगतान खिड़कियां, मैच/इवेंट (सट्टेबाजी चोटियां)।

उपयोगी विशेषताएं: साप्ताहिक/प्रति घंटा मौसमी, लैग, रोलिंग आँकड़े, दर-परिवर्तन, कोड द्वारा त्रुटि-मिश्रण, versiya→versiya डेल्टा, संतृप्ति-स्कोर।

4) आवेदन के मामले

4. 1 घटनाओं का जल्दी पता लगाना

क्षेत्र में 'psp _ dince _ rate' विफलताओं की असामान्य वृद्धि - एक बैकअप PSP के लिए एक स्वचालित विफलता, खंडों द्वारा सीमित (VIP को नहीं छूना)।

'वेब' गेटवे 'वॉलेट' श्रृंखला में ट्रेस देरी का एक गैर-मानक पैटर्न स्वस्थ फली के लिए ऑटो-एन्क्रिप्ट ट्रैफिक, कैश को गर्म करना, अपमानजनक उदाहरणों को फिर से शुरू करना।

4. 2 भविष्यवाणी क्षमता प्रबंधन

आरपीएस पूर्वानुमान, मैच शेड्यूल और प्रोमो प्रोटेक्टिव स्केलिंग को ध्यान में रखते हुए, डेटाबेस/कैश, क्लाउड बिलिंग कोटा के कनेक्शन को गर्म करते हुए।

बचत: SLO को बनाए रखते हुए ऑफ-पीक ओवरसाइज़िंग कम।

4. 3 स्व-उपचार

अटक भुगतान कतार त्रुटि → रनबुक: उपभोक्ता ठहराव, डीडुप्लीकेशन, डीएलक्यू प्रक्रिया, पहचान नियंत्रण।

अपमानित शार्ड डीबी → रीड्स की निकासी, लेखक को स्विच करना, पृष्ठभूमि की नौकरियों को थ्रॉटलिंग करना।

4. 4 सहसंबंध और आरसीए

अलर्ट (अलर्ट तूफान) + कारण रेखांकन के एमएल-क्लस्टरिंग - दर्जनों संदेशों के बजाय एक "घटना कार्ड"।

घटना समयरेखा और पोस्टमॉर्टम ड्राफ्ट की ऑटो-पीढ़ी।

4. एनओसी/एसआरई (एलएलएम) के लिए 5 कोपिलॉट

कमांड: "वह सब कुछ दिखाएं जो यूरोपीय संघ के क्षेत्र में 5xx स्पाइक/v2/भुगतान से 15 मिनट पहले बदल गया था।"

उत्तर: डिफ़कॉन्फ़िग, रिलीज़ नोट्स, मीट्रिक डेल्टा, प्रभावित फली, परिकल्पना + "प्रारंभ रैनबुक" बटन।

5) निर्णय पैटर्न

सुरक्षित-स्वचालन: केवल "ग्रीन कॉरिडोर" में कार्रवाई (माली: अधिकतम% यातायात, अधिकतम स्केल पिच, अनुमत कमांड की सूची)।

मानव-इन-द-लूप: महत्वपूर्ण कदम (मास्टर डेटाबेस, मास फिचफ्लैग्स को स्विच करना) - ऑन-कॉल पुष्टि के साथ।

मल्टीसिग्नैलिटी: ट्रिगर एक अलर्ट नहीं है, लेकिन स्थिरता: मेट्रिक्स + ट्रेल्स + लॉग पैटर्न + रिलीज साइन।

कैनरी उपचार: पहले यातायात के 1-5% पर लागू होता है, फिर आगे बढ़ ता है।

रोलबैक-बाय-डिज़ाइन: प्रत्येक क्रिया में एक पिछड़ा कदम और समय है।

6) रनबुक और प्लेबुक

रनबुक संरचना: शर्त क्रिया का सत्यापन सत्यापन रोलबैक लॉग।

• PSP छूट> देश Y में X%: मार्ग B पर स्विच करें, कम 'retry _ बजट', सीमा कैश को सक्रिय करें, PSP के लिए खुला टिकट।
• वॉलेट सेवा में विलंबता की वृद्धि: प्रतिकृतियों को बढ़ाएं, रेडिस कुंजियों की सीमाओं को वार्म अप करें, भारी रिपोर्ट के लिए "रीड-ओनली" मोड सक्षम करें, तीसरे पक्ष के एकत्रीकरण को सीमित करें।

7) मॉडल: सरल से परिपक्व

1. बुनियादी नियम और एसटीएल मौसमी: तेज शुरुआत, कुछ लोक सकारात्मकता।

2. पर्यवेक्षित घटना-इतिहास मॉडल: आलोचना/सबसिस्टम क्लासिफायर, आरसीए संकेत।

3. जटिल पैटर्न के लिए असुरक्षित/दीप: ऑटोनकोडर/अलगाव वन।

4. नीति-सीखना: उपचारात्मक नीतियों का प्रशिक्षण (ऑफ़लाइन सिमुलेशन + सीमित ऑनलाइन प्रयोग)।

महत्वपूर्ण: मॉडल - जादू। अड़ चन, बहाव नियंत्रण, चैंपियन-चैलेंजर करें, और सुविधाओं/लेबल रखें।

8) ए/बी और संचालन में प्रयोग

परिचालन समाधानों पर प्रयोग: विभिन्न रिट्रे/टाइमआउट रणनीतियां, पीएसपी रूटिंग, कनेक्शन सीमाएं।

सफलता मेट्रिक्स: एमटीटीआर, त्रुटि बजट बर्न, लागत-प्रति-आरपीएस,% लोक ऑटोफिक्स।

एसएलओ गिरावट के दौरान स्थितियों को रोकें और त्वरित रोकें।

9) शासन, जोखिम और अनुपालन

कार्रवाई नीति: अनुमेय स्वचालन, जोखिम क्षेत्रों की सूची, खिड़कियां बदलें, अनुमोदन स्तर।

ऑडिट और ट्रेसिंग: कौन/कब/क्यों रैनबुक लॉन्च किया; पोस्टमॉर्टम के लिए कलाकृतियाँ।

PII/PCI: सुविधाओं/लॉग, डेटा न्यूनतम, गुप्त स्कैन में मास्किंग।

विनियमन iGaming/fintech: निर्णयों की पारदर्शिता (व्याख्यात्मकता), भुगतान स्टॉप/सीमाओं का तर्क प्रजनन योग्य और व्याख्यात्मक होना चाहिए।

10) उपकरण (संदर्भ स्टैक)

अवलोकन: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK।

कैटलॉग और ज्ञान: सेवा कैटलॉग, ग्राफ निर्भरता, विन्यास/phicheflags की सूची।

एमएल-पाइपलाइन: फीचर स्टोर, ऑफ़ लाइन-डीडब्ल्यूएच + ऑनलाइन सुविधाएँ, मॉडल-रजिस्टर, सीआई/सीडी मॉडल, बहाव-निगरानी।

स्वचालन: ranbooks (Argo/StackStorm/自opisnyye), K8s ऑपरेटर, GitOps (Argo CD/Flux) के ऑर्केस्ट्रेटर।

घटनाएं: चैट ऑप्स (स्लैक/टेलीग्राम/टीमें), बॉट देखें, पोस्टमार्टम टेम्पलेट।

सुरक्षा: वॉल्ट/केएमएस, कुंजी नीति, एमटीएलएस, कलाकृति हस्ताक्षर।

11) एआई-ऑप्स परिपक्वता मेट्रिक्स

पता लगाना: उपयोगकर्ता की शिकायतों से पहले देखी गई घटनाओं का अनुपात; औसत पता लगाने का नेतृत्व।

प्रतिक्रिया: MTTA/MTTR, बिना वृद्धि के% ऑटो-रिमेडिएशन, RCA गुणवत्ता (सटीक/रिकॉल)।

विश्वसनीयता: बर्न-रेट, एसएलओ पालन, प्रति-कॉल घंटे अलर्ट।

अर्थव्यवस्था: गणना (सही आकार) पर $ की बचत, बजट से विचलन को कम करना, लागत-प्रति-लेनदेन।

संस्कृति: पोस्टमार्टम के बाद की घटनाओं का हिस्सा, रनबुक के साथ सेवाओं का कवरेज, नियमों के कार्यान्वयन की गति।

12) चरण दर चरण कार्यान्वयन योजना

1. टेलीमेट्री और यूनिफाइड सिग्नल डिक्शनरी। आवश्यक लेबल: 'सेवा', 'संस्करण', 'क्षेत्र', 'साझेदार', 'api _ version'.

2. शोर और सहसंबंध। अलर्ट डिडुप्लिकेशन, घटना से समूहीकृत।

3. रनबुक लाइब्रेरी। शीर्ष 10 जोखिमों (भुगतान, बटुआ, खेल कैटलॉग, टूर्नामेंट, रिपोर्ट) के लिए परिदृश्य।

4. प्राथमिक मॉडल। एसटीएल/पैगंबर + नियम; 2-3 सेवाओं पर पायलट।

5. कोपिलॉट और चैट ऑप्स। प्राकृतिक अनुरोध, त्वरित कार्रवाई, पोस्टमार्टम टेम्पलेट।

6. गार्डरेल और नियंत्रण। कैनरी, एक्शन लिमिट, ऑडिट ट्रेल।

7. प्रयोग और प्रशिक्षण। चैंपियन-चैलेंजर, ए/बी, पूर्वव्यापी लाभ मूल्यांकन।

8. स्केलिंग। सभी महत्वपूर्ण धाराओं, प्रशिक्षण टीमों, एसएलओ समीक्षा को जोड़ ना।

13) नीतियों और कॉन्फ़िग के उदाहरण

13. 1 ऑटो-स्केलिंग नीति (विचार)

आरपीएस पूर्वानुमान> + X% P95 पर पिछले सप्ताह सक्रिय स्केलिंग।

ठंडी शुरुआत: रेडिस/पीएसपी के लिए कनेक्शन वार्मिंग, कैश को वार्मिंग।

स्टॉप स्थिति: स्केल → रोलबैक के बाद 5xx त्रुटि बढ़ ती है।

13. 2 "पीएसपी गिरावट" रनबुक

1. 'psp _ error _ rate> T' और 'क्षेत्र {BR, TR}' में जाँचें.

2. केवल गैर-वीआईपी के लिए पीएसपी-बी पर स्मार्ट-रूटिंग सक्षम करें; सीमा 'max _ retries = 2'।

3. PSP-A टिकट बनाएँ; आरसीए के लिए 100 अनुरोध/प्रतिक्रियाएँ एकत्र करें।

4. सीआर जमा और T2W (समय-से-बटुआ) की निगरानी करें। गिरावट पर रोलबैक> Y%।

13. 3 पोस्टमॉर्टम टेम्पलेट (ऑटोजेनरेटेड)

डिटेक्टर टाइमलाइन हाइपोथेसिस (प्रभाव (उपयोगकर्ता/राजस्व) क्रियाएं सबक रनबुक/मॉडल में परिवर्तन।

14) एंटी-पैटर्न

माली के बिना "ब्लैक बॉक्स": बॉट्स बिना सीमा और ऑडिट के बिक्री पर शासन करते हैं।

व्यावसायिक घटनाओं पर डेटा के बिना मॉडल: सीपीयू देखें, लेकिन प्रोमो/मैचों को नहीं समझते हैं।

अलर्ट तूफान: सहसंबंध की कमी - ऑन-कॉल "सुरंग दृष्टि"।

रोलबैक/परिणाम के सत्यापन के बिना ऑटो-रीमेडिएशन।

"अनन्त पायलट": वास्तविक कार्यों के लिए कोई रास्ता नहीं है, केवल डेशबोर्ड।

पोस्टमार्टम की कमी - कोई प्रशिक्षण प्रणाली नहीं।

15) आईगेमिंग संदर्भ/फिनटेक

लोड चोटियाँ (टूर्नामेंट, लाइव दांव, फाइनल): पूर्वानुमानित स्केलिंग, वार्मिंग कैश, पीएसपी सीमा तैयार करना।

जिम्मेदार खेल/सीमाएं: मॉडल को बिना नियमों के खिलाड़ी को स्वचालित रूप से नहीं उठाना चाहिए।

नियामक रिपोर्टिंग विंडो: डाउनलोड शेड्यूल, एसएलए डाउनलोड करें, कतार प्राथमिकता।

मल्टी-पीएसपी: देश द्वारा गतिशील मार्ग, दिन का समय, त्रुटि कोड, लेनदेन लागत।

वीआईपी खंड: व्यक्तिगत माली - पुष्टि के बिना कोई आक्रामक कार्रवाई नहीं (मानव-इन-द-लूप)।

16) तत्परता चेकलिस्ट

1. ओटीएल की एक एकल परत, एकीकृत लेबल और प्रवेश द्वार के माध्यम से ट्रैक।

2. सेवा टोपोलॉजी।

3. सिमुलेशन और यूनिट परीक्षणों के साथ रनबुक की सूची।

4. उत्पाद + गुणवत्ता रिपोर्ट में विसंगतियों का कम से कम एक मॉडल।

5. लॉग/मैट्रिक्स पढ़ ने और सुरक्षित क्रियाओं को शुरू करने में सक्षम चैट कोपिलॉट।

6. गार्डरेल, कैनरी, किकबैक, ऑडिट बदलें।

7. नियमित पोस्टमार्टम और परिणामों के आधार पर ज्ञान/मॉडल का अद्यतन करना।

परिणाम

एआई-ऑप्स "लॉग के शीर्ष पर जादू एआई" नहीं है, लेकिन एक अनुशासन: उच्च गुणवत्ता वाली टेलीमेट्री, समझने योग्य रैनबुक, सतर्क स्वचालन और नियंत्रित मॉडल। स्पष्ट गार्डरेल्स के साथ सीखने अभिनय अभिनय करने का एक लूप पेश करके, आपको एक सेल्फ-हीलिंग प्लेटफॉर्म मिलता है जो पहले जोखिम को नोटिस करता है, तेजी से ठीक होता है और व्यवसाय को कम खर्च करता है।