Տեխնոլոգիա և ենթակառուցվածք wwww.AI-Ops և ինքնավար համակարգեր
AI-Ops և ինքնավար համակարգեր
1) Ի՞ նչ է AI-Ops-ը
AI-Ops-ը ML/AI օգտագործումն է վիրահատական տվյալների համար (Loges, metrics, treiss, Lines/2019), որպեսզի
նախկինում հայտնաբերել խնդիրներ (հակատիպավորում),
ինքնաբերաբար վերացնել ձախողումները (71-remediation),
օպտիմիզացնել արժեքը և արտադրողականությունը (նախատիպային սկեյլինգ, ինտելեկտուալ ռոուտինգ),
արագացնել կոդավորման վերլուծությունը (ազդանշանների հարաբերակցությունը, հետմորտեմների արտադրությունը)։
Ինքնավար համակարգը այս համատեքստում պլատֆորմն է, որը կարող է
1. զգալ (հավաքել հեռաչափություն),
2. (հասկանալ մոդելները, էվրիստիկան, կանոնները),
3. գործել (կատարել անվտանգ փոփոխություններ ռումբերի վաճառքում),
4. սովորել (փակել հետադարձ կապի հանգույցը հետպատերազմյան վերլուծության միջոցով)։
2) AI-Ops ճարտարապետության շերտերը
1. Հեռուստատեսության հավաքումը (Observability 3-v-1) 'մետրիկները (Prometheus/OTel), լոգները (Loki/ELK), թրեյսները (OTel/Jaeger)։
2. Հարստացումը և ֆիչե-ինժեներինգը 'ագրեգացիան, սայթաքող պատուհանները, սեզոնայնությունը, բիզնես ոճը («partner», «game _ id», «region», «VIP», «p.ru»)։
3. Մոդելներն ու կանոնները
անոմալիաների դետեկտիվ (STL, Prophet, Isolation Forest, ավտո կոդավորողներ),
պատճառահետևանքային գրաֆիկները (կախվածության հարաբերակցությունը),
դասակարգումը և գերակայությունը (ML + DPE կանոններ)։
4. Որոշումներն ու գործողությունները 'ռենբուկներ, աուտո-ռեթրա, շարժիչ, auto-scailing, limits, folover-rowting։
5. Մարդկային մեքենայական ֆուտբոլ 'LLM կոպիլոտ CSC/SNE, չաթ թիմեր, «what-if» սիմուլյացիայի համար։
6. Ռուսական ազգը և անվտանգությունը 'հաստատումը, փոփոխության պատուհանները, աղետալի ստոպային պայմանները, աուդիտը։
3) Տվյալների և ֆիչիի աղբյուրները
Ենթակառուցվածքները ՝ CPU/Memory/IO/Latency, ցանցերի սխալներ, K8s/nods, limits/requesport, node pressure։
Ծառայությունները ՝ RPS/P50/P95/P99, 4xx/5xx, saturae, regrave սխալները, circuit-breaker իրադարձությունները։
Բիզնես ազդանշաններ ՝ ռուսական դեպոզիտ (CR), GGR/Net Deposits, PSA-ի հրաժարվելը կոդերով, VIP-105, Records, պրոմո-արշավներ։
Էքստրա գործոններ 'սուլֆատներ/ֆիչեֆլագներ, կարգավորող հաշվետվություններ, բանկերի հիբրիդային պատուհաններ, խաղեր/ivents (պիկի)։
Օգտակար ֆիգուրներ 'շաբաթական/ժամ սեզոն, ճամբարներ, rolling-արձաններ, rate-of-change, error-mix կոդերով, դուք տարբերակն եք, saturation-score։
4) Օգտագործման քեյս
4. 1 Վաղ բացահայտում
«Pom _ decorme _ rate» -ի ձախողումների աննորմալ աճը տարածաշրջանում բացատրվում է ավտոմատ ֆեյլերը պահեստային PSA-ի վրա, որը սահմանափակվում է հատվածներով (առանց VIP-ի)։
Nestandart Pattern-ը «web wwww.gateway wallet 'wallet» շղթայում տեղադրում է առողջ ենթատեսակների վրա, տաքացնելով քեշը, վերագործարկելով բաշխիչ instans։
4. 2 Նախատիպային կապիտասիտի կառավարում
RPS-ի կանխատեսումը, հաշվի առնելով խաղային գրաֆիկները և բացթողնելով K8s սկեյլինգը, տաքացնելով BD/kasha, biling քվոտան ամպերի։
Խնայողություններ 'օվերսայզինգի նվազումը գագաթներից դուրս, երբ պահպանվում է SLO-ն։
4. 3 Auto-remedia (wwww.f-healing)
«Stuck payouts queue» սխալը բացատրվում է ranbuck 'consumer, deduplication, DLQ-ից վերափոխում, idempotenty վերահսկողություն։
Degraded shard BD-ը բացատրում է ընթերցումների լուծումը, writer, throttling ֆոնային ջոբները։
4. 4 Հարաբերակցություն և RCA
ML-կլաստերիզացիա alerts (alronstor.ru) + պատճառված գրաֆիկները պարունակում են մեկ «պատահականության քարտ» փոխարեն տասնյակ հաղորդագրությունների փոխարեն։
Auto-գեներացիան timline-ն է և postmortem-ի չեռնովիկան։
4. 5 Կոպիլոտ MSC/MSE (LLM) համար
Թիմը '«ցույց տվեք այն ամենը, ինչ փոխվել է 15 րոպե առաջ 5xx/v2/payouts-ի աճից EU-ի տարածքում»։
Պատասխանը 'diff wings, Explores-ը, դիֆրիտ-նոթերը, ենթաստամոքսները, հիպոթեզները + կոճակը «սկսել ranbuk»։
5) Որոշումների կայացման արտոնագրեր
Safe-automation: գործողությունը միայն կանաչ միջանցքում է (hardrail: max%, max քայլ, թույլատրված թիմերի ցուցակ)։
Human-in-the-loop: կրիտիկական քայլեր (BD prodter, զանգվածային ֆիչեֆլագներ) - ապացույց on-call։
Բազմապատկություն ՝ ձգան ոչ թե մեկ ալբերտ է, այլ ներդաշնակություն ՝ չափումներ + թրեյսներ + log-pattern + նշանը։
Canary-remediation: Նախ կիրառեք 1-5% ռուբլիա, ապա ուղեկցել։
Rollback-by-design: Յուրաքանչյուր գործողություն ունի հետադարձ քայլ և թայմաուտ։
6) Ռանբուկին (Runbooks) և պլեյբուսները
Ռանբուկի կառուցվածքն այն է, որ պայմանը հաստատվում է կանոնավոր գործողությունների վավերացումով։
Օրինակներ
PMS մերժումը> X տոկոսը երկրում Y 'անցնել B-ի, նվազեցնել «retry _ budget», ակտիվացնել լիմիտների քեշը, բացել ticet դեպի PSA։
Latency-ի աճը wallet-ծառայությունում 'բարձրացնել կրկնօրինակները, տաքացնել Redis-բանալիները, ներառել «read-only» ռեժիմը ծանր միգրանցների համար, սահմանափակել կողմնակի ագրեգացիաները։
7) Մոդելներ ՝ հասարակ հասունությունից մինչև հասուն
1. Հիմնական կանոնները և STL սեզոնայնությունը 'արագ սկիզբը, ոչ ֆոլս դրական։
2. Supervised-մոդելը պատահականության պատմության վրա '«քննադատության/ենթահամակարգերի» դասակարգիչը, RCA-ի ենթադրությունը։
3. Unsupervised/Deep: autoencoder/Isolation Forest բարդ պաթոգենների համար։
4. Policy-Learning: Վերապատրաստել ռելյացիայի քաղաքական գործիչը (No. 2019-սիմուլյացիա + սահմանափակ առցանց փորձարկումներ)։
Կարևոր է, որ մոգության մոդելները։ Հետադարձ հայացք նետեք, վերահսկեք դրեյֆը, champion-challenger, և պահեք fics/պիտակները։
8) A/B և փորձարկումը վիրահատություններում
Վիրահատական գործողությունների փորձարկումները 'տարբեր ռեակտորների/թայմաուտների ռազմավարություններ, PSA-ի միկրոակտիվացում, լիմիտներ։
Հաջողության մետրերը ՝ MTTR, error budget burn, cost-per-RPS, ֆոլս-ավտոֆիքսների տոկոսը։
Stop-պայմանները և արագ կանգառը SLO-ի քայքայման ժամանակ։
9) Ազգությունը, ռիսկը և համապատասխանությունը
Գործողությունների քաղաքականությունը 'թույլատրելի ավտոմատիզացիայի, ռիսկի գոտիների, փոփոխությունների պատուհանների, հաստատման մակարդակների իրականացում։
Աուդիտ և ուղի 'ով/երբ/ինչու է սկսել ռենբուկը։ արտեֆակտներ հետմորտեմայի համար։
PII/PCI 'դիմակավորում ֆիթիում/logs, տվյալների նվազեցում, գաղտնիք։
iGaming/fintech-ի կարգավորումը 'որոշումների թափանցիկությունը (wwww.ainability), շարժիչների/սահմանների կանգառների տրամաբանությունը պետք է վերարտադրվի և բացատրվի։
10) Գործիքներ (հանրաքվեներ)
Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Պիտերբուրգը և գիտելիքը 'ծառայություն-կատալոգը, գրաֆիկների կախվածությունը, դելեգների/ֆիչեֆլագների պարամետրերը։
ML-wwww.pline: Feature Store, offline-CHH + առցանց ֆիչի, մոդելի գրանցամատյան, CI/CD մոդելներ, drift-2019։
Ավտոմատիզացիա 'ռումբերի նվագարկիչ (Argo/StackStorm/wwww.ru), K8s օպերատորներ, GitOps (Argo CD/Flux)։
Միջադեպերը 'չաթ-ops (Slack/Telegram/Teams), պահակախմբային բոտերը, հետմորտեմների օրինակները։
Անվտանգություն ՝ Vox/KHL, ռուսական քաղաքականությունը, mTSA, արտեֆակտների ստորագրությունը։
11) AI-Ops հասունության մետրերը
Հայտնաբերումը 'օգտագործողների բողոքներից առաջ նկատված միգրանտների մասնաբաժինը։ հայտնաբերման միջին նվազեցում։
Արձագանքը ՝ MTTA/MTTR, ավտոմեքենայի ռեմիդացիաների տոկոսը առանց էսկալացիայի, RCA որակը (precision/recall)։
Իսպանիա ՝ burn-rate, SLO adherence, alerts «աղմուկ» (alerper on-call hour)։
Տնտեսությունը 'խնայողությունները հաշվարկների վրա (rightsizing), բյուջեից շեղումների նվազումը, cost-per-transaction։
Մշակույթը 'հետմորտեմների հետ համագործակցությունների մասնաբաժինը, ռումբի ծառայությունների ծածկումը, կանոնների իրականացման արագությունը։
12) Իրացման պլանը
1. Թելեմետրիա և մեկ ազդանշանային բառարան։ Պարտադիր պիտակները ՝ «07», «version», «region», «partner», «api _ version»։
2. Անտի-աղմուկ և հարաբերակցություն։ Ալերտների դեդուպլիկացիան, պատահականության խմբավորումը։
3. Ռանբուկի գրադարան։ Սցենարները լավագույն 10 ռիսկերի համար (վճարումներ, wallet, ռուսական և խաղեր, մրցույթներ, հաշվետվություններ)։
4. Առաջնային մոդելները։ STL/Prophet + կանոնները; օդաչուն երկու-3 ծառայության վրա։
5. Կոպիլոտը և չաթ-օպսը։ Բնական հարցումներ, արագ գործողություններ, հետմորտեմների ձևանմուշներ։
6. Գարդրեյլները և վերահսկողությունը։ Canaries, գործողությունների սահմաններ, ամսագիրը։
7. Փորձեր և ուսուցում։ Champion-challenger, A/B, օգուտների հետադարձ գնահատական։
8. Մեծացումը։ Բոլոր կրիտիկական հոսքերի միացումը, թիմերի ուսուցումը, SLO-ռևը։
13) Քաղաքական և գենդերային օրինակներ
13. 1 Auto scailing քաղաքականություն (գաղափար)
Վերջին շաբաթվա ընթացքում RPS> P95 կանխատեսումը + X տոկոսով։
Սառը մեկնարկը 'տաքացնելով անցումը Redis/PSA-ին, տաքացնելով քեշը։
Stop-պայման '5xx-ի սխալը աճում է սայթաքումից հետո։
13. 2 Ranbuk «PMS դեգրադացիա»
1. Ստուգել 'pult _ error _ rate> T' և "region in MS, TR +։
2. Ներառել smart-routing PMS-B-ի վրա միայն non-VIP-ի համար։ սահմանափակել 'max _ retries = 2'։
3. Ստեղծել PSA-A թիկեթ; հավաքել 100 հարցում/պատասխաններ RCA-ի համար։
4. Վերահսկել CR դեպոզիտը և T2W (Time-to-wallet)։ Արձագանքը, երբ վատանում է> Y%։
13. 3 Հետմորտեմա (ավտոմատ գեներացիայի հետ)
Timline International Potess-ի դետեկտորը (օգտագործողներ/եկամուտներ) մեջբերում է Windows Windows/Ranbuks/մոդելները։
14) Anti-patterna
«Սև արկղը» առանց զգեստապահարանների 'բոտերը ղեկավարում են երկարությունը առանց սահմանաչափերի և պարամետրերի։
Մոդելները առանց բիզնես իրադարձությունների տվյալների, տեսնում են CPU, բայց չեն հասկանում գովազդային/խաղերը։
Alert-փոթորիկները 'on-call-ի հարաբերակցության բացակայությունը «թունելային տեսողությունը»։
Auto-rediation առանց արձագանքի/արդյունքի valivation։
«Հավիտենական օդաչուներ» 'իրական գործողությունների ելքը միայն էժան է։
Հետմորտեմների բացակայությունը համակարգի ուսուցում չկա։
15) iGaming/fintech կոնտեքստը
Բեռի պիկի (տրամագծեր, լայվ-տոկոսադրույքներ, ֆինալներ) 'նախատիպային սկեյլինգ, տաքացնելով քեշը, պատրաստելով PSA-ի սահմանները։
Պատասխանատու խաղեր/լիմիտներ, մոդելները չպետք է ինքնաբերաբար նկարահանեն խաղացողի սահմանները առանց կանոնների։
Հաշվետվության կարգավորող պատուհանները 'բեռնման ժամանակացույց, SLA արտանետման, հերթերի գերակայություն։
Multi-PSA: դինամիկ միկրոակտիվացում երկրներով, օրվա ընթացքում, սխալների կոդերը, գործարքի արժեքը։
VIP սեգմենտը 'առանձին գարդրալներ, ոչ մի ագրեսիվ գործողություն առանց հաստատման (human-in-the-loop)։
16) Պատրաստության թուղթ
1. OTel-ի միակ շերտը, միավորված պիտակները և ճանապարհները դռների միջով։
2. Ծառայությունների և տարբերակների կախվածության քարտեզը (www.topology)։
3. Ռանբուկի կատալոգը սիմուլյացիաներով և unit թեստերով։
4. Առնվազն մեկ անոմալիա վաճառում է + որակի զեկույցը։
5. Չաթ-կոպիլոտ, որը կարող է կարդալ լոգներ/մետրիկներ և սկսել անվտանգ գործողություններ։
6. Գարդրեյլները, կանարեյները, արձագանքները, փոփոխությունների աուդիտը։
7. Ռուսական հետմորտները և գիտելիքների/մոդելների նորարարությունը արդյունքների վրա։
Արդյունքը
AI-Ops-ը ոչ թե «կախարդական II-ն է լոգարանների վերևում», այլ կարգապահություն 'բարձրորակ հեռուստատեսություն, հասկանալի ռումբեր, զգուշավոր ավտոմատացում և վերահսկվող մոդելներ։ Օրինակ ՝ դուք կարող եք տեսնել, թե ինչպես կարելի է հասկանալ, թե ինչպես կարելի է հասկանալ, թե ինչպես կարելի է սովորել, թե ինչպես է այն ինքնաբուխ հարթակ, որը նախկինում նկատում է ռիսկերը, ավելի արագ վերականգնվում և ավելի էժան արժե բիզնեսը։