ტექნოლოგიები და ინფრასტრუქტურა AI-Ops და ავტონომიური სისტემები

AI-Ops და ავტონომიური სისტემები

1) რა არის AI-Ops

• პრობლემების გამოვლენა ადრე (ინციდენტების საწინააღმდეგო),
• ავტომატურად აღმოფხვრის გაუმართაობას,
• ფასისა და პროდუქტიულობის ოპტიმიზაცია (პრედიკულარული სკეილინგი, ინტელექტუალური როუტინგი),
• დააჩქარეთ ინციდენტების ანალიზი (სიგნალების კორელაცია, პოსტმორტემების წარმოქმნა).

1. იგრძნო (შეაგროვე ტელემეტრია),

2. გვესმოდეს (მოდელები, ევრისტიკა, წესები),

3. იმოქმედეთ (განახორციელეთ უსაფრთხო ცვლილებები გაყიდვაში ranbooks),

4. ისწავლეთ (დახურეთ უკუკავშირის მარყუჟი პოსტ-ინციდენტის ანალიტიკის საშუალებით).

2) AI-Ops არქიტექტურის ფენები

1. ტელემეტრიის შეგროვება (Observability 3-in-1): მეტრიკა (Prometheus/OTel), ლოგოები (Loki/ELK), ტრეისი (OTel/Jaeger).
2. გამდიდრება და ჩიპების ინჟინერია: აგრეგაციები, მოცურების ფანჯრები, სეზონურობა, ბიზნეს ეტიკეტები ('partner', 'game _ id', 'region', 'VIP', 'psp').

• ანომალიების დეტექტივი (STL, Prophet, Isolation Forest, ავტომატური კოდირება),
• მიზეზობრივი გრაფიკები (დამოკიდებულების კორელაცია),
• ინციდენტების კლასიფიკაცია და პრიორიტეტიზაცია (ML + SRE დომენის წესები).
• 4. გადაწყვეტილებები და მოქმედებები: ranbooks, rettray მანქანები, ტრაფიკის გადართვა, მანქანის სკეილინგი, ლიმიტების შეცვლა, ფოლკლორული როუტინგი.
• 5. ადამიანის ძრავის წრე: LLM კოპილოტი NOC/SRE- სთვის, ჩატის გუნდებისთვის, „რა-თუ“ სიმულაციისთვის.
• 6. პროვინცია და უსაფრთხოება: დამტკიცება, ცვლილებების ფანჯრები, კატასტროფული გაჩერების პირობები, აუდიტი.

3) მონაცემთა წყაროები და ფიჩები

ინფრასტრუქტურა: CPU/Memory/IO/Latency, ქსელის შეცდომები, K8s ქვედაბოლოები, limites/requests, node pressure.
სერვისები: RPS/P50/P95/P99, 4xx/5xx, saturations, ჭიდაობის შეცდომები, მოვლენათა ცირკი.
ბიზნეს სიგნალები: რეგისტრაცია - ანაბარი (CR), GGR/Net Deposits, PSP კოდების უარყოფა, VIP ტრაფიკი, ტურნირები, სარეკლამო კამპანიები.
ექსტრაორდინალური ფაქტორები: გამოშვებები/ფიჩეფლაგები, მარეგულირებელი ანგარიშები, ბანკის გადახდის ფანჯრები, მატჩები/ტირიფები (ფსონების მწვერვალები).

სასარგებლო ჩიპები: ყოველკვირეული/საათიანი სეზონურობა, ლაქები, როლინგის სტატუსი, შეცვლა-შეცვლა, error-mix კოდებით, დელტას ვერსია-ვერსია, სატურნის სკორეტი.

4) გამოყენების შემთხვევები

4. 1 ინციდენტების ადრეული გამოვლენა

რეგიონში „psp _ decline _ rate“ წარუმატებლობის არანორმალური ზრდა არის სარეზერვო PSP- ის ავტომატური ფეილოვერი, რომელიც შემოიფარგლება სეგმენტებით (VIP- ის შეხების გარეშე).
'web' gateway 'wallet' ჯაჭვში ტრეიდერების შეფერხების არასტანდარტული შაბლონი არის ჯანსაღი ჯაჭვის ტრაფიკის დაშიფვრა, ქეში თბება და დეგრადაციური ინსტანციების გადატვირთვა.

4. 2 პრედიკატიური კაპასიტის მენეჯმენტი

RPS- ის პროგნოზით, გრაფიკის მატჩის გათვალისწინებით და პრომო skaling K8s, გაათბეთ ნაერთები BD/ქეში, ღრუბლის ბილინგის კვოტები.
დანაზოგი: SLO- ს შენარჩუნებისას მწვერვალების შემცირება.

4. 3 მანქანის რემედიაცია

Stuck payouts queue- ის შეცდომა - ranbook: კონსიუმერის პაუზა, დედაპლიკაცია, DLQ- ის რეფორმა, იდემპოტენტურობის კონტროლი.
Degraded shard BD - კითხვების ევაკუაცია, writer გადართვა, ფონის ჯობის გადართვა.

4. 4 კორელაცია და RCA

Alert storms (alert storms) ML კლასტერიზაცია + მიზეზობრივი გრაფიკები - ერთი „ინციდენტის ბარათი“ ათეულობით გზავნილის ნაცვლად.
ავტოსატრანსპორტო საშუალების წარმოქმნა ინციდენტის დროს და პოსტმორტემის მონახაზი.

4. 5 კოპილოტი NOC/SRE (LLM)

გუნდი: „აჩვენე ყველაფერი, რაც შეიცვალა 15 წუთით ადრე, სანამ 5xx/v2/payouts გაიზარდა EU რეგიონში“.
პასუხი: კონფიგურაციის diff, გამოშვება, მეტრული დელტები, რომლებიც გავლენას ახდენენ ქვეტექსტებზე, + ღილაკის ჰიპოთეზები „ანაბრის გაშვება“.

5) გადაწყვეტილების ნიმუშები

Safe automation: მოქმედება მხოლოდ „მწვანე დერეფანში“ (გარდერობი: მაქსიმალური% ტრაფიკი, მაქსიმალური სკეიტის ნაბიჯი, ნებადართული გუნდების სია).
Human-in-loop: კრიტიკული ნაბიჯები (BD Master- ის შეცვლა, მასობრივი ძაფები) - დადასტურებით on-call.
მულტიცინალურობა: ტრიგერი არ არის ერთი ალერტი, არამედ თანმიმდევრულობა: მეტრიკა + ტრეისი + ლოგის პატრონი + გამოშვების ნიშანი.
რემონტი: ჯერ გამოიყენეთ ტრაფიკის 1-5%, შემდეგ კი ესკალაცია.
Rollback-by-design: თითოეულ მოქმედებას აქვს საპირისპირო ნაბიჯი და ტაიმუტი.

6) Runbooks და playbooks

Ranbook- ის სტრუქტურა: პირობა - გადამოწმება - მოქმედება - შესაბამისობა - დაბრუნება - ჟურნალი.

• PSP უკმარისობა> X% ქვეყანაში Y: გადართეთ route B, შეამცირეთ 'retry _ budget', გააქტიურეთ ლიმიტის ქეში და გახსნათ ticet PSP- ზე.
• Wallet სერვისში ლატენტობის ზრდა: შენიშვნების გაზრდა, „ლიმიტების“ Redis გასაღებების დათბობა, მძიმე ანგარიშების „read-only“ რეჟიმში ჩართვა და მესამე მხარის დანაყოფების შეზღუდვა.

7) მოდელები: მარტივიდან მოწიფულობამდე

1. ძირითადი წესები და STL სეზონურობა: სწრაფი დაწყება, მცირე ხალხური პოზიტივი.
2. ინციდენტის ისტორიის სუპერ მოდელები: კლასიფიკატორი „კრიტიკა/ქვესისტემები“, RCA მინიშნება.
3. Unsupervised/Deep: autoencoder/Isolation Forest რთული ნიმუშებისთვის.
4. Policy-Learning: რემონტის პოლიტიკოსის ტრენინგი (ოფლაინ სიმულაციები + შეზღუდული ონლაინ ექსპერიმენტები).

მნიშვნელოვანია: მოდელები - მაგია. გააკეთეთ რეტროსპექტული შეფასება, დრიფტის კონტროლი, ჩემპიონი-გამოწვევა და შეინახეთ ფიჩები/ეტიკეტები.

8) A/B და ექსპერიმენტები ოპერაციებში

ექსპერიმენტები ოპერაციულ გადაწყვეტილებებზე: სხვადასხვა რეაგირების/ტაიმაუტის სტრატეგია, PSP მარშრუტიზაცია, ნაერთების ლიმიტები.
წარმატების მეტრიკა: MTTR, error budget burn, cost-per-RPS,% ხალხური ავტო.
გაჩერების პირობები და სწრაფი გაჩერება SLO- ს დეგრადაციის დროს.

9) პროვინცია, რისკი და შესაბამისობა

მოქმედების პოლიტიკა: მისაღები ავტომატიზაციის სია, რისკის ზონები, ცვლილებების ფანჯრები, დამტკიცების დონე.
აუდიტი და ტრეკი: ვინ/როდის/რატომ დაიწყო ანძა; არტეფაქტები პოსტმორტემისთვის.
PII/PCI: შენიღბვა ფიჩებში/ლოგებში, მონაცემთა მინიმიზაცია, საიდუმლო სკანირება.
IGaming/fintech მარეგულირებელი: გადაწყვეტილებების გამჭვირვალობა, გადახდის/ლიმიტის შეჩერების ლოგიკა უნდა იყოს რეპროდუცირებული და გასაგები.

10) ინსტრუმენტარიუმი (რეფერენდუმის დასტის)

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
კატალოგები და ცოდნა: სერვისული კატალოგი, გრაფიკების დამოკიდებულება, ინვესტიციის კონფიგურაცია/ficheflages.
ML piplines: Feature Store, offline-DWH + ონლაინ ფიჩები, მოდელის რეესტრი, CI/CD მოდელები, დრიფტის მონიტორინგი.
ავტომატიზაცია: რანბუკის ორკესტრი (Argo/StackStorm/აღწერილი), K8s ოპერატორები, GitOps (Argo CD/Flux).
ინციდენტები: Slack/Telegram/Teams, საპატრულო ბოტები, პოსტმორტემის შაბლონები.
უსაფრთხოება: Vault/KMS, საკვანძო პოლიტიკა, mTLS, არტეფაქტების ხელმოწერა.

11) AI-Ops სიმწიფის მეტრიკა

აღმოჩენა: მომხმარებელთა საჩივრებამდე დაფიქსირებული ინციდენტების წილი; აღმოჩენის საშუალო გადაჭარბება.
რეაქცია: MTTA/MTTR,% მანქანები ესკალაციის გარეშე, RCA ხარისხი (precision/recall).
საიმედოობა: urn-rate, SLO adherence, ალერტების „ხმაური“ (alerts per on-call hour).
ეკონომიკა: აშშ დოლარი დაზოგვა, ბიუჯეტიდან გადახრების შემცირება, დაბეგვრა.
კულტურა: postmortems ინციდენტების წილი, სერვისების დაფარვა ანბოკებით, წესების დანერგვის სიჩქარე.

12) ეტაპობრივი განხორციელების გეგმა

1. ტელემეტრია და ერთი სიგნალის ლექსიკონი. სავალდებულო ეტიკეტები: 'service', 'version', 'region', 'partner', 'app_ version'.
2. ანტი ხმაური და კორელაცია. ალერტის დედუპლიკაცია, ინციდენტის ჯგუფი.
3. რანბუკების ბიბლიოთეკა. სკრიპტები ტოპ 10 რისკისთვის (გადახდა, ვალეტი, თამაშების კატალოგები, ტურნირები, მოხსენებები).
4. პირველადი მოდელები. STL/Prophet + წესები; მფრინავი 2-3 სერვისზე.
5. კოპილოტი და ჩატი. ბუნებრივი მოთხოვნები, სწრაფი მოქმედებები, პოსტმორტემების შაბლონები.
6. გარდრილები და კონტროლი. Canaries, მოქმედებების შეზღუდვები, აუდიტის ჟურნალი.
7. ექსპერიმენტები და ტრენინგი. Champion-challenger, A/B, სარგებლის რეტროსპექტული შეფასება.
8. სკალირება. ყველა კრიტიკული ნაკადის დაკავშირება, ბრძანებების მომზადება, SLO რევიუმი.

13) პოლიტიკოსებისა და კონფისკაციების მაგალითები

13. 1 მანქანის სკეილინგის პოლიტიკა (იდეა)

წინასწარი სკეილინგი RPS> P95 პროგნოზით ბოლო კვირას + X% -ით.
ცივი დასაწყისი: გაათბეთ ნაერთები Redis/PSP, გაათბეთ ქეში.
გაჩერების პირობა: 5xx შეცდომა იზრდება skale- ის შემდეგ.

13. 2 რანბუკი „PSP დეგრადაცია“

1. შეამოწმეთ 'psp _ error _ rate> T' და 'region in {BR, TR}'.
2. smart-routing ჩართვა PSP-B- ზე მხოლოდ non-VIP- ისთვის; შეზღუდეთ 'max _ retries = 2'.
3. შექმენით ticet PSP-A; შეაგროვეთ 100 მოთხოვნა/პასუხი RCA- სთვის.
4. აკონტროლეთ CR ანაბარი და T2W (დრო-ვალეტი). გამოტოვება, როდესაც გაუარესდება> Y%.

13. 3 პოსტმორტემის შაბლონი (ავტოგენაციით)

დეტექტორი - Timline - Iptetesa: გავლენა (მომხმარებლები/შემოსავალი) - მოქმედებები: გაკვეთილები Ranbooks/მოდელების ცვლილებები.

14) ანტი შაბლონები

„შავი ყუთი“ გარდერობის გარეშე: ბოტები მართავენ გაყიდვას ლიმიტებისა და აუდიტის გარეშე.
მოდელები ბიზნეს მოვლენების შესახებ მონაცემების გარეშე: ისინი ხედავენ CPU- ს, მაგრამ არ ესმით პრომო/მატჩები.
ალერტ-ქარიშხალი: კორელაციის არარსებობა არის „გვირაბის ხედვა“.
ავტო-რემედიაცია შედეგის უკმარისობის/დადასტურების გარეშე.
„მარადიული მფრინავები“: არ არსებობს რეალური მოქმედებები, მხოლოდ იაფი ბარები.
პოსტმორტემების არარსებობა არ არის სისტემის სწავლება.

15) iGaming/fintech კონტექსტი

დატვირთვის მწვერვალები (ტურნირები, მსუბუქი ფსონები, ფინალები): პრედიკულარული სკეილინგი, ქეში დათბობა, PSP ლიმიტების მომზადება.
პასუხისმგებელი თამაშები/შეზღუდვები: მოდელები არ უნდა ამოიღონ მოთამაშის ლიმიტები ავტომატურად შესაბამისობის წესების გარეშე.
მარეგულირებელი ანგარიშგების ფანჯრები: დატვირთვის გრაფიკი, გადმოტვირთვის SLA, რიგების პრიორიტეტი.
Multi-PSP: დინამიური მარშრუტი ქვეყნებში, დღის დრო, შეცდომების კოდები, გარიგების ღირებულება.
VIP სეგმენტი: ინდივიდუალური გარდერობები - არ არის აგრესიული ქმედებები დადასტურების გარეშე (human-in-loop).

16) მზადყოფნის სია

1. OTel- ის ერთი ფენა, ერთიანი ეტიკეტები და მარშრუტები კარიბჭის საშუალებით.
2. სერვისებისა და ვერსიების დამოკიდებულების რუკა (სამსახურის ტოპოლოგია).
3. რანბუკების კატალოგი სიმულაციებით და unit ტესტებით.
4. მინიმუმ ერთი ანომალიის მოდელი გაყიდვაში + ხარისხის ანგარიში.
5. Chat-copilot, რომელსაც შეუძლია წაიკითხოს ლოგები/მეტრიკა და დაიწყოს უსაფრთხო მოქმედებები.
6. გარდრეილები, კანარი, გამოტოვება, ცვლილებების აუდიტი.
7. რეგულარული პოსტმორტემები და ცოდნის/მოდელების განახლება შედეგების მიხედვით.

შედეგი

AI-Ops არ არის „ჯადოსნური AI ბოლოების თავზე“, არამედ დისციპლინა: მაღალი ხარისხის ტელემეტრია, გასაგები ანაბრები, ფრთხილი ავტომატიზაცია და კონტროლირებადი მოდელები. მარყუჟის შემოღება, თვალყურის დევნება და გაგება, მოქმედება, მკაფიო გარდერობებით სწავლა, მიიღებთ თვითკურნებელ პლატფორმას, რომელიც ადრე შეამჩნევს რისკებს, სწრაფად გამოჯანმრთელდება და უფრო იაფია, ვიდრე ბიზნესი.