Texnologiyalar va infratuzilma → AI-Ops va avtonom tizimlar

AI-Ops va avtonom tizimlar

1) AI-Ops nima

• muammolarni oldindan aniqlash (hodisalarga qarshi kurashish),
• (auto-remediation),
• qiymati va unumdorligini optimallashtirish (taxminiy skeyling, intellektual routing),
• hodisalar tahlilini tezlashtirish (signallar korrelyatsiyasi, postmortemalar hosil qilish).

1. his qilish (telemetriyani yig’ish),

2. tushunish (modellar, evristlar, qoidalar),

3. harakat qilish (ranbukalar bo’yicha mahsulotda xavfsiz o’zgarishlarni amalga oshirish),

4. o’rganish (hodisadan keyingi tahlillar orqali fikr-mulohazalarni yopish).

2) AI-Ops arxitektura qatlamlari

1. Telemetriya yig’ish (Observability 3-v-1): metriklar (Prometheus/OTel), loglar (Loki/ELK), treyslar (OTel/Jaeger).
2. Boyitish va fich-injiniring: agregatsiyalar, sirpanuvchi derazalar, mavsumiylik, biznes-belgilar (’partner’,’game _ id’,’region’,’VIP’,’psp’).

• anomaliyalar deteksiyasi (STL, Prophet, Isolation Forest, avtokodirovkachilar),
• sababiy-oqibatli grafalar (qaramliklarning korrelyatsiyalari),
• hodisalar tasnifi va ustuvorligi (ML + SRE domen qoidalari).
• 4. Yechimlar va harakatlar: ranbuklar, avto-retryalar, trafikni o’zgartirish, avto-skeyling, limitlarni o’zgartirish, follover-routing.
• 5. Odam-mashina konturi: NOC/SRE uchun LLM kopilot, chat buyrug’i, simulyatsiyaning «what-if».
• 6. Gubernatsiya va xavfsizlik: ma’qullashlar, o’zgarishlar oynalari, halokatli to’xtash sharoitlari, audit.

3) Ma’lumotlar manbalari va chichlar

Infratuzilma: CPU/Memory/IO/Latency, tarmoq xatolari, pod/nod K8s, limitlar/requests, node pressure.
Xizmatlar: RPS/P50/P95/P99, 4xx/5xx, saturations, retray xatolari, circuit-breaker hodisalari.
Biznes-signallar: ro’yxatdan o’tish → depozit (CR), GGR/Net Deposits, kodlar bo’yicha PSP rad etilishi, VIP-trafik, turnirlar, promo-kampaniyalar.
Ekstra-omillar: relizlar/ficheflaglar, tartibga soluvchi hisobotlar, banklarning to’lov oynalari, o’yinlar/iventlar (stavkalarning cho’qqilari).

Foydali fichlar: haftalik/soatlik mavsumiylik, laglar, rolling-statlar, rate-of-change, error-mix kodlar bo’yicha, delta versiyasi → versiya, saturation-score.

4) Qo’llash hollari

4. 1 Hodisalarni erta aniqlash

Mintaqada «psp _ decline _ rate» nosozliklarining anormal o’sishi → segmentlar bo’yicha cheklangan zaxira PSPga avtomatik feylover (VIP tegmasdan).
Treyslarning «web → gateway → wallet» zanjiridagi nostandart kechikish patterni → sog’lom podlar uchun avto-shift trafigi, keshni isitish, tanazzulga uchraydigan instansiyalarni qayta ishga tushirish.

4. 2 Taxminiy kapasiti-menejment

RPS prognozi o’yin jadvallari va promo → profilaktik skeyling K8s, DB/keshga ulanishlarni isitish, bulutlarning billing kvotalarini hisobga olgan holda.
Tejash: SLOni saqlashda oversayzingni cho’qqidan tashqarida kamaytirish.

4. 3 Avto-remediatsiya (self-healing)

«stuck payouts queue» xatosi → ranbuk: konsumer pauzasi, deduplikatsiya, DLQ reprotsessi, idempotentlik nazorati.
Degraded shard DD → o’qishni evakuatsiya qilish, writer, orqa fon joblarini o’zgartirish.

4. 4 Korrelyatsiya va RCA

ML-alertlarni klasterlash (alert storms) + sababiy ustunlar → o’nlab xabarlar o’rniga bitta «hodisa-kartochka».
Hodisaning taymlayni va postmortemning loyihasini avto-ishlab chiqarish.

4. 5 NOC/SRE (LLM) uchun kopilot

Buyruq: «EU mintaqasidagi 5xx/v2/payouts ko’tarilishidan 15 daqiqa oldin o’zgargan hamma narsani ko’rsating».
Javob: diff konfiguratsiyalari, reliz-notalar, metrik deltalar, ta’sirlangan pod, gipotezalar + ranbukni ishga tushirish tugmalari.

5) Qarorlar qabul qilish patternlari

Safe-automation: faqat «yashil yoʻlakdagi» harakat (gardrayl: max% trafik, max skayl qadami, ruxsat etilgan buyruqlar roʻyxati).
Human-in-the-loop: tanqidiy qadamlar (master DB o’zgartirish, ommaviy jismoniy imtiyozlar) - on-call tasdig’i bilan.
Multisignallik: trigger - bitta alert emas, balki muvofiqlik: metrika + treys + log-pattern + reliz belgisi.
Canary-remediation: avval trafikning 1-5% ga nisbatan qo’llaniladi, so’ngra eskalatsiya qilinadi.
Rollback-by-design: har bir harakat orqaga qadam va vaqtga ega.

6) Ranbuklar (Runbooks) va pleybuklar

Ranbukning tuzilishi: shart → verifikatsiya → harakat → validatsiya → orqaga qaytish → jurnal.

• PSP rad etish> X% mamlakatda Y: routga oʻtish,’retry _ budget’ni pasaytirish, limitlar keshini faollashtirish, PSP chiptasini ochish.
• Wallet-servisda latency o’sishi: replikalarni ko’paytirish, Redis kalitlarini «limitlar» bilan isitish, og’ir hisobotlar uchun «read-only» rejimini yoqish, tashqi agregatsiyalarni cheklash.

7) Modellar: soddadan voyaga yetgangacha

1. Asosiy qoidalar va STL mavsumiyligi: tez boshlash, kam fols-pozitivlar.
2. Hodisa-tarixga supervised-modellar: «tanqidiylik/subsistemalar» klassifikatori, RCA maslahatlari.
3. Unsupervised/Deep: avtoencoder/Isolation Forest.
4. Policy-Learning: remediatsiya siyosatini o’qitish (offline-simulyatsiyalar + cheklangan onlayn eksperimentlar).

Muhim: modellar ≠ sehr. Retrospektiv baholash, dreyf nazorati, champion-challenger va fich/yorliqlarni saqlang.

8) A/B va operatsiyalarda tajriba

Operatsion yechimlar ustida eksperimentlar: turli retray/taymaut strategiyalari, PSP marshrutlash, ulanish limitlari.
Muvaffaqiyat metrikasi: MTTR, error budget burn, cost-per-RPS,% fols-avtofikslar.
SLO degradatsiyasida to’xtash sharoitlari va tez to’xtash.

9) Gubernatsiya, tavakkalchilik va muvofiqlik

Harakatlar siyosati: ruxsat etilgan avtomatlashtirish ro’yxati, xavf zonalari, o’zgarishlar oynalari, ma’qullash darajalari.
Audit va trassalash: kim/qachon/nima uchun ranbukni ishga tushirdi; postmortem uchun artefaktlar.
PII/PCI: fich/loglarda yashirish, ma’lumotlarni minimallashtirish, sir-skanerlar.
iGaming/fintech regulyatori: yechimlarning shaffofligi (explainability), to’lovlarni/limitlarni to’xtatish mantig’i takrorlanishi va tushuntirilishi kerak.

10) Instrumentar (referens-stek)

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Kataloglar va bilimlar: servis-katalog, grafiklarga bog’liqlik, inventory konfiguratsiyalar/ficheflaglar.
ML-payplaynlar: Feature Store, offline-DWH + onlayn-fichi, model-registr, CI/CD modellari, drift-monitoring.
Avtomatlashtirish: ranbuklar orkestratori (Argo/StackStorm/ K8s), GitOps (Argo CD/Flux) operatorlari.
Hodisalar: chat-ops (Slack/Telegram/Teams), qoʻriqchi botlari, postmortem shablonlari.
Xavfsizlik: Vault/KMS, kalit siyosati, mTLS, artefaktlar imzosi.

11) AI-Ops etuklik metrikasi

Aniqlanishi: foydalanuvchilarning shikoyatlariga qadar ko’rilgan hodisalar ulushi; aniqlashning o’rtacha tezligi.
Reaksiya: MTTA/MTTR,% eskalatsiyasiz avto-remediatsiyalar, RCA (precision/recall) sifati.
Ishonchliligi: burn-rate, SLO adherence, «shovqin» alertlari (alerts per on-call hour).
Iqtisodiyot: hisoblash (rightsizing), byudjetdan chetga chiqishni kamaytirish, cost-per-transaction.
Madaniyat: postmortemalar bilan bog’liq hodisalar ulushi, servislarni ranbuklar bilan qoplash, qoidalarni joriy etish tezligi.

12) Joriy etishning bosqichma-bosqich rejasi

1. Telemetriya va signallarning yagona lug’ati. Majburiy yorliqlar:’service’,’version’,’region’,’partner’,’api _ version’.
2. Shovqinga qarshi va korrelyatsiya. Alertlarni deduplikatsiya qilish, hodisalar bo’yicha guruhlash.
3. Ranbuklar kutubxonasi. Eng yaxshi 10 ta xavf uchun ssenariylar (to’lovlar, wallet, o’yinlar kataloglari, turnirlar, hisobotlar).
4. Birlamchi modellar. STL/Prophet + qoidalar; 2-3 servisda uchuvchi.
5. Kopilot va chat-ops. Natural so’rovlar, tezkor harakatlar, postmortem shablonlari.
6. Gardraillar va nazorat. Canaries, harakatlar uchun limitlar, audit jurnali.
7. Eksperimentlar va o’qitish. Champion-challenger, A/B, foydani retrospektiv baholash.
8. Kattalashtirish. Barcha tanqidiy oqimlarni ulash, jamoalarni o’qitish, SLO-revyu.

13) Siyosat va konfiguratsiyalar namunalari

13. 1 Avto-skeyling siyosati (g’oya)

RPS> prognozida o’tgan haftadan + X% ga P95.
Sovuq start: Redis/PSP ulanishlarini isitish, keshlarni isitish.
To’xtash sharti: 5xx xatosi skeyldan keyin o’sadi → orqaga qaytish.

13. 2 Ranbuk «PSP degradatsiyasi»

1. ’psp _ error _ rate> T’ va’region in {BR, TR}’ni tekshirish.
2. PSP-B smart-routingni faqat non-VIP uchun yoqish; ’max _ retries = 2’ bilan cheklansin.
3. PSP-A sertifikatini yaratish; RCA uchun 100 ta so’rov/javob to’plash.
4. Depozit va T2W CR monitoringini olib borish (time-to-wallet). Yomonlashganda orqaga qaytish> Y%.

13. 3 Postmortem shabloni (avtogeneratsiya bilan)

Detektor → Taymline → Gipotezalar → Ta’sir (foydalanuvchilar/daromad) → Harakatlar → Saboqlar → Ranklar/modellar o’zgarishi.

14) Anti-patternlar

Gardrailsiz «qora quti»: botlar mahsulotni limitsiz va auditsiz boshqaradi.
Biznes voqealari haqida ma’lumotsiz modellar: CPUni ko’rishadi, lekin reklama/o’yinlarni tushunmaydilar.
Alert bo’ronlari: korrelyatsiyaning yo’qligi → on-call’da «tunnel ko’rish».
Natijani qaytarmasdan/validatsiyadan o’tkazmasdan avto-remediatsiyalar.
«Abadiy uchuvchilar»: haqiqiy harakatlarga chiqish yo’li yo’q, faqat deshbordlar.
Postmortemlarning yo’qligi - tizimni o’rgatish yo’q.

15) iGaming/fintech konteksti

Yuklama cho’qqilari (turnirlar, hayot stavkalari, final): oldindan taxmin qilingan skeyling, keshlarni isitish, PSP limitlarini tayyorlash.
Mas’uliyatli o’yinlar/limitlar: modellar muvofiqlik qoidalarisiz o’yinchining limitlarini avtomatik ravishda olib tashlamasliklari kerak.
Hisobotning tartibga soluvchi oynalari: yuklash jadvali, tushirish uchun SLA, navbatlarning ustuvorligi.
Multi-PSP: mamlakatlar, sutka vaqti, xato kodlari, tranzaksiya qiymati bo’yicha dinamik yo’naltirish.
VIP-segment: alohida gardraillar - tasdiqlamasdan hech qanday tajovuzkor harakatlar (human-in-the-loop).

16) Tayyorlik chek-varaqasi

1. Yagona OTel qatlami, birxillashtirilgan yorliqlar va shlyuzlar.
2. Servislar va versiyalar qaramligi xaritasi (service topology).
3. Simulyatsiyalar va unit-testlar bilan ranbuklar katalogi.
4. Mahsulotdagi anomaliyalarning kamida bitta modeli + sifat hisoboti.
5. Logi/metrikalarni o’qishga va xavfsiz harakatlarni boshlashga qodir chat-kopilot.
6. Gardraillar, kanareykalar, qaytishlar, o’zgarishlar auditi.
7. Muntazam postmortemalar va natijalar bo’yicha bilimlarni/modellarni yangilash.

Jami

AI-Ops - bu «sehrli sun’iy intellekt» emas, balki fan: sifatli telemetriya, tushunarli ranbuklar, ehtiyotkor avtomatlashtirish va nazorat qilinadigan modellar. Kuzatish ilmog’ini qo’llash → tushunish → harakat → aniq gardrayllar bilan o’qish, siz ilgari xavflarni sezadigan, tezroq tiklanadigan va biznesga arzonroq tushadigan o’zini o’zi davolaydigan platformaga ega bo’lasiz.