Tehnologiýalar we infrastruktura → AI-Ops we awtonom ulgamlar

AI-Ops we awtonom ulgamlar

1) AI-Ops näme

• problemalary öň ýüze çykarmak (hadysalara garşy),
• şowsuzlyklary awtomatiki düzetmek (auto-remediation),
• çykdajylary we öndürijiligi optimizirlemek (öňünden aýdylýan skeyling, intellektual marşrut),
• wakalaryň derňewini çaltlaşdyrmak (signallaryň baglanyşygy, postmortemleriň döremegi).

1. duýmak (telemetriýa ýygnamak),

2. düşünmek (modeller, ewristika, düzgünler),

3. hereket etmek (ranbuklar boýunça önümde howpsuz üýtgeşmeleri amala aşyrmak),

4. öwrenmek (wakadan soňky seljeriş arkaly seslenme aýlawyny ýapmak).

2) AI-Ops-arhitektura gatlaklary

1. Telemetriýany ýygnamak (Observability 3-in-1): metrikler (Prometheus/OTel), loglar (Loki/ELK), söwdalar (OTel/Jaeger).
2. Baýlaşdyrmak we fiziki in engineering: agregasiýalar, süýşýän penjireler, möwsümlilik, iş bellikleri ('partner', 'game _ id', 'region', 'VIP', 'psp').

• anomaliýalaryň deteksiýasy (STL, Prophet, Izolation Forest, awtokodirowkalar),
• sebäp-netije grafalary (endikleriň korrelýasiýalary),
• hadysalaryň klassifikasiýasy we ileri tutulmagy (ML + SRE domen düzgünleri).
• 4. Çözgütler we hereketler: runbook, awto-retra, traffigi üýtgetmek, awto-skeyling, çäkleri üýtgetmek, yzarlaýjy-routing.
• 5. Adam-maşyn kontury: NOC/SRE üçin LLM kopilot, söhbetdeşlik buýrugy, simulýasiýa "what-if".
• 6. Gubernasiýa we howpsuzlyk: tassyklamalar, üýtgeşmeleriň penjireleri, katastrofiki duruş şertleri, audit.

3) Maglumat çeşmeleri we çyzgylar

Infrastruktura: CPU/Memory/IO/Latency, tor ýalňyşlyklary, pod/nod K8s, limitler/requests, node pressure.
Hyzmatlar: RPS/P50/P95/P99, 4xx/5xx, saturations, retraý ýalňyşlyklary, circuit-breaker wakalary.
Iş signallary: hasaba alyş → depozit (CR), GGR/Net Deposits, kodlar boýunça PSP-den ýüz öwürmek, VIP-traffik, ýaryşlar, mahabat kampaniýalary.
Ekstra-faktorlar: goýberişler/fiçeflaglar, düzgünleşdiriji hasabatlar, banklaryň töleg penjireleri, oýunlar/çäreler (nyrhlaryň iň ýokary derejesi).

Peýdaly hileler: hepdelik/sagatlyk möwsümleýinlik, laglar, rolling-statlar, rate-of-change, error-mix kodlar boýunça, delta wersiýasy →, saturation-score.

4) Ulanmak halatlary

4. 1 Wakalary ir tapmak

Sebitdäki 'psp _ decline _ rate' şowsuzlyklarynyň anomal ýokarlanmagy → segmentler boýunça çäklendirilen ätiýaçlyk PSP üçin awtomatiki feýlower (VIP-e degmezden).
"Web → gateway → wallet" zynjyrynda traýslaryň gijikdirilmeginiň standart däl patterni → sagdyn podlara traffigiň awto-şifti, keş gyzdyrmak, pese gaçýan ýagdaýlary täzeden açmak.

4. 2 Öňünden aýdylýan kapasiti-dolandyryş

Oýun meýilnamalaryny we mahabaty göz öňünde tutup RPS çaklamasy → öňüni alyş skeyling K8s, DB/nagt birleşmeleri gyzdyrmak, bulutlaryň billing kwotalary.
Tygşytlamak: SLO saklanylanda iň ýokary derejeden daşarda oversaýzingiň azalmagy.

4. 3 Awto-remediasiýa (self-healing)

"stuck payouts queue" ýalňyşlygy → runbook: konsumer arakesmesi, duplikasiýa, DLQ-den göçürme, idempotentlige gözegçilik.
Degraded shard BD → okamalary ewakuasiýa etmek, writeri üýtgetmek, fon joblaryny üýtgetmek.

4. 4 Baglanyşyk we RCA

Alertleriň ML-klasterizasiýasy (alert storms) + sebäpler sütünleri → onlarça habaryň ýerine bir "waka-kartoçka".
Wakanyň awto-öndürilişi we postmortemiň taslamasy.

4. 5 NOC/SRE (LLM) üçin kopilot

Topar: "EU sebitinde 5xx/v2/payouts-dan 15 minut öň üýtgän zatlary görkeziň".
Jogap: diff konfigurasiýalary, goýberiş bellikleri, metrik deltalar, täsir eden podlar, gipotezalar + "ranbuky işe girizmek" düwmeleri.

5) Karar kabul etmegiň nusgalary

Safe-automation: hereket diňe "ýaşyl koridorda" (gardrail: max% traffik, max skeyl ädimi, rugsat berlen buýruklaryň sanawy).
Human-in-the-loop: möhüm ädimler (master DB-ni üýtgetmek, köpçülikleýin ficheflaglar) - on-call tassyklamasy bilen.
Multisignalnost: trigger - bir alert däl-de, utgaşyklyk: metrikler + treyslar + log-pattern + goýberilişiň alamaty.
Canary-remediation: ilki traffigiň 1-5% -ine ulanyň, soň bolsa güýçlendiriň.
Rollback-by-design: Her hereketiň yza ädimi we wagty bar.

6) Runbooks (Runbooks) we Playbook

Ranbukyň gurluşy: şert → tassyklama → hereket → tassyklama → yza çekiliş → magazineurnal.

• PSP ret etmek> Y ýurdunda X%: B ýoluna geçmek, 'retry _ budget' peseltmek, çäk nagt puluny işjeňleşdirmek, PSP biletini açmak.
• Wallet hyzmatynda latency ösüşi: replikalary köpeltmek, Redis açarlaryny "çäklendirmeleri" gyzdyrmak, agyr hasabatlar üçin "read-only" re modeimi açmak, daşarky agregasiýalary çäklendirmek.

7) Modeller: ýönekeýden kämillik ýaşyna çenli

1. Esasy düzgünler we STL-möwsümliligi: çalt başlangyç, az fols-pozitiwler.
2. Waka-taryhyň Supervised modelleri: "kritikligiň/subsistemanyň" klassifikatory, RCA maslahatydyr.
3. Unsupervised/Deep: autoencoder/Isolation Forest.
4. Policy-Learning: remediasiýa syýasatlaryny öwretmek (awtonom simulýasiýa + çäkli onlaýn synaglar).

Möhüm: modeller ≠ jadylar. Retrospektiv baha beriň, süýşmäge gözegçilik ediň, çempion-challenger we çeňňekleri/bellikleri saklaň.

8) A/B we amallarda synag

Operasiýa çözgütleri boýunça synaglar: dürli retraý/wagt strategiýalary, PSP marşrutlary, birikmeleriň çäkleri.
Üstünlik metrikleri: MTTR, error budget burn, cost-per-RPS,% fols-awtofikler.
SLO zaýalananda durmak şertleri we çalt durmak.

9) Gubernasiýa, töwekgelçilik we laýyklyk

Hereket syýasaty: rugsat berilýän awtomatlaşdyrmalaryň sanawy, töwekgelçilik zolaklary, üýtgeşmeleriň penjireleri, tassyklamalaryň derejesi.
Audit we yzarlama: kim/haçan/näme üçin bukjany işe girizdi; postmortem üçin artefaktlar.
PII/PCI: fich/loglarda gizlemek, maglumatlary azaltmak, gizlin skanlar.
iGaming/fintech düzgünleşdirijisi: çözgütleriň aç-açanlygy (explainability), tölegleri/çäkleri bes etmegiň logikasy köpeldilip we düşündirilip bilinmeli.

10) Gurallar (salgylanma-stek)

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Kataloglar we bilimler: hyzmat katalogy, grafalaryň garaşlylygy, konfigurasiýalaryň/fiçeflaglaryň inventory.
ML-paýlaýynlar: Feature Store, offline-DWH + online-fiçler, model-registr, CI/CD modelleri, drift-monitoring.
Awtomatlaşdyryş: orkestrator ranbuk (Argo/StackStorm/ K8s), operator, GitOps (Argo CD/Flux).
Wakalar: chat-ops (Slack/Telegram/Teams), patrul botlary, postmortem şablonlary.
Howpsuzlyk: Vault/KMS, açar syýasaty, mTLS, artefaktlaryň goly.

11) AI-Ops kämillik ölçegleri

Ýüze çykarmak: ulanyjylaryň şikaýatlaryndan öň görlen hadysalaryň paýy; tapmagyň ortaça öňe geçmegi.
Reaksiýa: MTTA/MTTR, ýokarlanmazdan awto-remediasiýa%, RCA hili (precision/recall).
Ygtybarlylygy: burn-rate, SLO adherence, alertleriň "sesi" (alerts per on-call hour).
Ykdysadyýet: hasaplamalarda $ tygşytlamak (rightsizing), býudjetden gyşarmalary azaltmak, cost-per-transaction.
Medeniýet: postmortemler bilen bolan hadysalaryň paýy, hyzmatlaryň ranbuklar bilen örtülmegi, düzgünleriň girizilmeginiň tizligi.

12) Durmuşa geçirmegiň ädimme-ädim meýilnamasy

1. Telemetriýa we ýeke-täk signal sözlügi. Hökmany bellikler: 'service', 'version', 'region', 'partner', 'api _ version'.
2. Anti-ses we baglanyşyk. Alertleriň duplikasiýasy, hadysanyň toparlanmagy.
3. Kitaphanalar kitaphanasy. Ilkinji 10 töwekgelçilik üçin ssenariýalar (tölegler, wallet, oýunlaryň kataloglary, ýaryşlar, hasabatlar).
4. Esasy modeller. STL/Prophet + düzgünler; 2-3 hyzmatda pilot.
5. Kopilot we chat ops. Tebigy haýyşlar, çalt hereketler, postmortemleriň şablonlary.
6. Gardrailler we gözegçilik. Canaries, hereket çäkleri, audit magazineurnaly.
7. Synaglar we okuw. Champion-challenger, A/B, retrospektiv baha bermek.
8. Ölçek. Ähli möhüm akymlary birikdirmek, toparlary taýýarlamak, SLO-revyu.

13) Syýasatlaryň we konwensiýalaryň mysallary

13. 1 Awto-skeyling syýasaty (ideýa)

RPS çaklamasynda deslapky skeling> geçen hepdäniň P95 X%.
Sowuk başlamak: Redis/PSP birikdirmeleri gyzdyrmak, nagt pul gyzdyrmak.
Durmak şerti: 5xx ýalňyşlygy skeýl → yza çekilenden soň ösýär.

13. 2 Ranbook "PSP zaýalanma"

1. Barlaň 'psp _ error _ rate> T' i 'region in {BR, TR}'.
2. PSP-B-de smart-routing-i diňe non-VIP üçin açyň; çäklendirmek 'max _ retries = 2'.
3. PSP-A habaryny döretmek; RCA üçin 100 soragy/jogaby ýygnamak.
4. Depozit we T2W CR-e gözegçilik etmek. Ýaramazlaşanda yza gaýdyp gelmek> Y%.

13. 3 Postmortem şablony (awtogenerasiýa bilen)

Detektor → Taýmline → Gipotezalar → Täsir (ulanyjylar/girdeji) → Hereketler → Sapaklar → Bukjalary/modelleri üýtgetmek.

14) Anti-patternler

Gardrailsiz "gara guty": botlar önümi çäklendirmesiz we auditsiz dolandyrýarlar.
Iş wakalary barada maglumatlary bolmadyk modeller: CPU görýärler, ýöne mahabat/oýunlara düşünmeýärler.
Alert-tupanlar: baglanyşygyň ýoklugy → on-call "tunel görüş".
Netijäni yzyna gaýtarmazdan/tassyklamazdan awto-remediasiýa.
"Baky uçarmanlar": hakyky hereketlere çykalga ýok, diňe deshbordlar.
Postmortemleriň ýoklugy - ulgamy öwrenmek ýok.

15) iGaming/fintech mazmuny

Ýüküň iň ýokary derejesi (ýaryşlar, durmuş jedelleri, finallar): öňünden aýdylýan skeyling, nagt pullary gyzdyrmak, PSP çäklerini taýýarlamak.
Jogapkär oýunlar/çäkler: modeller laýyklyk düzgünleri bolmazdan oýunçynyň çäklerini awtomatiki usulda aýyrmaly däldir.
Hasabatyň kadalaşdyryjy penjireleri: ýüklemeleriň tertibi, düşürmek üçin SLA, nobatlaryň ileri tutulmagy.
Köp PSP: ýurtlar, günüň wagty, ýalňyşlyk kodlary, geleşigiň bahasy boýunça dinamiki marşrut.
VIP-segment: aýry-aýry gardrailler - tassyklamazdan agressiw hereketler (human-in-the-loop).

16) Taýynlyk çek-sanawy

1. Birmeňzeş OTel gatlagy, birmeňzeş bellikler we şlýuzyň üsti bilen ýollar.
2. Hyzmatlaryň we wersiýalaryň garaşlylyk kartasy (service topology).
3. Simulýasiýalar we unit-synaglar bilen ranbuklaryň katalogy.
4. Iýmit anomaliýalarynyň azyndan bir modeli + hil hasabaty.
5. Logini/metrikany okamaga we howpsuz hereketleri başlamaga ukyply söhbetdeşlik kopilot.
6. Gardraýllar, kanareýkalar, yza gaýdyp gelmeler, üýtgeşmeleriň barlagy.
7. Yzygiderli postmortemalar we netijeler boýunça bilimleri/modelleri täzelemek.

Jemi

AI-Ops "çukurlaryň üstünde jadyly AI" däl-de, düzgün-nyzam: ýokary hilli telemetriýa, düşnükli sumbuklar, seresap awtomatlaşdyrmalar we gözegçilik edilýän modeller. Synlamak üçin aýlawy girizip → düşünmek → hereket etmek → aç-açan gardraýllar bilen öwrenmek, ozal töwekgelçilikleri duýýan, has çalt dikeldilýän we arzan iş platformasyny alarsyňyz.