Texnologiya və infrastruktur → AI-Ops və müstəqil sistemlər

AI-Ops və müstəqil sistemlər

1) AI-Ops nədir

• əvvəllər problemləri aşkar etmək (hadisələrin antisipasiyası),
• avtomatik olaraq uğursuzluqları aradan qaldırmaq (auto-remediation),
• dəyəri və performansı optimallaşdırmaq (qabaqcadan skeylinq, ağıllı marşrut),
• hadisələrin təhlilini sürətləndirmək (siqnalların korrelyasiyası, postmortemlərin yaranması).

1. hiss etmək (telemetriya toplamaq),

2. başa düşmək (modellər, evristiklər, qaydalar),

3. hərəkət etmək (ranbuklarda təhlükəsiz dəyişikliklər etmək),

4. öyrənmək (post-insident analitikası vasitəsilə rəy döngəsini bağlamaq).

2) AI-Ops memarlıq layları

1. Telemetriyanın toplanması (Observability 3-in-1): metriklər (Prometheus/OTel), loqlar (Loki/ELK), treyslər (OTel/Jaeger).
2. Zənginləşdirmə və fiziki mühəndislik: aqreqasiyalar, sürüşmə pəncərələri, mövsümilik, biznes etiketləri ('partner', 'game _ id', 'region', 'VIP', 'psp').

• anomaliyaların deteksiyası (STL, Prophet, Isolation Forest, avtokoderlər),
• səbəb-nəticə qrafları (asılılıq korrelyasiyaları),
• hadisələrin təsnifatı və prioritetləşdirilməsi (ML + SRE domen qaydaları).
• 4. Həllər və hərəkətlər: ranbuklar, avto-retrajlar, trafikin dəyişdirilməsi, avto-skeylinq, limitlərin dəyişdirilməsi, izləyici-routinq.
• 5. İnsan-maşın konturu: NOC/SRE, chat komandaları, «what-if» simulyasiyası üçün LLM kopilot.
• 6. Qubernasiya və təhlükəsizlik: təsdiq, dəyişiklik pəncərələri, fəlakətli stop şərtləri, audit.

3) Məlumat mənbələri və cizgilər

Infrastruktur: CPU/Memory/IO/Latency, şəbəkə səhvləri, pod/nod K8s, limitlər/requests, node pressure.
Xidmətlər: RPS/P50/P95/P99, 4xx/5xx, saturations, retraj səhvləri, circuit-breaker hadisələr.
Biznes siqnalları: qeydiyyat → depozit (CR), GGR/Net Deposits, kodlar, VIP trafik, turnirlər, promosyon kampaniyaları PSP-nin rədd edilməsi.
Ekstra amillər: relizlər/ficheflages, tənzimləyici hesabatlar, bankların ödəniş pəncərələri, matçlar/tədbirlər (bahis zirvələri).

Faydalı xüsusiyyətlər: həftəlik/saatlıq mövsümlük, lag, rolling-statlar, rate-of-change, error-mix kodları, delta versiyası → versiyası, saturation-score.

4) Tətbiq halları

4. 1 Hadisələrin erkən aşkarlanması

Bölgədə anormal uğursuzluq artımı 'psp _ decline _ rate' → seqmentlər üzrə məhdudlaşdırılmış ehtiyat PSP üçün avtomatik feylover (VIP toxunmadan).
«web → gateway → wallet» zəncirində qeyri-standart treys gecikmə nümunəsi → sağlam pod üçün avto-şifr trafiki, cache qızdırılması, deqradasiya instansiyalarının yenidən başlaması.

4. 2 Proqnozlaşdırılan kapasiti menecmenti

Match cədvəlləri və promosyonları nəzərə alaraq RPS proqnozu → qabaqcıl skeylinq K8s, DB/cash-ə qoşulmaların istiləşməsi, buludların billing kvotaları.
Qənaət: SLO-nu saxlayarkən zirvədən kənarda oversayzinqin azaldılması.

4. 3 Avtomatik remediasiya (self-healing)

Səhv «stuck payouts queue» → ranbuk: konsumer fasiləsi, deduplikasiya, DLQ-dən resepsiya, idempotentlik nəzarəti.
Degraded shard DD → evakuasiya oxu, writer keçid, fon job throttling.

4. 4 Korrelyasiya və RCA

ML-clusterization alert (alert storms) + səbəb qrafik → bir «hadisə kartı» əvəzinə onlarla mesajlar.
Hadisənin və postmortem layihəsinin avtomatik istehsalı.

4. NOC/SRE (LLM) üçün 5 Kopilot

Komanda: «EU regionunda 5xx/v2/payouts dalğalanmasından 15 dəqiqə əvvəl dəyişən hər şeyi göstər».
Cavab: diff konfiqurasiya, release notları, delta metrik, təsirlənmiş pod, hipotezlər + «running ranbook» düymələri.

5) Qərar qəbuletmə nümunələri

Safe-automation: hərəkət yalnız «yaşıl dəhlizdə» (gardrail: maksimum% trafik, maksimum skayl addımı, icazə verilən komandaların siyahısı).
Human-in-the-loop: kritik addımlar (master DB keçid, kütləvi ficheflags) - on-call təsdiqi ilə.
Multisiqnalnost: trigger - bir alert deyil, uyğunluq: metriklər + treys + log-model + buraxılış əlaməti.
Canary-remediation: əvvəlcə 1-5% trafik tətbiq, sonra eskalasiya.
Rollback-by-design: Hər bir hərəkət geri addım və vaxt var.

6) Runbooks (Runbooks) və Playbook

Ranbukun strukturu: şərt → doğrulama → fəaliyyət → validasiya → geri dönüş → jurnal.

• PSP rədd> X% ölkədə Y: rout B keçid, aşağı 'retry _ budget', limitləri cache aktivləşdirmək, PSP bilet açmaq.
• wallet xidmətində latency artımı: replikaları artırmaq, Redis açarları «limitləri» qızdırmaq, ağır hesabatlar üçün «read-only» rejimi yandırmaq, üçüncü tərəf aqreqasiyaları məhdudlaşdırmaq.

7) Modellər: sadə yetkin

1. Əsas qaydalar və STL-mövsümiliyi: sürətli başlanğıc, az fols-pozitivlər.
2. Hadisə tarixçəsi üçün Supervised modellər: «kritik/alt sistemlər» təsnifatçısı, RCA məsləhəti.
3. Unsupervised/Deep: mürəkkəb nümunələr üçün avtomobil koder/Isolation Forest.
4. Policy-Learning: remediasiya siyasətlərini öyrətmək (offline simulyasiyalar + məhdud onlayn təcrübələr).

Əhəmiyyətli: model ≠ sehr. Retrospektiv qiymətləndirmə, dreyf nəzarəti, çempion-challenger və fiç/etiket saxlayın.

8) A/B və əməliyyatlarda təcrübə

Əməliyyat həlləri üzərində eksperimentlər: müxtəlif retraj/vaxt strategiyaları, PSP marşrutu, qoşulma limitləri.
Uğur metrikası: MTTR, error budget burn, cost-per-RPS,% fols-avtofiks.
SLO deqradasiyası zamanı stop şərtləri və sürətli dayanma.

9) Qubernasiya, risk və uyğunluq

Fəaliyyət siyasəti: icazə verilən avtomatlaşdırma siyahısı, risk zonaları, dəyişiklik pəncərələri, təsdiq səviyyələri.
Audit və Tracking: kim/nə vaxt/niyə RunBook başladı; postmortem üçün artefaktlar.
PII/PCI: Fich/log maskalanması, məlumatların minimuma endirilməsi, gizli skan.
iGaming/fintech tənzimləyicisi: həllərin şəffaflığı (explainability), ödənişlərin/limitlərin dayandırılması məntiqi təkrarlanmalı və izah olunmalıdır.

10) Alətlər (istinad yığını)

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Kataloqlar və biliklər: xidmət kataloqu, qrafların asılılığı, inventory konfiqurasiyalar/fitness.
ML-payplayns: Feature Store, offline-DWH + online-ficies, model-registr, CI/CD modelləri, drift-monitorinq.
Avtomatlaşdırma: ranbuk orkestratoru (Argo/StackStorm/ ), operatorları, GitOps (Argo CD/Flux).
Hadisələr: chat ops (Slack/Telegram/Teams), gözətçi botları, postmortem şablonları.
Təhlükəsizlik: Vault/KMS, açar siyasəti, mTLS, artefaktların imzası.

11) AI-Ops yetkinlik metrikası

Aşkarlama: istifadəçilərin şikayətlərinə qədər görülən hadisələrin nisbəti; orta aşkarlama.
Reaksiya: MTTA/MTTR,% avto-remediation olmadan eskalasiya, keyfiyyətli RCA (precision/recall).
Etibarlılıq: burn-rate, SLO adherence, «səs-küy» alerts (alerts per on-call hour).
İqtisadiyyat: hesablamalara qənaət (rightsizing), büdcə sapmalarının azaldılması, cost-per-transaction.
Mədəniyyət: postmortemlərlə insidentlərin payı, xidmətlərin ranbuklarla əhatə olunması, qaydaların tətbiqi sürəti.

12) Addım-addım tətbiq planı

1. Telemetriya və vahid siqnallar lüğəti. Məcburi etiketlər: 'service', 'version', 'region', 'partner', 'api _ version'.
2. Anti-səs və korrelyasiya. Hadisənin duplikasiyası, hadisənin qruplaşması.
3. Ranbuklar kitabxanası. İlk 10 risk üçün ssenarilər (ödənişlər, wallet, oyun kataloqu, turnirlər, hesabatlar).
4. İlkin modellər. STL/Prophet + qaydaları; 2-3 xidmətdə pilot.
5. Kopilot və chat ops. Təbii sorğular, sürətli hərəkətlər, postmortem şablonları.
6. Gardrails və nəzarət. Canaries, fəaliyyət limitləri, audit jurnalı.
7. Təcrübələr və təlim. Champion-challenger, A/B, retrospektiv fayda qiymətləndirilməsi.
8. Ölçmək. Bütün kritik axınları bağlamaq, komandaları öyrətmək, SLO review.

13) Siyasət və konfiqurasiya nümunələri

13. 1 Avto skeylinq siyasəti (ideya)

RPS proqnozunda qabaqcıl skeylinq> son həftənin P95 + X%.
Soyuq başlanğıc: Redis/PSP-yə qoşulmaların qızdırılması, cache-nin qızdırılması.
Stop-şart: 5xx səhv Skale → geri sonra böyüyür.

13. 2 Ranbook «PSP deqradasiyası»

1. Yoxla 'psp _ error _ rate> T' və 'region in {BR, TR}'.
2. PSP-B smart-routing yalnız non-VIP üçün daxil edin; məhdud 'max _ retries = 2'.
3. PSP-A bilet yaratmaq; RCA üçün 100 sorğu/cavab toplamaq.
4. CR depozit və T2W monitorinq (time-to-wallet). Pisləşmə zamanı geri çəkilmə> Y%.

13. 3 Postmortem şablonu (avtomatik generasiya ilə)

Detector → Time Line → Hipotezlər → Təsirlər (istifadəçilər/gəlir) → Hərəkətlər → Dərslər → Ranbuklarda/Modellərdə dəyişikliklər.

14) Anti-nümunələr

Qardraylsız «qara qutu»: botlar limitsiz və auditsiz məhsulu idarə edir.
Biznes hadisələri haqqında məlumat olmayan modellər: CPU-ları görürlər, lakin promo/matçları başa düşmürlər.
Alert fırtınaları: korrelyasiya yoxdur → on-call «tunel görmə».
Nəticənin geri qaytarılması/validasiyası olmadan avto-remediasiya.
«Əbədi pilotlar»: real fəaliyyət üçün çıxış yoxdur, yalnız dashboard.
Postmortemlərin olmaması - sistem təlimi yoxdur.

15) iGaming/fintech konteksti

Yükün zirvələri (turnirlər, canlı bahislər, finallar): proqnozlaşdırılan skeylinq, cache qızdırılması, PSP limitlərinin hazırlanması.
Məsuliyyətli oyunlar/limitlər: modellər uyğunluq qaydaları olmadan avtomatik olaraq oyunçunun limitlərini çıxarmamalıdır.
Tənzimləyici hesabat pəncərələri: yükləmə cədvəli, boşaltma üçün SLA, növbə prioriteti.
Multi-PSP: ölkələrə, günün vaxtına, səhv kodlarına, əməliyyat dəyərinə görə dinamik marşrutlaşdırma.
VIP seqmenti: ayrı-ayrı gardrails - təsdiq olmadan heç bir aqressiv hərəkət (human-in-the-loop).

16) Hazırlıq yoxlama siyahısı

1. Vahid OTel təbəqəsi, vahid etiketlər və şlyuz vasitəsilə marşrutlar.
2. Xidmətlərin və versiyaların asılılıq xəritəsi (service topology).
3. Simulyasiya və unit testləri ilə ranbukların kataloqu.
4. Məhsulda ən azı bir anomaliya modeli + keyfiyyət hesabatı.
5. Log/metrik oxuya bilən və təhlükəsiz hərəkətlər edə bilən chat kopilot.
6. Gardrails, kanaryalar, geri dönüşlər, dəyişikliklərin auditi.
7. Müntəzəm postmortemlər və nəticələr üzrə bilik/modellərin yenilənməsi.

Yekun

AI-Ops «mağara üzərində sehrli süni intellekt» deyil, intizam: keyfiyyətli telemetriya, aydın ranbuklar, diqqətli avtomatlaşdırma və nəzarət olunan modellər. Müşahidə etmək → başa düşmək → hərəkət etmək → aydın qardraylarla öyrənmək üçün bir döngə tətbiq edərək, əvvəllər riskləri hiss edən, daha sürətli bərpa edən və daha ucuz bir iş platforması əldə edəcəksiniz.