Teknoloji ve Altyapı - AI-Ops ve Otonom Sistemler

AI-Ops ve bağımsız sistemler

1) AI-Ops nedir

• Sorunları daha erken tespit etmek (olayların tersine çevrilmesi),
• otomatik iyileştirme
• Maliyet ve performansı optimize edin (tahmini ölçeklendirme, akıllı yönlendirme),
• Olayların analizini hızlandırın (sinyal korelasyonu, post-mortemlerin üretilmesi).

1. hissetmek (telemetri toplamak),

2. anlamak (modeller, sezgisel, kurallar),

3. hareket (ranbooks tarafından üründe güvenli değişiklikler yapmak),

4. Öğrenin (olay sonrası analitik aracılığıyla geri bildirim döngüsünü kapatın).

2) AI-Ops mimarisinin katmanları

1. Telemetri toplama (Gözlemlenebilirlik 3'ü 1 arada): metrikler (Prometheus/OTel), günlükler (Loki/ELK), izler (OTel/Jaeger).
2. Zenginleştirme ve özellik mühendisliği: kümeler, sürgülü pencereler, mevsimsellik, iş etiketleri ('ortak', 'game _ id', 'bölge', 'VIP', 'psp').

• Anomali tespiti (STL, Prophet, İzolasyon Ormanı, oto kodlayıcılar),
• Neden sonuç grafikleri (bağımlılık korelasyonları),
• Olay sınıflandırma ve önceliklendirme (ML + SRE etki alanı kuralları).
• 4. Çözümler ve eylemler: kitap çalıştırma, otomatik retra, trafik değiştirme, otomatik ölçeklendirme, sınırları değiştirme, takip yönlendirme.
• 5. İnsan-makine devresi: NOC/SRE için LLM-copylot, sohbet komutları,'ne-if "simülasyonları.
• 6. Valilik ve güvenlik: onaylar, pencereleri değiştirme, felaket durdurma koşulları, denetim.

3) Veri kaynakları ve özellikleri

Altyapı: CPU/Bellek/IO/Gecikme, ağ hataları, K8s bölmeleri/düğümler, sınırlar/istekler, düğüm basıncı.
Hizmetler: RPS/P50/P95/P99, 4xx/5xx, saturasyonlar, geri ödeme hataları, devre kesici olayları.
İş sinyalleri: registratsiya - depozit (CR), GGR/Net Mevduat, kodla PSP hatası, VIP trafiği, turnuvalar, promosyon kampanyaları.
Ekstra faktörler: bültenler/özellik bayrakları, düzenleyici raporlar, banka ödeme pencereleri, maçlar/etkinlikler (bahis zirveleri).

Yararlı özellikler: haftalık/saatlik mevsimsellik, gecikmeler, yuvarlanma istatistikleri, değişim oranı, kodlara göre hata karışımı, versiya, versiya deltaları, doygunluk puanı.

4) Başvuru durumları

4. 1 Olayların erken tespiti

Bölgede 'psp _ decline _ rate' arızalarının anormal büyümesi - segmentlerle sınırlı (VIP'ye dokunmayan) bir yedek PSP'ye otomatik yük devri.
Standart olmayan bir iz gecikmesi modeli, 'web> gateway - wallet' zincirinde, trafiği sağlıklı bölmelere otomatik olarak şifreleyin, önbelleği ısıtın, bozulan örnekleri yeniden başlatın.

4. 2 Öngörücü kapasite yönetimi

Maç programlarını ve promosyonu dikkate alarak RPS tahmini - K8s proaktif ölçeklendirilmesi, veritabanına/önbelleğe bağlantıların ısıtılması, bulut faturalandırma kotaları.
Tasarruf: SLO'yu korurken yoğun olmayan aşırı boyutlandırmayı azaltır.

4. 3 Kendini iyileştirme

Sıkışmış ödeme kuyruğu hatası - çalışma kitabı: tüketici duraklatma, veri tekilleştirme, DLQ işlemi, idempotency kontrolü.
Bozulmuş shard DB - Okumaların tahliyesi, anahtarlama yazıcısı, arka plan işlerinin azaltılması.

4. 4 Korelasyon ve RCA

ML-uyarı kümelenmesi (uyarı fırtınaları) + nedensel grafikler - düzinelerce mesaj yerine bir'olay kartı ".
Olay zaman çizelgesi ve ölüm sonrası taslağın otomatik üretimi.

4. 5 NOC/SRE için yardımcı pilot (LLM)

Komut: "AB bölgesinde/v2/ödemeler tarafından 5xx başak önce 15 dakika değişti her şeyi göster".
Cevap: diff yapılandırmaları, sürüm notları, metrik deltalar, etkilenen bölmeler, hipotezler + "ranbook başlat" düğmeleri.

5) Karar kalıpları

Güvenli otomasyon: yalnızca'yeşil koridor'da eylem (gardrail: Trafiğin maksimum %'si, maksimum ölçek aralığı, izin verilen komutların listesi).
Human-in-the-loop: kritik adımlar (ana veritabanını değiştirme, kitle phicheflags) - on-call onayı ile.
Multisignality: tetikleyici tek bir uyarı değil, tutarlılıktır: metrikler + trails + log pattern + release işareti.
Kanarya iyileştirme: Önce trafiğin %1-5'ine uygulanır, sonra yükselir.
Tasarıma göre geri alma: Her eylemin geriye doğru bir adımı ve zaman aşımı vardır.

6) Runbooks ve oyun kitapları

RunBook yapısı: condition> action> validation> rollback> log.

• Y ülkesinde PSP feragatnamesi> % X: B yoluna geçin, daha düşük 'retry _ budget', limit önbelleğini etkinleştirin, PSP'ye açık bilet.
• Cüzdan hizmetindeki gecikmenin artması: kopyaları artırın, Redis anahtarlarının "sınırlarını" ısıtın, ağır raporlar için "salt okunur" modunu etkinleştirin, üçüncü taraf toplamalarını sınırlayın.

7) Modeller: Basit Olgun

1. Temel kurallar ve STL mevsimsellik: hızlı başlangıç, birkaç halk pozitif.
2. Denetimli olay geçmişi modelleri: kritiklik/alt sistem sınıflandırıcısı, RCA ipucu.
3. Denetimsiz/Derin: Karmaşık desenler için Otomatik Kodlayıcı/İzolasyon Ormanı.
4. Politika-Öğrenme: iyileştirme politikalarının eğitimi (çevrimdışı simülasyonlar + sınırlı çevrimiçi deneyler).

Önemli: Sihir ≠ modeller. Gez, drift kontrolü, şampiyon-challenger yapın ve özellikleri/etiketleri tutun.

8) A/B ve operasyonlarda deney

Operasyonel çözümler üzerinde deneyler: farklı geri ödeme/zaman aşımı stratejileri, PSP yönlendirmesi, bağlantı sınırları.
Başarı ölçütleri: MTTR, hata bütçesi yanması, RPS başına maliyet, halk otomatik eklerinin %'si.
SLO bozulması sırasında koşulları durdurun ve hızlı durun.

9) Valilik, risk ve uyum

Eylem politikası: izin verilen otomasyonların listesi, risk alanları, değişim pencereleri, onay seviyeleri.
Denetim ve izleme: Ranbook'u kim/ne zaman/neden başlattı; Otopsi için eserler.
PII/PCI: özelliklerde/günlüklerde maskeleme, veri minimizasyonu, gizli taramalar.
Düzenleme iGaming/fintech: kararların şeffaflığı (açıklanabilirlik), ödeme durakları/limitleri mantığı tekrarlanabilir ve açıklanabilir olmalıdır.

10) Araçlar (referans yığını)

Gözlemlenebilirlik: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Kataloglar ve bilgi: hizmet kataloğu, grafik bağımlılığı, yapılandırma envanteri/phicheflags.
ML-boru hatları: Özellik Mağazası, çevrimdışı-DWH + çevrimiçi özellikler, model kaydı, CI/CD modelleri, sürüklenme izleme.
Otomasyon: ranbooks (Argo/StackStorm/自opisnyye), K8s operatörleri, GitOps (Argo CD/Flux) orkestratörü.
Olaylar: sohbet operasyonları (Slack/Telegram/Teams), saat botları, ölüm sonrası şablonlar.
Güvenlik: Vault/KMS, anahtar politikası, mTLS, eser imzası.

11) AI-Ops Olgunluk Ölçümleri

Tespit: Kullanıcı şikayetlerinden önce görülen olayların oranı; Ortalama tespit kurşunu.
Reaksiyon: MTTA/MTTR, tırmanma olmadan % otomatik iyileştirme, RCA kalitesi (hassasiyet/hatırlama).
Güvenilirlik: yanma oranı, SLO uyumu, çağrı başına saat başına uyarılar.
Ekonomi: Hesaplamalarda $ tasarruf (rightsizing), bütçeden sapmaların azaltılması, işlem başına maliyet.
Kültür: post-mortemlerle olayların paylaşımı, runbooklarla hizmetlerin kapsamı, kuralların uygulanma hızı.

12) Adım adım uygulama planı

1. Telemetri ve Birleşik Sinyal Sözlüğü. Gerekli etiketler: 'service', 'version', 'region', 'partner', 'api _ version'.
2. Anti-gürültü ve korelasyon. Olaya göre gruplandırılmış veri tekilleştirme uyarısı.
3. Runbook kütüphanesi. İlk 10 risk için senaryolar (ödemeler, cüzdan, oyun katalogları, turnuvalar, raporlar).
4. Birincil modeller. STL/Prophet + kuralları; 2-3 serviste pilot.
5. Yardımcı pilot ve sohbet ekibi. Doğal istekler, hızlı eylemler, ölüm sonrası şablonlar.
6. Bahçıvanlar ve kontrol. Kanaryalar, hareket sınırları, denetim izi.
7. Deneyler ve eğitim. Şampiyon-yarışmacı, A/B, geriye dönük fayda değerlendirmesi.
8. Ölçekleme. Tüm kritik akışların bağlanması, eğitim ekipleri, SLO incelemesi.

13) Politika ve yapılandırma örnekleri

13. 1 Otomatik ölçekleme ilkesi (fikir)

Geçen hafta RPS tahmininde proaktif ölçekleme> + % X P95.
Soğuk başlangıç: Redis/PSP'ye bağlantıları ısıtmak, önbellekleri ısıtmak.
Stop Condition: 5xx hatası skale'den sonra büyür.

13. 2 "PSP bozulması" runbook

1. 'Psp _ error _ rate> T've' region in {BR, TR} 'seçeneğini işaretleyin.
2. Sadece VIP olmayanlar için PSP-B'de akıllı yönlendirmeyi etkinleştirin; Limit 'max _ retries = 2'.
3. PSP-A bileti oluşturun; RCA için 100 istek/yanıt toplayın.
4. CR depozitosunu ve T2W izleyin (cüzdan zamanı). Bozulmada geri alma> Y %.

13. 3 Ölüm sonrası şablon (autogenated)

Zaman Çizelgesi - Zaman Çizelgesi - Hipotezler - Etki (Kullanıcılar/Gelir) - Eylemler - Dersler - Runbooks/Modellerdeki Değişiklikler.

14) Anti-desenler

Bahçıvanlar olmadan'kara kutu ": Botlar satışı sınırlar ve denetim olmadan yönetir.
İş olaylarıyla ilgili verileri olmayan modeller: CPU'ya bakın, ancak promosyon/eşleşmeleri anlamayın.
Uyarı fırtınaları: korelasyon eksikliği - çağrı üzerine "tünel görüşü".
Geri alma/sonucun doğrulanması olmadan otomatik iyileştirme.
"Ebedi pilotlar": Gerçek eylemlere çıkış yolu yoktur, sadece deshboard'lar vardır.
Ölüm sonrası eksikliği - eğitim sistemi yok.

15) iGaming bağlamı/fintech

Yükleme zirveleri (turnuvalar, canlı bahisler, finaller): tahmini ölçeklendirme, önbellekleri ısıtma, PSP limitlerini hazırlama.
Sorumlu Oyunlar/Sınırlar: Modeller, kuralları eşleştirmeden oyuncu sınırlarını otomatik olarak kaldırmamalıdır.
Düzenleyici raporlama pencereleri: indirme programları, indirme SLA'ları, kuyruk önceliği.
Multi-PSP: Ülkeye, günün saatine, hata kodlarına, işlem maliyetine göre dinamik yönlendirme.
VIP segmenti: bireysel bahçıvanlar - onay olmadan agresif eylemler yok (döngüde insan).

16) Hazırlık kontrol listesi

1. Tek bir OTel katmanı, birleştirilmiş etiketler ve ağ geçidi boyunca izler.
2. Servis topolojisi.
3. Simülasyonlar ve birim testleri içeren runbook katalogları.
4. Ürün + kalite raporunda en az bir anormallik modeli.
5. Sohbet yardımcı pilotu, günlükleri/metrikleri okuyabilir ve güvenli eylemler başlatabilir.
6. Gardrails, kanaryalar, komisyon, değişim denetimleri.
7. Düzenli post-mortemler ve sonuçlara dayalı bilgi/modellerin güncellenmesi.

Sonuç

AI-Ops, "kayıtların üstünde sihirli bir AI'değil, bir disiplindir: yüksek kaliteli telemetri, anlaşılabilir ranbooks, temkinli otomasyon ve kontrollü modeller. Gözlemleme, anlama, hareket etme, net bahçıvanlar ile öğrenme döngüsünü tanıtarak, riskleri daha erken fark eden, daha hızlı iyileşen ve işletmeye daha az mal olan kendi kendini iyileştiren bir platform elde edersiniz.