Технология жана инфраструктура → AI-Ops жана автономдуу системалар

AI-Ops жана автономдуу системалар

1) AI-Ops деген эмне

• көйгөйлөрдү (инциденттерге каршы),
• автоматтык түрдө кемчиликтерди жоюу (auto-remediation),
• чыгымдарды жана өндүрүмдүүлүгүн оптималдаштыруу (алдын ала скейлинг, акылдуу роутинг),
• окуяларды талдоону тездетүү (сигналдардын корреляциясы, постмортемдердин генерациясы).

1. сезүү (телеметрия чогултуу),

2. түшүнүү (моделдер, эвристиктер, эрежелер),

3. иш-аракет кылуу (ранбуктар боюнча азык-түлүктө коопсуз өзгөрүүлөрдү жасоо),

4. үйрөнүү (пост-инциденттик аналитика аркылуу пикир айлампасын жабуу).

2) AI-Ops архитектура катмарлары

1. Телеметрия чогултуу (Observability 3-жылы-1): метрика (Prometheus/OTel), логи (Loki/ELK), соода (OTel/Jaeger).
2. Байытуу жана физикалык инженерия: агрегациялар, жылма терезелер, сезондук, бизнес-белгилер ('partner', 'game _ id', 'region', 'VIP', 'psp').

• аномалиялардын детекциясы (STL, Prophet, Isolation Forest, autocodirers),
• себептик-натыйжалык графалар (көз карандылыктын корреляциялары),
• окуя классификациясы жана артыкчылыктуу (ML + SRE домен эрежелери).
• 4. Чечимдер жана иш-аракеттер: ранбуктар, авто-ретрайлер, трафикти которуу, авто-скейлинг, лимиттерди өзгөртүү, жолдомо жолдору.
• 5. Адам-машина контур: LLM-копилот үчүн NOC/SRE, чат командасы, "what-if" симуляция.
• 6. Губерния жана коопсуздук: бекитүү, өзгөртүү терезелери, катастрофалык токтотуу шарттары, аудит.

3) Маалымат булактары жана чиптер

Инфраструктура: CPU/Memory/IO/Latency, тармактардын каталары, нод/нод K8s, лимиттер/requests, node pressure.
Services: RPS/P50/P95/P99, 4xx/5xx, saturations, ката retray, circuit-breaker окуялар.
Бизнес сигналдар: каттоо → депозиттик (CR), GGR/Net депозиттер, коддору боюнча PSP баш тартуу, VIP-трафик, турнирлер, жарнамалык кампаниялар.
Экстра-факторлор: релиздер/фичефлагдар, жөнгө салуучу отчеттор, банктардын төлөм терезелери, матчтар/иш-чаралар (чендердин туу чокулары).

Пайдалуу кубулуштар: жумалык/сааттык сезондук, лагдар, rolling-statlar, rate-of-change, error-mix коддору, дельта версия →, saturation-score.

4) Колдонуу учурлары

4. 1 Инциденттерди эрте аныктоо

Аймактагы 'psp _ decline _ rate' аномалдуу ийгиликсиздигинин өсүшү → сегменттер боюнча чектелген резервдик PSP үчүн автоматтык фейловер (VIP тийбестен).
"Web → gateway → wallet" чынжырындагы соода кечигүүлөрүнүн стандарттуу эмес үлгүсү → дени сак идиштерге авто-шифт трафиги, кэшти жылытуу, деградациялоочу учурларды кайра баштоо.

4. 2 Алдын ала капасити-менеджмент

матч расписание жана промо эске алуу менен RPS божомолу → алдын ала скейлинг K8s, DD/кэш үчүн байланыштарды жылытуу, булуттардын биллинг квоталары.
Үнөмдөө: SLO сактоо менен чокусунан тышкары oversaysing азайтуу.

4. 3 Auto-remediation (өзүн-healing)

Ката "stuck payouts queue" → ranbook: пауза consumer, дедупликация, DLQдан репроцесс, демпотенттикти көзөмөлдөө.
Degraded shard DD → окуу көчүрүү, writer которуу, арткы буктурмаларды throttling.

4. 4 Корреляция жана RCA

ML-кластерлештирүү alerts (alert storms) + себеп-графалар → бир "окуя-карта" ордуна ондогон билдирүүлөр.
Автогенерация таймлайн инцидент жана долбоор постмортем.

4. NOC/SRE үчүн 5 Kopilot (LLM)

Команда: "EU аймагында 5xx/v2/payouts көтөрүлүшүнө 15 мүнөт калганда өзгөргөндөрдүн баарын көрсөтүү".
Жооп: diff конфигурациялары, релиздик ноталар, дельта метриктери, таасир этүүчү тамырлар, гипотезалар + "Running Ranbook" баскычтары.

5) Чечим кабыл алуу үлгүлөрү

Safe-automation: иш-аракет гана "жашыл коридор" (gardrail: max% жол, max кадам Skale, уруксат берилген буйруктардын тизмеси).
Human-in-the-loop: критикалык кадамдар (DD master которуу, массалык phicheflages) - on-call ырастоо менен.
Мультисигналдуулук: триггер - бир алерт эмес, ырааттуулук: метрика + соода + лог- үлгү + релиздин белгиси.
Canary-remediation: биринчи 1-5% жол колдонуу, андан кийин эскалация.
Rollback-by-design: ар бир иш-аракет артка кадам жана убакыт бар.

6) Runbooks (Runbooks) жана Playbook

Ранбук түзүлүшү: шарт → текшерүү → иш-аракет → валидация → артка кайтуу → журнал.

• PSP баш тартуу> X% өлкөдө Y: маршруту B өтүү, кыскартуу 'retry _ budget', чеги кэш жандандыруу, PSP үчүн билет ачуу.
• Кошелек кызматында латенсиянын өсүшү: репликаларды көбөйтүү, Redis ачкычтарын "лимиттерди" жылытуу, оор отчеттор үчүн "read-only" режимин күйгүзүү, үчүнчү тараптын агрегацияларын чектөө.

7) Моделдер: жөнөкөй жетилген үчүн

1. Негизги эрежелер жана STL-сезондук: тез баштоо, аз фолк-позитивдер.
2. окуя-окуялар боюнча Supervised-моделдер: классификатор "критикалык/субсистемалар", RCA.
3. Unsupervised/Deep: татаал үлгүлөрү үчүн AutoEncoder/Isolation Forest.
4. Policy-Learning: ремедиация саясатын окутуу (оффлайн-симуляциялар + чектелген онлайн эксперименттер).

Маанилүү: моделдер ≠ сыйкырчылык. retrospective баа, дрейф көзөмөлдөө, champion-challenger, жана чүчпара/лейблдер сактоо.

8) Операцияларда A/B жана эксперимент

Операциялык чечимдер боюнча эксперименттер: ар кандай ретра/тайм стратегиялары, PSP багыттоо, кошулмалардын чектери.
Ийгиликтин көрсөткүчтөрү: MTTR, error budget burn, cost-per-RPS,% фолс-автофикстер.
SLO деградацияда токтоо шарттары жана тез токтоо.

9) Губерниялоо, тобокелдик жана шайкештик

Иш-аракеттер саясаты: уруксат берилген автоматташтыруулардын тизмеси, тобокелдик зоналары, өзгөртүү терезелери, жактыруулардын деңгээли.
Аудит жана трек: ким/качан/эмне үчүн ранбук баштады; постмортем үчүн артефакттар.
PII/PCI: Phiches/Logs, маалыматтарды минималдаштыруу, жашыруун сканерлөө.
iGaming/fintech жөнгө салуучу: чечимдердин ачык-айкындуулугу (explainability), төлөмдөрдү/лимиттерди токтотуу логикасы ойнотулуучу жана түшүнүктүү болушу керек.

10) Инструменттер (референс-стек)

Observability: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
Каталогдор жана билимдер: сервис-каталог, графалардын көз карандылыгы, конфигурациялардын/фичефлагдардын inventory.
ML-пайплайндар: Feature Store, offline-DWH + Online Fich, модель-реестри, CI/CD моделдер, drift-мониторинг.
Автоматташтыруу: ранбук оркестратору (Argo/StackStorm/ K8s), GitOps (Argo CD/Flux) операторлору.
Окуялар: чат-опс (Slack/Telegram/Teams), күзөт боттору, постмортем үлгүлөрү.
Коопсуздук: Vault/KMS, ачкыч саясаты, mTLS, кол артефакттары.

11) AI-Ops жетилүү Метрика

Аныктоо: колдонуучулардын даттанууларына чейин байкалган инциденттердин үлүшү; орточо алдын ала аныктоо.
Реакция: MTTA/MTTR,% авто-ремедиация жок эскалация, сапаты RCA (precision/recall).
Ишенимдүүлүк: burn-rate, SLO adherence, "ызы-чуу" alerts (alerts per on-call hour).
Экономика: эсептөө боюнча $ үнөмдөө (rightsizing), бюджеттин четтөөлөрдү азайтуу, cost-per-transaction.
Маданият: постмортемалар менен болгон инциденттердин үлүшү, кызматтардын ранбуктар менен камтылышы, эрежелерди киргизүү ылдамдыгы.

12) Этап-этабы менен ишке ашыруу планы

1. Телеметрия жана сигналдардын бирдиктүү сөздүгү. Милдеттүү лейблдер: 'service', 'version', 'region', 'partner', 'api _ version'.
2. Анти-ызы-чуу жана корреляция. Алерттердин дедупликациясы, окуя боюнча топ.
3. Ранбук китепканасы. Жогорку 10 тобокелдиктер үчүн жагдайлар (төлөмдөр, wallet, оюн каталогдору, турнирлер, отчеттор).
4. Негизги моделдер. STL/Prophet + эрежелери; 2-3 кызматтарда учкуч.
5. Копилот жана чат-опс. Табигый суроолор, тез иш-аракеттер, постмортем үлгүлөрү.
6. Гардрайл жана контролдоо. Canaries, иш-аракеттер боюнча лимиттер, аудит журналы.
7. Эксперименттер жана окутуу. Champion-challenger, A/B, retrospektiv пайда баа.
8. Масштабдоо. Бардык маанилүү агымдарды туташтыруу, командаларды окутуу, SLO ревю.

13) Саясат жана конфигурациялардын мисалдары

13. 1 Авто скейлинг саясаты (идея)

RPS болжолдоо боюнча алдын ала скейлинг> + X% акыркы жуманын P95.
муздак баштоо: Redis/PSP үчүн байланыштарды жылытуу, кэш жылытуу.
Stop шарты: ката 5xx Skale → артка кийин өсүп жатат.

13. 2 Ranbook "PSP деградация"

1. Текшерүү 'psp _ error _ rate> T' и 'region in {BR, TR}'.
2. PSP-B гана non-VIP үчүн smart-routing кирет; чектөө 'max _ retries = 2'.
3. PSP-A билетин түзүү; RCA үчүн 100 суроо-талаптарды/жоопторду чогултуу.
4. CR депозиттик мониторинг жана T2W (убакыт-кошелек). > Y% начарлап кеткен.

13. 3 Postmortem шаблон (Autogeneration менен)

Detector → Таймлайн → Гипотезалар → Таасир (колдонуучулар/киреше) → Иш-аракеттер → Сабактар → Ранбуктарды/моделдерди өзгөртүү.

14) Анти-үлгүлөрү

"Кара куту" gardrails жок: боттор лимиттери жана аудит жок азык-түлүк башкарат.
бизнес-окуялар жөнүндө маалыматтар жок моделдер: CPU көрүп, бирок жарнамалык/дан түшүнгөн жокмун.
Alert-Storm: байланыштын жоктугу → on-call "туннелдик көрүү".
Авто-ремедиация кайтаруусуз/натыйжаны валидациялоосуз.
"Түбөлүк учкучтар": реалдуу иш-аракеттерге жол жок, бир гана дешборддор.
Постмортеманын жоктугу - системаны окутуу жок.

15) Контекст iGaming/Fintech

Жүктүн чокулары (турнирлер, live-коюмдар, финалдар): алдын ала скейлинг, кэш жылытуу, PSP лимиттерин даярдоо.
Жоопкерчиликтүү оюндар/лимиттер: моделдер ойноткучтун лимиттерин шайкештик эрежелери жок автоматтык түрдө алып салбашы керек.
Регулятивдик отчеттуулук терезелери: жүктөө графиктери, жүктөө үчүн SLA, кезек артыкчылыктары.
Multi-PSP: өлкөлөр боюнча динамикалык багыттоо, күндүн убактысы, ката коддору, транзакция наркы.
VIP-сегмент: өзүнчө Gardrails - эч кандай агрессивдүү иш-аракеттер жок тастыктоо (human-in-the-loop).

16) Даярдык чек-тизмеси

1. OTel бирдиктүү катмары, бирдиктүү этикеткалар жана шлюз аркылуу жолдор.
2. Кызматтардын жана версиялардын көз карандылык картасы (service topology).
3. Симуляциялар жана бирдиктүү тесттер менен ранбуктардын каталогу.
4. Жок дегенде бир модель аномалиялар продукт + сапаты отчет.
5. Логи/метрика окуй жана коопсуз иш-аракеттерди баштоого жөндөмдүү чат-копилот.
6. Гардрайлдар, канареялар, артка кайтаруулар, өзгөрүүлөрдүн аудити.
7. Үзгүлтүксүз postmortems жана натыйжалары боюнча билим/моделдерин жаңылоо.

Жыйынтык

AI-Ops - бул "сыйкырдуу AI үстү" эмес, тартип: сапаттуу телеметрия, түшүнүктүү сумкалар, кылдат автоматташтыруу жана контролдонуучу моделдер. байкоо → түшүнүү → иш-аракет → так Gardrails менен изилдөө илмек киргизүү, сиз мурда тобокелдиктерди байкаган өзүн-өзү айыктыруучу аянтчаны алат, тез калыбына келтирүү жана арзан бизнес.