기술 및 인프라 → AI-Ops 및 자율 시스템
AI-Ops 및 독립형 시스템
1) AI-Ops는 무엇입니까?
AI-Ops는 ML/AI를 운영 데이터 (로그, 메트릭, 트레일, 릴리스/사건 이벤트) 에 다음에 적용하는 것입니다
조기에 문제를 감지 (사고 대응)
자동 치료
비용 및 성능 최적화 (예측 스케일링, 지능형 라우팅),
사고 분석 속도 향상 (신호 상관 관계, 사후 모템 생성).
이러한 맥락에서 자율 시스템은 다음을 수행 할 수있는 플랫폼입니다
1. 느낌 (원격 측정 수집),
2. 이해 (모델, 휴리스틱, 규칙),
3. 행동 (란북으로 제품을 안전하게 변경),
4. 학습 (사후 분석을 통한 피드백 루프 닫기).
2) AI-Ops 아키텍처 레이어
1. 원격 측정 수집 (Observability 3-in-1): 메트릭 (Prometheus/OTel), 로그 (Loki/ELK), 트레일 (OTel/Jaeger).
2. 농축 및 기능 엔지니어링: 집계, 슬라이딩 윈도우, 계절성, 비즈니스 태그 ('파트너', 'game _ id', 'region', 'VIP', 'psp').
- 이상 감지 (STL, 선지자, 격리 숲, 자동 엔코더),
- 원인 및 결과 그래프 (종속성 상관 관계),
- 사건 분류 및 우선 순위 (ML + SRE 도메인 규칙).
- 4. 솔루션 및 작업: 책 실행, 자동 레트라, 트래픽 전환, 자동 스케일링, 한계 변경, 후속 라우팅.
- 5. 휴먼 머신 회로: NOC/SRE 용 LLM- 카피 롯, 채팅 명령, "What-if" 시뮬레이션.
- 6. 주지사 및 안전: 승인, 창문 변경, 치명적인 정지 조건, 감사.
3) 데이터 소스 및 기능
인프라: CPU/Memory/IO/Latency, 네트워크 오류, K8s 포드/노드, 한계/요청, 노드 압력.
서비스: RPS/P50/P95/P99, 4xx/5xx, 포화, 재 트레이 오류, 회로 차단기 이벤트.
비즈니스 신호: registratsiya → depozit (CR), GGR/Net Deposits, 코드 별 PSP 실패, VIP 트래픽, 토너먼트, 프로모션 캠페인.
추가 요인: 릴리스/기능 플래그, 규제 보고서, 은행 결제 창, 경기/이벤트 (베팅 피크).
유용한 기능: 매주/시간별 계절, 지연, 롤링 통계, 변화율, 코드 별 오류 혼합, versiya → versiya 델타, 채도 점수.
4) 신청 사례
4. 1 사건의 조기 탐지
이 지역에서 'psp _ deep _ rate' 고장의 비정상적인 성장 → 세그먼트에 의해 제한되는 백업 PSP에 대한 자동 장애 (VIP에 닿지 않음).
'웹 → 게이트웨이 → 지갑' 체인의 비표준 추적 지연 패턴 → 건강한 포드로의 트래픽을 자동 암호화하고 캐시를 예열하며 열화 인스턴스를 다시 시작합니다.
4. 2 예측 용량 관리
K8의 일치 일정 및 프로모션 → 사전 확장을 고려하여 RPS 예측은 데이터베이스/캐시에 대한 연결, 클라우드 청구 할당량을 예열합니다.
저축: SLO를 유지하면서 피크가 아닌 오버 사이징을 줄였습니다.
4. 3 자기 치유
대기 시간 오류 → 런북: 소비자 일시 정지, 중복 제거, DLQ 프로세스, demempotency 제어.
파편 DB → 읽기 대피, 작성자 전환, 배경 작업 조절.
4. 4 상관 관계 및 RCA
경고 (경고 폭풍) + 인과 그래프의 ML 클러스터링 → 수십 개의 메시지 대신 하나의 "사고 카드".
사고 일정 및 사후 초안의 자동 생성.
4. NOC/SRE 용 5 Copilot (LLM)
명령: "EU 지역에서 5xx 스파이크/v2/지불금으로 15 분 전에 변경된 모든 것을 보여줍니다".
답: diff configs, 릴리스 노트, 메트릭 델타, 영향을받는 포드, 가설 + "시작 목장" 버튼.
5) 결정 패턴
안전 자동화: "녹색 복도" 에서만 동작 (가드 레일: 트래픽의 최대%, 최대 규모 피치, 허용 된 명령 목록).
Human-in-the-loop: 중요한 단계 (마스터 데이터베이스 전환, 대량 phicheflags) -통화 중 확인.
다중 신호: 트리거는 하나의 경고가 아니라 일관성입니다. 메트릭 + 트레일 + 로그 패턴 + 릴리스 부호.
카나리아 치료: 먼저 트래픽의 1-5% 에 적용한 다음 증가합니다.
설계 별 롤백: 각 작업에는 후진 단계와 타임 아웃이 있습니다.
6) 런북 및 플레이 북
런북 구조: → 동작 → 유효성 검증 → 롤백 → 로그.
예:- 국가 Y의 PSP 면제> X%: 경로 B로 전환하고, '재 시도 _ 예산' 을 낮추고, 제한 캐시를 활성화하고, PSP로 티켓을 엽니 다.
- 지갑 서비스의 대기 시간 증가: 복제본 증가, Redis 키 "한계" 예열, 무거운 보고서에 대한 "읽기 전용" 모드 활성화, 타사 집계 제한.
7) 모델: 성숙하기 간단한
1. 기본 규칙 및 STL 계절: 빠른 시작, 소수의 민속 긍정.
2. 감독 된 사고 기록 모델: 중요도/서브 시스템 분류기, RCA 힌트.
3. 감독되지 않은/딥: 복잡한 패턴을위한 자동 코더/격리 숲.
4. 정책 학습: 치료 정책 교육 (오프라인 시뮬레이션 + 제한된 온라인 실험).
중요: 모델은 마법입니다. 후시, 드리프트 컨트롤, 챔피언 챌린저 및 기능/레이블을 유지하십시오.
8) A/B 및 운영 실험
운영 솔루션에 대한 실험: 다른 리트레이/타임 아웃 전략, PSP 라우팅, 연결 제한.
성공 지표: MTTR, 오류 예산 연소, RPS 당 비용, 민속 자동 수정 비율.
SLO 분해 중에 정지 조건과 빠른 정지.
9) 주지사, 위험 및 준수
행동 정책: 허용 가능한 자동화, 위험 영역, 창 변경, 승인 수준 목록.
감사 및 추적: 누가/언제/왜 목장을 시작했는지; 사후 유물.
PII/PCI: 기능/로그 마스킹, 데이터 최소화, 비밀 스캔.
규제 iGaming/fintech: 의사 결정의 투명성 (설명 불가능), 지불 중지/제한의 논리를 재현하고 설명 할 수 있어야합니다.
10) 도구 (참조 스택)
관찰 가능성: OpenTelemetry, Prometheus, Grafana/Tempo/Jaeger, Loki/ELK.
카탈로그 및 지식: 서비스 카탈로그, 그래프 종속성, 구성 요소/phicheflags 인벤토리.
ML 파이프 라인: 피처 스토어, 오프라인 -DWH + 온라인 기능, 모델 레지스터, CI/CD 모델, 드리프트 모니터링.
자동화: 목장 오케 스트레이터 (Argo/StackStorm/Zhopisnyye), K8 운영자, GitOps (Argo CD/Flux).
사건: 채팅 작전 (Slack/Telegram/Teams), 시계 봇, 사후 템플릿.
보안: Vault/KMS, 주요 정책, mSL, 아티팩트 서명.
11) AI-Ops 성숙도 지표
탐지: 사용자 불만 이전에 발생한 사고의 비율; 평균 탐지 리드.
반응: MTTA/MTTR, 에스컬레이션이없는% 자동 치료, RCA 품질 (정밀/리콜).
신뢰성: 연소율, SLO 준수, 통화 시간당 경고.
경제: 계산 비용 절감 (오른쪽 크기 조정), 예산 편차 감소, 거래 당 비용.
문화: 사후 사건 공유, 런북을 통한 서비스 범위, 규칙 구현 속도.
12) 단계별 구현 계획
1. 원격 측정 및 통합 신호 사전. 필요한 레이블: '서비스', '버전', '지역', '파트너', 'api _ 버전'.
2. 소음 방지 및 상관 관계. 사고로 그룹화 된 중복 경보.
3. 런북 라이브러리. 상위 10 개 위험 시나리오 (지불, 지갑, 게임 카탈로그, 토너먼트, 보고서).
4. 기본 모델. STL/Prophet + 규칙; 2-3 서비스 파일럿.
5. 코파일럿 및 채팅 작전. 자연적인 요청, 빠른 행동, 사후 템플릿.
6. 가드 레일과 통제. 카나리아, 행동 제한, 감사 흔적.
7. 실험 및 훈련. 챔피언 챌린저, A/B, 소급 혜택 평가.
8. 스케일링. 모든 중요한 스트림, 교육 팀, SLO 검토 연결.
13) 정책 및 구성의 예
13. 1 자동 스케일링 정책 (아이디어)
지난 주 RPS 예측> + X% P95에서 사전 스케일링.
콜드 스타트: Redis/PSP와의 연결 예열, 캐시 예열.
정지 상태: 스케일 → 롤백 후 5xx 오류가 증가합니다.
13. 2 "PSP 저하" 런북
1. (PHP 3 = 3.0.6, PHP 4)
2. VIP 이외의 경우에만 PSP-B에서 스마트 라우팅 사용; 한계 'max _ retries = 2'.
3. PSP-A 티켓 만들기; RCA에 대한 100 개의 요청/응답을 수집합니다.
4. CR 예금 및 T2W (지갑 시간) 를 모니터링하십시오. 성능 저하시 롤백> Y%.
13. 3 사후 템플릿 (자동 생성)
검출기 → 타임 라인 → 가설 → 영향 (사용자/수익) → 행동 → 수업 → 런북/모델 변경.
14) 반 패턴
가드 레일이없는 "블랙 박스": 봇은 제한과 감사없이 판매를 지배합니다.
비즈니스 이벤트에 대한 데이터가없는 모델: CPU를 참조하십시오. 프로모션/일치를 이해하지 마십시
폭풍 경보: 상관 부족 → 통화 중 "터널 비전".
결과의 롤백/검증없이 자동 치료.
"영원한 조종사": 실제 행동을 할 수있는 방법이없고 해체판 만 있습니다.
사후 부족-훈련 시스템 없음.
15) iGaming 컨텍스트/핀 테크
최고점 (토너먼트, 라이브 베팅, 결승): 예측 스케일링, 캐시 예열, PSP 한계 준비.
책임있는 게임/제한: 모델은 규칙을 일치시키지 않고 플레이어 제한을 자동으로 해제해서는 안
규제보고 창: 일정 다운로드, SLA 다운로드, 대기열 우선 순위.
다중 PSP: 국가 별 동적 라우팅, 시간, 오류 코드, 트랜잭션 비용.
VIP 세그먼트: 개별 가드 레일-확인없이 공격적인 행동이 없습니다 (Human-in-the-loop).
16) 준비 점검표
1. OTel의 단일 레이어, 게이트웨이를 통한 통합 레이블 및 트랙.
2. 서비스 토폴로지.
3. 시뮬레이션 및 단위 테스트가 포함 된 런북 카탈로그.
4. 제품 + 품질 보고서에서 하나 이상의 이상 모델.
5. 로그/메트릭을 읽고 안전한 동작을 시작할 수있는 부조종사를 채팅하십시오.
6. 가드 레일, 카나리아, 리베이트, 감사 변경.
7. 결과에 기초한 지식/모델의 정기적 인 사후 모템 및 업데이트.
결과
AI-Ops는 "통나무 위의 마술 AI" 가 아니라 고품질 원격 측정, 이해할 수있는 란북, 신중한 자동화 및 제어 모델 등의 분야입니다. 명확한 가드 레일을 사용하여 → 이해 → 행동 → 학습을 관찰함으로써 위험을 조기에 발견하고 더 빨리 회복하며 비즈니스 비용을 줄이는 자체 치유 플랫폼을 얻을 수 있습니다.