MLops: 운영 모델
1) iGaming에서의 착취의 역할
iGaming에서 모델은 RG 중재, 사기 방지, 지불, KYC, 한도, 제안 및 권장 사항과 같은 실제 자금 및 규제에 영향을 미칩니다. 운영은 보장 된 SLO, 추적 성 및 안전성을 갖춘 신뢰할 수있는 예측 프레젠테이션입니다.
목표:- 다운 타임없이 예측 가능한 릴리스 및 롤백.
- 데이터 일관성 및 오프라인/온라인 기능.
- 관찰 가능성: 품질, 드리프트, 정직, 프라이버시.
- TCO 감소: 성능, 캐시, GPU/CPU 믹스.
- 준수 (감사/DSAR/법률 보유/윤리).
2) 아키텍처 제공
배치 (오프라인): 야간/시간당 득점 (제한, 세그먼트). 장점: 더 저렴하고 안정적입니다. 단점: 즉각적인 반응이 없습니다.
스트림 (거의 실시간): 1-5 분 창으로 이벤트 처리 (베팅, 이상).
온라인 (동기화 API): UX/위험 솔루션의 경우 <100-300 ms p95, 캐싱 및 성능 저하.
하이브리드: "배치 + 온라인 개선의 기준" (예: 7 일 RG 위험 + 온라인 세션 트리거).
- 중요한 경로에 가벼운 "게이트 모델" 로 앙상블/스태킹.
- 모델 고장/기능의 경우 폴백 휴리스틱.
- 서킷 브레이커 및 피크 또는 공급자가 저하 될 때 속도 제한.
3) 모델 등록 및 버전 관리
모델 레지스트리: 버전, 소유자, 릴리스 날짜, 메트릭 (AUC/PR, 교정), 데이터 세트 _ 버전, figure _ set _ 버전, 사용 제한.
모델 카드: 작업, 데이터/기능, 공정성/개인 정보 보호 섹션, 위험 영역, 검토 빈도.
출시 정책: 'MAJOR. 미노르. PATCH '+ 필수 롤백 계획.
Champion-Challenger: 병렬 도전자는 보고서와 함께 실행됩니다. 기준이 충족되면 자동 프로모션.
4) 온라인 기능 및 일관성
Feature Store: 엄격한 계약이있는 오프라인 (교육) 및 온라인 (추론) 쇼케이스.
시간 여행 및 현장 교육에 참여하십시오.
Idempotent 업데이트 기능 및 대상 누출에 대한 보호.
일관성: 쓰기 읽기 또는 SLA 전달 보장 (예: PK60 초).
기능 정책: 목록 허용/거부, 마스킹, 토큰 화, 프록시 PII 금지.
5) 릴리스 전략
그림자: 모든로드 → 챔피언; 도전자는 요청 사본을 받고 답변은 비즈니스에 영향을 미치지 않습니다.
카나리아: 트래픽 → 새 버전의 1-10%; KPI/메트릭의 비교, 임계 값 별 자동 롤백.
Blue-Green: 2 개의 서버/엔드 포인트 풀; DNA/경로 전환.
깃발: 시장/테넌트/채널 별 미세 조정.
6) 관찰 및 경고
신호 (온라인):- 신뢰성: 오류율, 타임 아웃, p50/p95/p99 대기 시간, QPS, 채도.
- 데이터/기능: 신선도, 완전성, 분포, 이상, 누락, 스키마 드리프트.
- 품질: 교정, 사후 지표 (AUC/PR, 향상), 중재 대응.
- 드리프트: 입력 (PSI/KS) 및 출력 (점수 드리프트).
- 윤리/공정성: EO/EOp-deltas, 이질적인 영향.
- 개인 정보 보호: Attack-AUC (멤버십/반전) 5, λ- 사용 (DP 인 경우).
- 비즈니스: 차지 백, RG 중재, 제안 변환-세그먼트.
- p95 대기 시간 약 200ms (온라인 점수 RG/사기 방지).
- 오류 속도 제곱 0. 1% 5 분 의미.
- 드리프트 PSI λ0. 주요 기능에서 2; EOp-delta는 3 p.p.
- 신선도 기능은 약 60 초입니다. 갭0 간격. 5%.
- ACE 방식의 보정 02.
7) 사건 및 플레이 북
세브 레벨: P1 (지불 차단/RG 오류), P2 (오류 성장> 임계 값), P3 (품질 저하).
자동 완화: 챔피언으로 전환하고 요청 빈도를 낮추며 대체 규칙을 활성화하고 "독성" 기능을 격리합니다.
런북: "기능이 오래되었습니다", "드리프트가 커졌습니다", "피드 타이핑이 변경되었습니다", "GPU가 소진되었습니다".
사후 사후: RCA, 수정 계획, 업데이트 테스트/임계 값/계약.
8) 실험 및 변경 제어
A/B 및 다중 무장 산적-주요 그룹 (국가/채널/장치) 에 의해서만 계층화됩니다.
윤리적 정지 규칙: RG 위험/불만이 급격히 증가합니다.
전환하기 전에 듀얼 실행 쇼케이스 기능 및 모델.
결과의 안정적인 해석을위한 KPI 및 정의 (BI 계약) 의 검증.
9) 판매 보안 및 개인 정보 보호
mTLS/TLS 1. 3, 서명 요청, 재생 방지 (nonce/idempotency).
비밀 관리자, JIT 발행, 감사의 비밀.
입력/로그의 토큰 화; 트레일에서의 PII 억제.
TEE/기밀 VIP 지불 방지/AML (필요한 경우).
기능 및 엔드 포인트에 대한 액세스 정책 (RBAC/ABAC/JIT).
DSAR/Legal Hold: 토큰 별 설명 및 삭제를위한 솔루션 추적.
10) 성능 및 비용
특히 안정적인 신호를 위해 TTL의 캐시 (기능/점수).
가속을위한 양자화/증류 (INT8/FP16).
자동 검사: QPS/대기 시간으로 수평, 배치 크기로 수직으로.
CPU/GPU 하이브리드: GPU의 대기 시간이 중요하고 CPU의 "질량" 입니다.
콜드 스타트 추적, 모델 가열.
캐시 지역에 대한 시장/테넌트 별 모델 풀 및 "고정 라우팅".
11) iGaming 사례 (참조)
RG 점수: 참가 및 세션에서 온라인 점수; 엄격한 오버 라이드 (자체 제외), 대상 메트릭은 EOp + 교정입니다.
사기 방지/지불: 사전 승인 솔루션 <150 ms; FPR EO 제어, 강력한 신호 애그리 게이터.
KYC/AML: 얇은 파일 지원; 파트너와의 PSI/MPC; DSAR 호환성.
개인화: 고양 모델 및 주파수 제한; 공격적인 제안에서 고위험 제외.
12) 작동 측정 항목 및 SLO (예)
13) 아티팩트 패턴
13. 1 개의 릴리스 노트
모델: 'rg _ risk @ 2. 1. 0 '(MINOR)
변경 사항: 추가 기능 'loss _ streak _ 7d'; 교정 업데이트
검증: 그림자 14 일; 델타 KPI 방식 0. 3%; EOp 델타 정상
롤아웃: 카나리아 10% EU → 50% → 100%
롤백: flag 'rg. (PHP 3 = 3.0.6, PHP 4)
소유자/날짜/티켓
13. 모델 카드 2 개 (조각)
작업: 사기 방지 지불
데이터: 'payment _ gold v3. 2 ', 기능 세트' payout _ signs v1. 7`
측정 항목: AUC = 0. 89, ACE = 0. 015, FPR @ operas. 임계 값 = 1. 2%
공정성: EO TPR/FPR п. "국가/방법"
제한 사항: VIP 고객-인간 검토 만 가능
개인 정보 보호: TEE 추론; PII없이 로깅
검토: 90 일마다 한 번
13. 3 엔드 포인트 SLO 정책 (스 니펫)
yaml endpoint: /v1/score/rg slo:
latency_p95_ms: 200 success_rate: 0. 995 max_error_burst_per_5m: 50 data:
feature_freshness_s: 60 allowed_missing_pct: 0. 5 ethics:
eop_delta_pp: 3 privacy:
attack_auc_max: 0. 5513. 4 개의 런북 "날짜가 지난 기능"
1. Feature Store 및 피드 소스의 지연을 확인하십시오.
2. 채널/캐시를 저장하도록 전환합니다
3. 트래픽 감소/대체 가능 규칙.
4. # ml 상태의 커뮤니케이션; SLA의 사건 P2/P1.
5. RCA 및 계약/리트레이 편집.
14) 시험판 테스트 프로세스
계약 기능: 스키마/에넘/널링 가능, SLA 신선도.
데이터: DQ 테스트, 현장 시간, 대상 누출.
모델: 단위/통합, 교정, 응력/부하.
보안: 로그의 비밀, mSL, Zero-PII.
윤리/개인 정보 보호: 공정성 확인, 공격 제품군.
관찰 가능성: 대시 보드/알림, SLO 구성.
문서: 릴리스 노트 + 롤백 계획.
15) RACI (예)
ML Lead (A/R): 품질, 릴리스, 메트릭.
데이터 플랫폼 (R): 피처 스토어, 레지스터, 오케스트레이션, 관찰 가능성.
도메인 소유자 (R): 소스 계약/기능.
보안/DPO (A/R): 액세스, 개인 정보 보호, 토큰 화, TEE.
SRE/SecOps (R): 사건, SLO, Autoscale, SOAR.
분석/금융 (C): KPI 및 보고서에 미치는 영향.
지원/RG/위험 (C): Human-in-the-loop 및 설명 불가능.
16) 구현 로드맵
0-30 일 (MVP)
1. 충격이 큰 모델을위한 모델 레지스트리 + 카드 (RG/지불/사기 방지).
2. 기본 모니터링: 대기 시간, 오류, 신선도, 드리프트 입력.
3. 새로운 버전, 카나리아 윤곽의 그림자 실행.
4. 로그의 계약 기능 및 Zero-PII.
5. 런북 및 # ml 상태 채널.
30-90 일
1. 기준에 따른 챔피언 챌린저 및 자동 프로모션.
2. CI/CD의 공정성/개인 정보 보호 게이트, 공격 스위트.
3. 캐싱, 양자화, 자동 스케일; SLO/비용 예산.
4. KPI 및 온라인 지표의 BI/ML 조정; 대시 보드 SLO.
3-6 개월
1. 정기적 인 사후 모템, 분기 별 모델 검토.
2. 엔드 포인트, 키 및 기능의 지리/테넌트 격리.
3. 개인 지불 추론/AML을위한 TEE/MPC.
4. 계보 및 diff에서 릴리스 노트의 전체 자동화.
5. 프로세스에 대한 외부 감사 (라이센스에 의해 요구되는 경우).
17) 반 패턴
섀도우/카나리아 및 롤백 계획없이 릴리스하십시오.
일관되지 않은 오프라인/온라인 기능 → 저하.
PII가있는 로그, 토큰 정책이 없습니다.
개정없이 "영원한" 임계 값; 드리프트와 교정을 무시합니다.
고위험 솔루션을위한 휴먼 인 루프 부족.
계층화 및 윤리적 정지 규칙이없는 실험.
18) 관련 섹션
DataOps 관행, 액세스 제어, 데이터 토큰 화, 보안 및 암호화, 감사 및 검증, Bias 완화, 기밀 ML, 연방 학습, 데이터 보존 정책, 데이터 원점 및 경로, 데이터 윤리.
합계
모델 악용은 명확한 계약 및 버전, 예측 가능한 릴리스, 24/7 관찰 가능성, 관리 가능한 윤리/개인 정보 보호 위험 및 투명한 비즈니스 영향 등 생산 서비스 수준의 엔지니어링 분야입니다. 이로 인해 ML은 "랩톱에서 최고의 스크립트" 가 아닌 신뢰할 수있는 제품이되었습니다.