롤백 및 안정성 복구
(섹션: 기술 및 인프라)
간략한 요약
롤백은 데이터 손실 및 SLO 위반의 위험을 최소화하면서 최신 안정 버전으로 관리됩니다. 신뢰할 수있는 프로세스에는 SLO 신호, 명확한 게이트 및 롤백 기준, 스위칭 메커니즘 (GitOps/Ingress/mesh), 호환 가능한 데이터 체계, 격리 된 구성 요소/비밀/캐시, runabook 및 사고 후 개선주기가 포함됩니다.
1) 롤백시기 (시작 기준)
SLO/비즈니스 게이트: 임계 값을 초과하는 p95/99, 오류율 RAM, 지불/요율 변환 감소, PSP 타임 아웃 증가.
기술 신호: 난로 충돌, 메모리 누출, 대기열 성장, 토큰 저하/초 (LLM), 5xx on Edge.
데이터 위험: 잘못된 마이그레이션, 복제품 불일치, 고아 거래/지불.
안전/PII: 누출 의심-즉시 롤백/격리.
규칙: 2 + 키 지표가 임계 값이> N 분 외부인 경우 롤백이 트리거됩니다.
2) 롤백 유형
1. 응용 프로그램: 컨테이너/패키지를 이전 태그로 롤백합니다.
2. 기능: 기능 플래그/킬 스위치를 통한 즉시 종료.
3. 라우팅-무게를 안정적인 버전 (카나리아 → 안정) 또는 파란색 → 녹색으로 되돌립니다.
4. 데이터베이스: 논리적 롤백 (보상), 체계의 단계적 반환; PITR은 최후의 수단입니다.
5. 인프라: 롤백 나타남/테라 폼 계획; 반환 네트워크/WAF 구성.
6. 데이터/캐시/대기열: 재설정/장애/재생 메시지; 버전 캐시.
3) 안전한 롤백의 건축 원칙
스키마 호환성: 확장 → 마이그레이션 → 계약 전략 (확장과 계약 사이의 롤백이 가능).
격리 된 종속성: 개정을위한 별도의 비밀/구성/캐시/대기열.
이념적 인 작업: 반복적 인 마이그레이션 및 작업 시작-안전.
아티팩트의 불변성: 이미지, 차트, SQL 스크립트-버전이 지정되고 서명되었습니다.
GitOps 참: 현재 버전과 라우팅은 매니페스트 리포지토리에 전념합니다.
4) 롤백 메커니즘 (Kubernetes/GitOps)
아르고 롤 아웃 (무게 반환)
yaml apiVersion: argoproj. io/v1alpha1 kind: Rollout metadata: { name: api }
spec:
strategy:
canary:
steps:
- setWeight: 5
- pause: { duration: 10m }
in case of analysis failure → automatic rollback to stableGitOps 롤백 (아이디어)
git revert <commit_with_bad_version>
git push # Argo CD/Flux revert cluster to previous revisionNGINX: 안정적인 빠른 스위치
nginx map $cookie_canary $to_canary { default 0; 1 1; }
upstream stable { server api-stable:80; }
upstream canary { server api-canary:80; }
server {
location / {
if ($to_canary) { proxy_pass http://canary; }
proxy_pass http ://stable; # removed canary cookie - instant rollback
}
}5) 데이터베이스 롤백 및 데이터 보호
→ Migrate → 계약 확대:- 확장-새 필드/인덱스 추가, 코드는 기존 및 새 스키마를 지원합니다.
- Migrate: 코드가 새로운 체계로 작성되기 시작합니다. 우리는 이전 체계를 깨뜨리지 않습니다.
- 계약: 안정화 후에 만 이전을 삭제하십시오.
- PITR/스냅 샷: 논리적 보상이 불가능한 경우에만 사용하십시오.
- 보상: 인서트/잔액/지불을 수정하기위한 별도의 스크립트/작업.
- 읽기 전용 창: 비판을 받으면 상태를 "동결" 하기 위해 일시적으로 기록을 차단합니다.
sql
-- expand
ALTER TABLE wallet ADD COLUMN bonus_balance NUMERIC DEFAULT 0 NULL;
CREATE INDEX CONCURRENTLY idx_wallet_bonus ON wallet(bonus_balance);
-- migrate in code, two-sided write
-- contract (after stabilization)
ALTER TABLE wallet DROP COLUMN legacy_bonus_balance;6) 롤백시 대기열 및 캐시
버전 캐시: 버전 ('v2:') → 안전한 공존 접두사가 붙은 키.
장애: 롤백 중-대량 청소 'v2:', 'v1:' 로 돌아갑니다.
대기열: 버전에 따른 파티/주제; "체크 포인트에서" 메시지를 재생합니다.
중복 제거/deidempotency: 중복없는 재 처리를위한 dempotence 키.
7) SLO 게이트 및 자동 롤백
메트릭: p95/99, 오류율, 포화 (CPU/IO/GPU), 대기열 깊이, 토큰/초, 결제 변환.
정책 (예):
if p95_latency_ms > 250 for 5m OR error_rate > 1. 5% for 3m OR payment_conv < baseline-0. 3%
then rollback release && open incident && freeze deploys8) Runabooks (플레이 북)
A) p99 및 5xx의 출시 후 성장
1. 프로모션 중지 (동결 카나리아/청록색).
2. 트래픽을 안정적인 개정으로 전환
3. 캐시 적중/큐/PSP 지연을 확인하십시오.
4. 로그, 프로필, 클라이언트/스키마 버전 진단을 제거하십시오.
5. 커뮤니케이션: ChatOps, 상태 채널, 사건 카드.
6. 시정 조치 시작: 패치/핫 수정/기능 취소.
B) 데이터베이스 마이그레이션
1. 동결 쓰기 (읽기 전용, 간단히 읽기).
2. 응용 프로그램 롤백 → 안정적인 버전 (이전 스키마와 호환).
3. 보상/롤백 스크립트를 실행합니다.
4. 해동 기록; 드리프트/오류를 관찰하십
C) 결제 악화 (PSP)
1. PSP 라우팅을 이전 경로로 전환합니다.
2. 롤백 처리 릴리스.
3. 보류중인 모든 지불을 조정하고 demempotent 키로 반복하십시오.
D) LLM/권장 사항 저하
1. 새 모델/매개 변수 사용하지 않기 (기능 플래그).
2. 이전 끝점/무게를 반환하십시오. 새로운 개정판 KV 캐시를 지우십시오.
3. 토큰/s, 첫 대기 시간 토큰, 독성을 확인하십시오.
9) 커뮤니케이션 및 동결 릴리스
동결 창: 롤백 후-RCA/fix로 일시 정지
단일 채널: 상태 업데이트, 행동의 연대기, 누가 그 일을했는지.
이해 관계자: 제품/CS/지불/변호사 (PII).
10) 사후 사고: 분석 및 예방
RCA (무료): 근본 원인, 기여 요인, 게이트가 작동하지 않는 이유 (그렇지 않은 경우).
동작: 마이그레이션 테스트, 제한, 기능 게이트, 관찰 가능성.
SLO 임계 값: 너무 "소프트 "/" 하드" 인 경우 조정
문서: runabooks 업데이트, 경고 추가, 교육 (게임 데이).
11) 도구 및 템플릿
GitOps: Argo CD/Flux- 'return '/' rollback' 버전으로 커밋.
프로그레시브 전달: Argo Rollout/Flagger-메트릭스 정지/롤백.
가장자리/침입: 무게 라우팅, 쿠키 라우팅, 빠른 스위치.
기능 플래그: 분수 롤아웃, 킬 스위치.
마이그레이션 DB: 업/다운, 드라이 런, 스로틀링이있는 mig-frameworks.
관찰 가능성: 기성품 대시 보드 "릴리스 비교" (안정 대 카나리아).
12) 롤백 준비 상태 점검표
1. 수정 및 서명 된 아티팩트 (이미지/차트/SQL).
2. 2 레일 컨피그/비밀/캐시/큐 (버전 접두사).
3. 확장 → 마이그레이션 → 계약에 의한 DB 다이어그램.
4. SLO 게이트 및 자동 리베이트가있는 카나리아 및 청록색 릴리스.
5. 주요 시나리오 (결제/DB/캐시/LLM) 에 대한 실행기.
6. ChatOps 버튼: '/롤백 ', '/프리즈', '/프로모션 '.
7. 감사 및 로깅: 언제, 무엇이 롤백되었는지; 진단 아티팩트.
8. 게임 데이 운동: 딥 및 복구 시뮬레이션.
9. 비즈니스 및 지원 커뮤니케이션 계획.
10. 한 화면에서 안정적이고 새로운 화면.
13) 반 패턴
코드가 배포되기 전에 중단적인 마이그레이션 (이전 호환성 없음).
버전이없는 공유 캐시/대기열 → 더러운 롤백.
GitOps/이력 변경 → Prod에 대한 수동 편집 없음.
게이트/원격 측정이없는 카나리아 릴리스 → 늦은 탐지.
동결없이 롤백하고 RCA → 사건을 반복합니다.
비즈니스 지표 (지불/요금) 가없는 기술 지표 만 모니터링합니다.
모든 개정판에서 "비밀 공통" → 사건을 격리하기가 어렵습니다.
요약
신뢰할 수있는 롤백은 "스톱 크레인" 이 아니라 버전 및 호환성, 격리 된 종속성, SLO 게이트, GitOps 리얼리티, 자동 롤백 및 투명한 룬북과 같은 릴리스에 내장 된 프로세스입니다. 이 접근 방식을 통해 iGaming 플랫폼은 안정성을 빠르게 회복하고 데이터 및 수익 손실을 최소화하며 각 사고를 개선의 원천으로 전환 할 수 있습니다