운영 및 → 관리 사고 완화

사건의 영향 감소

1) 목적과 원칙

목적: 다운 타임, 돈, 평판 및 규제 위험 측면에서 사고가 서비스 실패로 확대되는 것을 방지하고 피해를 최소화합니다.

• 먼저 격리 (폭발 반경).
• 엄청난 저하: "전혀 작동하지 않는" 것보다 더 나은 "더 나쁜 작업".
• 디코 우플 및 폴백: 독립적 인 구성 요소 및 안전한 대안.
• 결정 속도> 완벽한 정보 (기능 플래그, 경로 스위치).
• 진실의 원천, 명확한 상태 및 단계별 ETA.

2) 사건 모델 및 결과 분류법

영향: 사용자 (지역, 세그먼트), 화폐 (GGR/NGR, 처리), 규정 준수 (KYC/AML), 파트너/공급자.
유형: 성능 저하, 부분 종속성 장애 (PSP, KYC, 게임 제공 업체), 회귀 해제, 데이터 사고 (쇼케이스 대기 시간/ETL), DDoS/로드 스파이크.
레벨 (P1-P4): 중요한 코어 흐름 다운 타임에서 로컬 결함까지.

3) 완화 패턴 (기술)

3. 1 폭발 반경의 국소화 및 제한

차트/지역별 격리: 문제 파편/지역을 끄면 나머지는 계속 작동합니다.
서킷 브레이커: 근로자의 오류/타임 아웃 동안 종속성을 빠르게 해제합니다.
벌크 헤드: 중요한 경로를위한 별도의 연결 풀/대기열.
Traffic Shadowing/Canary: 완전히 전환 될 때까지 새 버전을 통해 트래픽의 일부를 실행하십시오.

3. 2 관리 열화 (우아함)

읽기 전용 모드: 탐색 및 기록을 저장하면서 돌연변이 (예: 베팅/예금) 를 일시적으로 차단합니다.
기능적 컷오프: 보조 위젯/풍경 비활성화, 권장 사항, "핫" 검색.
캐쉬백: 부실한 응답, 단순화 된 모델.
단순화 된 한계: 배치/페이지 크기를 줄이고 TTL을 길게하고 값 비싼 필터를 끄십시오.

3. 3 로드 관리

Shed/Throttle: 중복 요청 "공정" 을 버립니다: IP/key/endpoint로 핵심 작업을 우선시합니다.

역압: 생산자가 소비자를 늦추도록 제한; 지터로 스피커를 다시 시도하십시

큐 형성: P1 흐름 (지불, 승인) 및 배경 분석을위한 전용 대기열.

3. 빠른 스위치 4 개

기능 플래그 및 킬 스위치: 릴리스없이 문제가있는 기능을 즉시 비활성화합니다.
트래픽 라우팅: 실패한 데이터 센터를 우회하여 "따뜻한" 복제본으로 전송하는 스위칭 공급자 (PSP A → B).
감사와 함께 구성 센터를 통해 타임 아웃, 리트레이, QPS 제한 토글 토글.

3. 5 데이터 및보고

연기 된 돌연변이: 아웃 박스/로그에 쓰기 후 전달.
임시 비정규화: 구체화 된 상점에서 읽음으로써 데이터베이스의로드를 줄입니다.
해체 BI: "12:00 UTC에 데이터" 로 표시된 마지막 스냅 샷을 일시적으로 표시합니다.

4) 도메인 예 (iGaming)

KYC 공급자 실패: 대체 공급자를 켜십시오. "저 위험" 한계-계정 제한이 줄어든 단순화 된 시나리오에 따른 임시 검증.
높은 PSP 대기 시간: 로컬 지갑의 임시 우선 순위, 지불 한도 감소, 지불의 일부를 "T + 차량" 대기열에 배치합니다.
게임 제공 업체의 실패: 특정 타이틀/제공자를 숨기고 로비와 대안을 저장하고 "진행 중 작업, X/Y 시도" 배너를 표시하십시오.

5) 조직 및 역할 (ICS-사건 명령 시스템)

IC (Incident Commander): 단일 조정, 행동 우선 순위.
Ops Lead/SRE: 격리, 응원, 깃발, 인프라.
Comms Lead: 상태 업데이트, 상태 페이지, 내부 채팅/메일.
주제 소유자: 영향을받는 하위 시스템의 소유자 (PSP, KYC, 게임 제공 업체).
비즈니스 연락: 제품, 지원, 재무, 규정 준수.
스크라이브: 타임 라인, 솔루션, 사후 인공물.

규칙: 활동적인 "전쟁 실", 나머지 요청시 "요청시" 에서 7 개가 넘는 사람들이 있습니다.

6) 커뮤니케이션

채널: 상태 페이지, 내부 # 사건 채널, PagerDuty/teleconference, 업데이트 템플릿.

템프: P1 - 15-20 분마다; P2-30-60 분

템플릿 업데이트: 이미 언급 된 → 를 언급 한 사람 → 다음 단계 → 다음 업데이트 시점의 기준점.
클라이언트 지원: L1/L2 용 미리 준비된 매크로 및 FAQ, "부분 저하" 마커, 보상 정책.

7) 성공 지표 및 트리거

MTTD/MTTA/MTTR, 격리 시간, SLO 번 속도 (1 시간/6 시간/24 시간 창).
위험에 처한 수익: 세그먼트 별 손실 GGR/NGR 평가.
폭발 반경%: 영향을받는 사용자/지역/기능의 비율.
SLA를 통합하십시오: 상태 업데이트의 적시성.
허위 양성/허위 음성 경고, 2 차 사건.

• 행에서 5 분의 p95 키 API> 임계 값은 캐시 폴백 및 스로틀링을 가능하게합니다.
• 소비자 지연> 2 분 → 중요하지 않은 생산자를 동결하고 근로자를 키우십시오.
• PSP 성공 <97% 10 분 → 트래픽 점유율을 대기 PSP로 이전.

8) 플레이 북 (압축)

8. 1 "" 대기 시간 y/api/deposit "

1. 오류% 및 PSP 외부 타임 아웃 → 짧은 타임 아웃 및 지터 리트레이를 가능하게합니다.

2. 제한/디렉토리 캐시를 사용하고 무거운 검사를 "제자리에" 비활성화하십시오

3. 부분적으로 트래픽을 대기 PSP로 전송합니다.
4. 위험을 줄이기 위해 지불/예금 한도를 일시적으로 줄입니다.
5. 수정 후: 색인/비정상, 비동기 강화.

8. 2 "KYC 교수형"

1. 대체 공급자로 전환하면 제한이있는 "단순화 된 KYC" 를 사용할 수 있습니다.
2. 이미 통과 한 사람들에 대한 캐시 KYC 상태.
3. 커뮤니케이션: 프로필의 배너, ETA.

8. 3 "ETL/BI가 뒤쳐져있다"

1. 마크 패널 "부실" + 타임 스탬프.
2. 무거운 재건을 중단하고 점진적으로 활성화하십시오.
3. 그리고 KPI를 운영하는 쇼케이스에 대한 우선 순위는, 이 직업의 병렬 처리.

9) 사전 사고 설계 (사전)

기능 플래그 테이블: 엔드 포인트/제공자/위젯에 의한 원자 스위치.
스로틀 링/쉐딩 정책: 우선 순위에 따라 사전 합의 된 수준의 "브론즈/실버/골드".
분해 테스트: 정기적 인 "화재 훈련", 게임 일, 혼돈 실험 (지연/오류 추가).
외부 종속성의 쿼터: 한계, 오류 예산, 백오프 전략.
Runbook '및: 예제와 함께 짧은 단계별 명령 및 명령/구성.

10) 안전 및 준수

실패: 성능이 저하 될 때-위반의 위험이있는 작업을 차단하고 "retrai를 향상시키지" 않습니다.
PII 및 재무 데이터: 수동 라운드-엄격한 감사, 최소 권한, 토큰 화.
추적: IC/운영자 동작에 대한 전체 로그, 플래그/구성 요소 변경, 타임 라인 내보내기.

11) 반 패턴

"우리는 그것이 명확 해질 때까지 기다립니다" -황금 시간 격리의 상실.
"트위스트 레트라이 승리" -눈덩이와 중독의 폭풍.
세분화가없는 글로벌 기능 플래그-도시의 전기가 아닌 촛불을 끄십시오.
티켓의 성장, 신뢰의 상실-" 두려워하지 않는 "침묵.
감사없이 단편적인 수동 절차-규정 준수 위험.

12) 점검표

중요한 변경 사항을 해제하기

• 카나리아 노선 + 기능 플래그.
• SLO 가드 레일 및 경고 p95/오류%.
• 종속 서비스에 대한 부하가 시뮬레이션됩니다.
• 커뮤니케이션 계획 및 소유자.

사고 중

• IC 및 통신 채널이 정의됩니다.
• 격리 (격리/플래그/라우트) 가 적용되었습니다.
• 관리 열화가 가능합니다.
• 상태 페이지가 업데이트되었으며 지원이 알려졌습니다.

사건 후

• 사후 범인을 찾지 않고 5 일 (근무일 기준).
• 소유자와 마감일이있는 액션 게임.
• 반복성 테스트: 스크립트는 재생산되고 경고/테스트로 덮여 있습니다.
• 업데이트 된 플레이 북 및 교육.

13) 미니 아티팩트 (템플릿)

• 일어난 일 → 충격 → 근본 원인 → 효과/작동하지 않은 것 → 장기 수정 → 행동 항목 (소유자/마감일).

14) 결론

사고의 결과를 줄이는 것은 빠르고 가역적 인 솔루션의 분야입니다. 현지화, 제어 가능 저하, 부하 재분배, 투명하게 통신 및 개선 통합. 오늘 1 분의 "전술적 안정성" 을 획득하고 내일 전략적 안정성으로 전환하십시오.