사고 시뮬레이션

1) 시뮬레이션을 수행하는 이유

• 낮은 MTTD/MTTA/MTTR, 리베이트 및 파이 오버에 대한 신뢰 증가;
• 프로세스 격차 (에스컬레이션, 커뮤니케이션) 및 아키텍처 약점을 식별합니다.
• RCA → CAPA에 대한 입력 역할을하고 문서를 개선합니다 (런북/SOP).
• SLA/규제/감사 요구 사항에 대한 준비 상태를 확인하십시오.

2) 시뮬레이션 형식

테이블 탑 (테이블 탑) -보드/채팅의 대화 스크립트: 저렴하고 빠르며 역할 및 커뮤니케이션 연습에 적합합니다.
게임 데이 (제한이있는 무대/판매 연습) - 플레이 북을위한 실용적인 단계; 판매-명확한 게이트가있는 안전하고 가역적 인 조치 만 가능합니다.
카오스 엔지니어링-안정성 및 SLO 게이트를 확인하기위한 제어 된 장애 (종속성/네트워크/노드 분리).
DR 연습 (재해 복구) -AZ/지역 고장, 백업 복구, 전환 제공 업체.
Comms-drill-순수 통신: 상태 페이지, 메시지 템플릿, PR/Legal.

3) 역할과 책임

사건 사령관 (IC) -결정을 내리고 계획을 이끌고 에스컬레이션을 해제합니다.
Tech Lead (TL) - 진단, 기술적 인 "주사" 및 가설.
Comms Lead (CL) -내부/외부 업데이트, 상태 페이지.
스크라이브 - 프로토콜 (타임 라인, 작업, 결정, 아티팩트).
관찰자/평가자-기록 지표 및 절차 준수.
레드 팀 (선택 사항) -예기치 않은 "주사" 를 소개합니다.

4) 시뮬레이션 성공 지표

합성 입사에 의한 MTTD/MTTA/MTTR.
Comm SLA: 적시성과 업데이트 품질.
SLO- 가드 레일: 연소 속도에 대한 정확한 반응, 외부 샘플의 정족수.
런북 충실도: 문서 당 완료된 단계의%, 즉흥 연주 없음.
에스컬레이션 대기 시간-원하는 역할/공급자를 연결하는 속도.

점검표 합격률: "준비/허용/폐쇄" 준수

소음 및 피로: 추가 경고, 통화 중 과부하.
CAPA 완료: 시뮬레이션 후 완료된 동작의 백분율.

5) 준비: 시작하기 전에 필요한 것

목적과 가설: 우리가 확인하는 것 (프로세스, 건축, 사람).
시나리오 및 "주사": 타이밍이있는 증상/사건의 순서.
보안 제한: 돌이킬 수없는 변경 금지; 실행 취소.
데이터 및 스탠드: 합성 트래픽, 저하 기능 플래그, 보안 키.
문서: 런북/SOP, 에스컬레이션, 공급자의 연락처 목록에 대한 링크.
관찰 가능성: 미리 표시된 대시 보드/알림, 테스트 카나리아.
물류: 시간/지속 시간, 참가자, 전쟁 실 채널, 녹음.

6) 시뮬레이션 실행: 단계

1. 간단한 (5-10 분): IC는 목표, 역할, 안전 규칙, 완료 기준과 유사합니다.
2. T0-증상의 주사: 경고, 비즈니스 SLI 하락, 공급자의 외부 상태.
3. 심사 및 에스컬레이션: SEV 할당, 동결 릴리스, 필요한 역할 연결.
4. 진단: 가설, DNA/SL/CNC/DB/캐시/버스 확인, 주석 해제.
5. 완화 조치: otkat/kanareyka ng, 분해 플래그, 공급자 장애, 제한/레트라.
6. 커뮤니케이션: 정기적 인 업데이트 (형식: Impakt → Diagnostika → Deystviya → Sled. 업데이트).
7. 복구 및 검증: 녹색 영역 N 간격의 외부 합성 + SLI.
8. Debrief (AAR): 15-30 분-사실, 결론, CAPA.

7) 예 시나리오 (카탈로그)

지불 성공률 하락: 공급자 A는 한 국가에서 분해됩니다. 예상 작업-트래픽 재분배, 단순화 된 UX, 통신 가능.
DNA 오류: 쓰기/TTL 오류, 일부 사용자는 도메인을 해결하지 못합니다. 예상 단계-수정/폴백, CDN을 지우고 상태를 업데이트합니다.
만료 된 SL 인증서: 오래된 고객을위한 악수 중단; 비상 확장 및 체인 점검 보류 중입니다.
카프카 지연: KYC/AML 이벤트의 지연 증가; 기대-소비자 규모, 생산자 제한.
데이터베이스 p99 RAM 및 성장 5xx: 좁은 지수, 연결 제한; 기대-플래그, 한계, 핫픽스/롤백 기능.
지역 장애: AZ/PoP 종료; 대기-GSLB/Anycast 스위칭, 데이터 검증 및 SLO.
커뮤니케이션 드릴: 모든 것이 "녹색" 이지만 법률/PR과의 패턴, 간격 및 조정을 확인합니다.

8) 템플릿 "주입" (카드)

ID: INJ-2025-11-01-01
Purpose: Verification of failover payments and comms SLA
Trigger T0: 30% reduction in transaction success in the TR region (alert SLI + burn rate)
Signals: 5xx growth in payment API, external status PSP-A = partial outage
Expected actions: reduction of the share on PSP-A to 30%, inclusion of degrade-payments-UX, status update 15 min
Success criteria: success of payments ≥ 98% in 30 minutes, two green SLI intervals
NOTAM (security): prohibition of direct database edits; flags/routing only

9) 안전 및 준수

생산 시뮬레이션-가역적 만: 기능 플래그, 작은 부분의 트래픽 전환, 읽기에 대한 설명, "그림자 트래픽".
액세스 제어/감사: ChatOps/파이프 라인을 통한 모든 조치; 수정 불가능한 스토리지의 로그.
PII/비밀-인공물 훈련에 사용되지 않음; 개인화되지 않은 데이터.
규제: 시뮬레이션이 클라이언트 커뮤니케이션에 영향을 미치는 경우 - 개인 채널에서 "교 공개 게시물은 모방되지 않습니다.

10) 평가 및 AAR → RCA → CAPA

AAR (After Action Review) - 운동 직후: 예상/보기, 효과/보지 않은 것.
RCA-RCA 템플릿에 따라 심각한 실패 (예: 에스컬레이션이 작동하지 않음) 가 발생했습니다.
CAPA-소유자/마감일/효과 지표 (플레이 북, 경고, 아키텍처 변경) 가있는 작업 목록.
체크 포인트-D + 14/D + 30: 실행 검증, 취약한 지점에서 반복 된 미니 드릴.

11) 문서 및 인공물

시뮬레이션 계획: 목표, 시나리오, 주사, 참가자, 창, 성공 기준.
타임 라인 (UTC): T0... Tn, IC 솔루션, 기술 단계, 업데이트.
대시 보드/로그 사진, 경고 추출물 및 상태.

요약 보고서-측정 항목, Playbook Discrepancies, CAPA

문서 업데이트: 런북/SOP/연락처 편집, 새 대시 보드 링크.

12) 빈도 및 적용 범위

테이블 탑: 한 달에 2-4 회 (주요 스트림 및 역할 별).
무대에서 게임 일: 한 달에 1-2 회.
혼돈 사례 (prod-light): 분기 별, 엄격하게 게이트.
DR 운동: 실제 전환으로 1 년에 1-2 회.
Comms-dril: 매달 템플릿 및 SLA 업데이트를 교육합니다.

13) 점검표

시뮬레이션 전에

• 시나리오, "주사", 성공 기준, 안전 창.
• 역할, 채널, 템플릿의 상태는 일관됩니다.
• 스탠드/플래그/대시 보드의 가용성이 확인되었습니다.
• 철회 및 가역성 계획이 문서화되어 있습니다.
• SLO/고객에 대한 위험 및 영향 평가.

동안

• SEV 할당, 동결 해제 (필요한 경우).
• 일정에 따라 통신하면 형식이 일관됩니다.
• 감사 도구를 통한 모든 조치.
• Scribe는 프로토콜을 유지하고 아티팩트를 수집합니다.
• 안전: 금지/제한이 존중됩니다.

후

• AAR이 게시되고 보고서가 저장되었습니다.
• RCA (실패의 경우) 가 시작됩니다.
• CAPA는 소유자/마감일과 함께 발행됩니다.
• 업데이트 된 런북/SOP/연락처.
• 취약점을 다시 테스트 할 계획입니다.

14) 반 패턴

"계획 대신 개선" -성공을위한 스크립트와 기준이 없습니다.
게이트 및 취소 계획이없는 위험-연습은 사고로 바뀝니다.
통신 및 에스컬레이션없이 장비 만 운동하십시오.
AAR/RCA 부족-팀은 배우지 않습니다.
관찰 가능성이없고 SLO- 가드 레일이없는 혼돈.

Opaque 권리: 비밀 매뉴얼 편집

15) 미니 템플릿

게임 데이 의제 (60-90 분)

1. 간단한 (5 분) → 목표, 역할, 보안.
2. 시나리오 T0 (5 분) → 증상의 표현.
3. 심사/에스컬레이션 (10 분).
4. 진단 + 행동 (30-45 분) - 1-2 "주사".
5. 회복 및 검증 (10 분).
6. AAR (15 분) -결론, CAPA.

AAR 템플릿 (짧은)

What was expected:
What happened:
What worked:
What didn't work:
Solutions and why:
Actions (CAPA) with deadlines:
Responsible persons:
Retest Date:

16) 결론

인시던트 시뮬레이션은 사람, 프로세스 및 아키텍처를위한 "시뮬레이터" 입니다. 규칙적이고 안전하며 측정 가능한 운동은 위기를 일상으로 바꿉니다. 팀은 더 빨리 반응하고, 플레이 북은 실제로 작동하며, 아키텍처는 더 안정적이며, 규제 기관과 고객은 운영 기능의 성숙도를 봅니다. 가장 중요한 것은 명확한 목표, 안전한 문, 좋은 지표 및 필수 AAR → RCA → CAPA입니다.