운영 및 → 운영 책임 문화

운영 책임 문화

1) 왜 필요한가

기술은 도구를 제공하지만 사람과 그 행동은 신뢰성을 창출합니다. 운영 책임 문화는 플랫폼을 예측하고 재난 복구를 가속화하며 "소음" 을 줄이며 사건을 개선하기 위해 연료로 전환합니다.

• "신뢰성이 무엇인지" 와 누가 책임이 있는지에 대한 통일 된 이해.
• 운영에서 투명한 역할, 책임 및 승인.
• 오류 및 빠른 조정을 논의하기위한 안전한 환경.
• SLO의 리듬 개선, 반응 시간 및 작동 비용.

2) 원칙 (문화의 핵심)

1. 당신은 그것을 구축합니다-당신은 그것을 실행 팀은 코드에서 통화 중 도메인의 품질을 소유합니다.
2. SLO 우선. 결정은 SLO 및 오류 예산에 대한 영향을 통해 평가됩니다.
3. 검은 색과 사실. 고발이없는 사후 사후, 사실, 데이터 및 행동.
4. 작고 뒤집을 수 있습니다. 작은 변화, phicheflags, 카나리아, 빠른 롤백.
5. 말할 안전. 누구나 두려움없이 "붉은 깃발" 을 올릴 수 있습니다.
6. 의견에 대한 증거. 데이터와 아티팩트는 의견과 상태보다 중요합니다.
7. 지속적으로 배우십시오. 사건 → 가설 → 실험 → 표준.

3) 역할 및 소유권

도메인 소유자 (Payments/Bets/Games/KYC): SLO, 통화 중, 개선 로드맵, 오류 예산.
사건 관리자 (회전): 반응 조정, 타임 라인, 통신 품질.
SRE/플랫폼: 신뢰성 도구 (관찰, 경고, phicheflags, 카나리아).
팀 리드/EM: 기대, 역량 개발, 의식 준수.
비즈니스 이해 관계자: SLO/우선 순위를 조정하고 위험/타협을 수용합니다.

4) 책임 계약으로 SLO

진실의 유일한 원천: 지표, 창, 예외의 정의.
오류 예산: 명시 적 위험 경계 → 릴리스/실험 게이트.
SLO 토론: "이 릴리스는 예산의 20% 를 태울 것입니까? ».
분기당 한 번 개정: 제품 및 비즈니스와 함께.

5) 통화 중 및 사고 준비

명확한 기대: 반응 시간, 채널, 권한 (정지 밸브 오른쪽).
훈련: 사건의 에뮬레이션, 그림자 의무, DR 연습.
아티팩트: 라이브 런북 '및 에스컬레이션 매트릭스, 템플릿 업데이트.
사람들을 돌보는 것: 교대 부하, 보상, 회전, "영웅 없음" 정책.

• 액세스 및 VPN 확인.
• 알림 채널 및 백업 연락처가 건강합니다.
• 런북은 30 일 전에 업데이트되었습니다.
• 지난 90 일 동안 DR 참여.

6) 운영 커뮤니케이션

균일 한 템플릿: 사고에 대한 짧은 업데이트, 교대 사이의 "핸드 오버" 패키지.
의사 결정의 홍보: 주요 타협은 서면으로 기록됩니다.
그래프의 주석: 릴리스, 기능 플래그, 공급자 창.
모두를위한 SLO 패널: 상태 투명성 및 오류 예산.

[HH: MM] P2 Games latency ↑ p99 to 420 ms (base + 28%). Canary rolled back.
ETA of the next update: 20 min. Owner: squad-games. Next steps: tuning the breaker, checking provider Y.

7) 무료 사후 부검

사실과 타임 라인: 어떤 데이터를 기반으로 누가, 언제, 무엇을했는지.
체계적인 원인: "범인" 이 아닌 프로세스, 도구, 인터페이스.
마감일이있는 조치: 시정 및 예방.
학습 된 교훈: 표준, 점검표, 런북 업데이트.

Impact: <metrics/revenue/users>
Timeline: <UTC+TZ>
Root cause: <system cause, not personalities>
Fix now: <3 actions + owners + ETA>
Prevent: <3 process/tool improvements>
Signals to watch: <SLO/metrics>

8) 의식과 케이던스

주간 작전 검토 (30 분): SLO, 사건, 경고, 행동 진행.
월간 신뢰성 회고: 수업, 추세, 표준 업데이트.
분기 별 신뢰성 검토: SLO/예산 개정, 로드맵 통합.
게임 데이/카오스: 계획된 실패 및 feilover 개발 시나리오.

9) 동기 부여, 성장 및 궤적

역량: 그는 전화, 사고 관리, 관찰, SLO 엔지니어링, FinOps.
경력 수준: 신뢰성 기여 기대 (이니셔티브, 사후, 멘토링).
무형 동기 부여: 인식, 개선 저자, 분기의 "신뢰성 챔피언".
자료: 통화 중 보상, SLO-KPI 달성에 대한 보너스.

10) 행동 정책 및 규범 (조각)

• SLO가 위협을 받으면 모든 통화가 릴리스/기능을 일시 중지 할 수 있습니다.
• 위험이 제거 된 후 결정이 수정되고 수정됩니다.

• phicheflags 및 카나리아에서만 주요 변경 사항.
• SLO 지표에 의한 자동 게이트; 편차 → 일시 정지/롤백.

• 모든 중요한 정보는 개인 솔루션이없는 공통 채널에 있습니다.
• P1/P2 사건의 경우 ETS (예상 상태 시간) 가 필수입니다.

11) 문화 지표 (성숙도 KPI)

SLO 적용 범위: 공식적으로 설명 된 SLO/경고가있는 중요한 경로의 비율.
사고 전 탐지 속도: 분해 단계에서 차단 된 사고의 비율.
MTTR/MTTD: 쿼터 별 역학.
실패율 변경: 출시 후 풀백/회귀.
사후 조치 SLA: 행동의 비율은 정시에 마감되었습니다.
경고 피로 색인: 통화 중/시프트 경고.
핸드 오프 품질 점수: 교대 사이의 통과 품질.
심리 안전 펄스: 짧은 정기 설문 조사 (익명).

12) 구현 점검표

• 도메인, 소유자, 통화 중 및 SLO가 정의됩니다.
• 중지 밸브, 사후 및 통신 정책이 채택되었습니다.
• SLO 패널을 올리고 주석을 해제하십시오.
• 의식 시작: 주간 Ops 검토 및 템플릿 핸드 오버.
• 사후 템플릿 및 동작 추적기가 개발되었습니다.
• 첫 게임 데이/DR 운동이 열렸습니다.
• 문화 KPI를 설정하고 매월 검토하십시오.

13) 반 패턴

영웅의 컬트: 시스템 수정 대신 마지막 순간에 저장하십시오.
사람들의 잘못: 원인이 아닌 "범인" 을 찾는 것.
숨겨진 솔루션: 개인 채팅, "구두 계약".
큰 야간 릴리스: 깃발이나 카나리아 없음.
조치가없는 메트릭: 보고서가 있고 솔루션이 없습니다.
혼란스러운 핸드 오버: 수용에 대한 템플릿과 확인이 없습니다.

14) 도구 및 아티팩트 (최소)

소유자가있는 SLO/경고 디렉토리.

런북 저장소 (도메인별로 매월 업데이트)

템플릿: 사후, 핸드 오버, 사고 업데이트, 저하 계획.
자세히 설명: SLO 개요, 사건, 안전 변경, 제공 업체.
활동 추적기: SLA 및 소유자가있는 단일 백 로그.

15) HR 회로에 포함

온 보딩: SLO, 통화 중, 사후 모템 교육.
성과 평가: 신뢰성과 문화에 대한 기여는 성과 검토의 일부입니다.
멘토링: 그림자 의무, 페어 사건 관리.
펄스 조사: 분기 별 안전/번 아웃 평가.

16) 30/60/90-시작 계획

• 도메인 소유자 및 통화 중, 최소한 SLO (p95, 성공률) 로 수정하십시오.
• 정지 밸브 및 사후 정책을 채택하고 템플릿을 승인하십시오.
• 매주 Ops 검토 및 핸드 오버 의식을 시작하십시오.

• 2 일간의 게임 데이/DR 연습을 수행하고 SLO 및 변경 안전 패널을 올립니다.
• 1-2 중요 서비스에서 SLO를 통해 카나리아 및 자동 게이트를 구축하십시오.
• 문화 지표 실행 (MTTR, Action SLA, Pulse survery).

• 트렌드 분석, SLO/예산 업데이트, 개선 사항을 로드맵에 통합합니다.
• "신뢰성 챔피언" 과 멘토링 프로그램을 소개합니다.
• 회고 적 결과에 따라 의식과 정책을 조정하십시오.

17) 템플릿 (조각)

scope: P1/P2 and repeated P3 timeline: ≤72 hours format: impact, timeline, root cause, actions (now/prevent), owners/due dates review: monthly on Reliability Review blameless: specifying personalities only as a fact of time stamp

SLO summary     Incidents and ETAs    Providers and quotas    Releases/Canaries    Risks/observations     Action items

- Ficheflags/canary set up
- SLO alerts and annotations included
- Rollback plan and "safe mode" defined
- Provider windows considered
- Responsible on-call confirmed

18) FAQ

Q: 기술뿐만 아니라 "문화" 를 어떻게 측정합니까?
A: 펄스 폴링 (심리적 안전), 행동 SLA 사후 모템, 공공 결정의 공유, HQS 핸드 오버를 입력하십시오.

Q: "영웅주의" 에 대해 어떻게해야합니까?
A: 감사합니다. 그러나 영웅주의가 필요하지 않도록 체계적인 변화를 기록하십시오. 성능면에서 "위업" 뿐만 아니라 예방 및 개선을 고려하십시오.

Q: 비즈니스에 문화의 가치를 어떻게 설득합니까?
A: 연결 표시: MTTR/변경 실패율 → 더 높은 변환/수익, 더 적은 벌금 및 심야 페이지, 예측 가능한 릴리스.