운영중인 팀의 상호 작용
1) 왜
iGaming 플랫폼은 수십 개의 도메인 (결제, 게임/코어, 위험/KYC, 데이터, Infra/SRE, 지원, 준수) 입니다. 공식화 된 상호 운용성이 없으면 MTTR, CFR 및 운영 위험이 증가합니다. 목표는 서로 다른 기능을 예측 가능한 접점, 투명 대기열, 공통 신호 및 일관된 우선 순위와 같은 단일 운영 체제로 전환하는 것입니다.
2) 원칙
1. SLO 우선: 공동 솔루션은 SLO/오류 예산과 관련이 있습니다.
2. 하나의 진실의 원천: 일반적인 대시 보드, 균일 한 상태 및 유물.
3. 명확한 경계 및 인터페이스: 각 명령 쌍에는 설명 된 계약 (OLA/Runbook/API) 이 있습니다.
4. 작은 배치와 가역성: phicheflags/canary, 빠른 롤백을 통해 변경됩니다.
5. 비난 없음-예 데이터: 사실 분석, 개선-주기의 필수 부분.
6. 최소 요구 권한 및 SoD: 민감한 작업을위한 역할 분리.
7. 일상을 자동화하고 나머지는 표준화하십시오.
3) 역할 및 RACI (엔드 투 엔드)
Ops/SRE Lead 책임자는 KPI/KRI 운영 프레임 워크의 소유자입니다. A
서비스 소유자 (결제/게임/KYC/데이터) - 도메인 목표, 변경, 위험. A/R
플랫폼/인프라-접근성, 성능, 릴리스/카나리아. R
위험/준수/보안-SoD, RG/KYC/PII, 감사. C/A
지원/CRM-불만 앞에서, 플레이어와의 커뮤니케이션. R/C
통화 중 IC/CL-사고 관리 및 외부 업데이트. R
릴리스 관리자-일정, CAB, 변경 상태. R
데이터/분석-제품 및 운영 지표, RCA 지원. R/C
4) 상호 작용 계약 (OLA/SLx)
OLA (운영 수준 계약) - 팀 간의 내부 계약 (외부 SLA 아님). 포함:- 책임 영역: 해당 영역 (예: PSP 라우팅 - 지불; 캐시/DB - Infra).
- 목표/임계 값 지표: 사건 MTTA, 에스컬레이션 응답 시간, 모니터링 후 창.
- 대기열 및 우선 순위: P1-P4, 비즈니스 중요, 동결 창.
- 인터페이스: 채널, 봇 명령, API/런북, 소유자 디렉토리.
- 아티팩트: 이벤트와 함께 제공하려면 문서/로그/대시 보드가 필요합니다.
5) 통신 채널 및 프로토콜
운영 채팅 (시프트): 일일 업데이트, 미니 의식, 핸드 오버.
사고를위한 Var 방: 봇에 의해 만들어졌습니다. IC/CL 역할은 명령에 의해 지정됩니다.
CAB/Change 채널: 변경, 위험, 릴리스 일정에 대한 토론.
읽기 전용 SLO/Incident/Planned Activity 요약
에스컬레이션: 명령 템플릿 '/페이지 ', '/에스컬레이션', SLA 보고.
통합 메시지 프로토콜: "사실 → 영향 → ETA/ETR → 다음 업데이트 창 → 소유자".
6) 교대와 지역 간 양도
템플릿 10-15 분:1. SLO/SLI: 예산 소진의 위험은 어디에 있습니까?
2. 공개 사건/에스컬레이션 및 ETA.
3. 다음 24-48 시간 내에 계획된 작업/릴리스.
4. 제공자 (PSP/KYC/스튜디오): 활성 티켓, 기대.
5. 통화 중 구성 및 연락처 (IC/CL/도메인).
6. "감시 목록" -주의력이 높은 영역 (대기열/복제/캐시).
핸드 오버는 시프트 로그, 링크-var-room 및 대시 보드에 기록됩니다.
7) 사건 협력
시작: 경고 → 봇은 카드 '# inc-YYYY-MM-DD-XXX' 를 생성하고 IC/CL 및 도메인 리드를 할당합니다.
하나의 투표 규칙: IC가 최종 결정입니다. CL - 통신.
사실과 가설: 우리는 분리된다; "빨간색" 신호-우선 순위.
Guardrails: phicheflags/PSP 라우팅은 SoD/듀얼 컨트롤이있는 런북을 통해서만 변경됩니다.
커뮤니케이션: CL, 파트너를 통한 공개 업데이트 초안-대상.
폐쇄: 소유자/마감일이있는 사후 모니터링, 사후 생성 및 개선 작업.
8) 변경 사항에 대한 협업
릴리스 캘린더: 공개, 동결 기간 및 통화 중 슬롯.
품질 게이트: 단위/계약/e2e, 보안, SLO 게이트 준비.
카나리아 롤링: GEO/테넌트/뱅크의 경우 5 단계 → 25% → 100%.
자동 롤백: 주요 SLI/KRI, WORM 잡지의 정책.
Comm 패키지: CL/Legal과 사전에 합의 된 초안 업데이트.
RACI 변경: RM (A/R), SO (A/R), SRE (R), Sec/Compliance (C/A), CAB (A), IC/CL (R/C).
9) 통합 원격 측정 및 인공물
일반적인 메트릭 디렉토리: SLI/SLO, 비즈니스 메트릭, KRI (대기열, PSP, 복제).
대시 보드 "운영 맵": 도메인, 지역, 사건/작업 상태 별 요약.
타임 라인: 균일 한 형식 (시간, 저자, 동작, 결과, 링크).
사후 사후: 요금이없는 템플릿, 예방 조치, 개정 날짜.
런북/점검표: verioned; 경고 및 사건 카드에서 링크.
10) 우선 순위 및 계획
주간 작전 계획 (30-45 분): 최고 위험, 방출, 한계, 사후 개선 조정.
Kanban 작업: 'Backog → Ready → In Progress → Validate → Done' 열, WIP 한계.
우선 순위 기준: SLO/수익/준수, 규모/가역성, 공급자에 대한 의존성에 미치는 영향.
11) 에스컬레이션 매트릭스 (스퀴즈)
12) 정책 및 SoD
SoD/4 눈: 결론/보너스/PSP 라우팅/PII 수출-이중 승인 만 가능합니다.
JIT 권리: 런북 조치에 대한 권한이 일시적으로 확대됩니다.
데이터 정책: 오픈 채널/대시 보드에서의 PII 금지; 지리 경계.
감사-불변의 활동 기록 (WORM), 정책 개정.
13) 상호 작용 도구
사건 봇: '/사건 새로운 ', 역할, 업데이트 타이머, comm draft, '/runbook', '/flag ', '/구성'.
메트릭 API: 일반적인 SLO보기 및 KRI, RCA의 예제 (trace _ id).
릴리스 포털: 표현, 게이트, 롤링/롤백 상태.
소유자 디렉토리/CMDB: 도메인, 연락처, 백업 채널.
14) 협업 메트릭 (KPI/KRI)
도메인 및 슬롯 (주야간) 별 MTTA/MTTR, 불만 제기 전에 발생한 사건의 비율.
핸드 오버 품질: 전송 결함 (체크리스트 항목은 제 시간에 닫히지 않음).
협업 변경: 기성품 Comm 패키지가 포함 된 릴리스의% 및 롤백이 없습니다.
Guardrail Discipline: SoD/정책 위반 빈도 (대상 0).
Comms Cadence: P1/P2 일 때 공개 업데이트 간격을 준수합니다.
사후 SLA: 사후 부검의 비율, D + 5, 행동 완료.
공정 공유 부하: 사람/팀별 야간/피크 분포.
고객 신호 리드: 객관적인 저하와 첫 번째 불만 사이의 걸림.
15) 구현 로드맵 (6-10 주)
네드. 1-2: 도메인/소유자 인벤토리; OLA 템플릿; 교체 채널 및 핸드 오버 체크리스트 시작; 염기 에스컬레이션 매트릭스.
네드. 3-4: 사건 봇 (MVP), 공유 상태 채널, 단일 SLO/SLI/KRI 카드; 런북 디렉토리.
네드. 5-6: CAB/릴리스 캘린더, comm 패키지 및 동결 창; 민감한 작업을위한 SoD/4 눈.
네드. 7-8: 표준으로 카나리아 롤링 및 자동 롤백; 사후 템플릿, Exec/Ops-dashboards 협업.
네드. 9-10: P1 연습, 지역 간 핸드 오버, WORM 감사, KPI/KRI 보고서, OLA 조정.
16) 템플릿 (조각)
16. 1 OLA (Payments Infra/SRE)
yaml ola:
scope: "Payments-Auth & Routing"
contacts:
payments_so: "@pay-so"
infra_oncall: "@sre-oncall"
objectives:
mtta_p1: "≤5m"
rollback_ttr: "≤10m canary"
interfaces:
runbooks: ["psp-failover", "reroute", "auth-throttle"]
dashboards: ["auth_success", "psp_latency", "queue_lag"]
escalation:
p1: ["IC","Payments Lead","SRE L2"]
p2: ["Payments OnCall","SRE OnCall"]
artifacts:
status_templates: ["public","partners"]
postmortem_due: "D+5"16. 핸드 오버 체크리스트 2 개 (10 개 항목)
1. SLO 도메인 상태
2. 공개 사건 (ETA/소유자)
3. 계획된 활동/릴리스 + 관찰 창
4. 제공자 (PSP/KYC/Studios) -위험/기대
5. 대기열/복제/캐시-지연/이상
6. 제한/Phicheflag 변경
7. 불만/티켓 및로드 임계 값
8. 콤마 계획 및 상태 초안
9. 통화 중 구성 및 예약
10. 슬롯 당 "감시 목록"
17) 안티 패턴
"누구든지 거래할까요?" RACI와 소유자없이.
IC/CL이없는 사건 및 업데이트 타이머.
숨겨진 변경 사항 (수동 클릭), Git/Audit 없음.
비공식 원격 측정: 팀마다 숫자가 다릅니다.
comm 팩 및 카나리아없이 릴리스합니다.
SoD 위반 "속도를 위해".
기록과 체크리스트없이 구두로 양도합니다.
행동과 마감일이없는 사후 사후.
합계
운영 팀의 상호 작용은 OLA/SLx, 명확한 채널 및 역할, 핸드 오버 규율, 일반 원격 측정, 조정 된 릴리스 및 사건 프로세스와 같은 계약 협업입니다. 이러한 프레임 워크는 MTTR 및 CFR을 줄이고 우선 순위를 조정하며 SLO, 수익 및 준수를 보호하며 일상 업무를 예측 가능하고 지속 가능하게 만듭니다.