신뢰성 공학
1) SRE는 무엇이며 왜 필요한가
SRE (Site Reliability Engineering) 는 신뢰성을 측정 가능한 제품 속성으로 바꾸는 개발 및 운영 인터페이스의 분야입니다. SRE는 사용자 경험 지표 (SLI), 품질 목표 (SLO), 오류 예산, 자동화 및 관리 변경을 연결하여 복원력 손실없이 더 빠른 가치를 제공합니다.
주요 목표는 예측 가능한 UX, 빠른 릴리스, 최소 가동 중지 시간 및 통제 된 소유 비용입니다.
2) SRE 원칙
기능으로서의 신뢰성. SLO 및 비즈니스 목표에 의해 설정된 한계를 우선시합니다.
오류 예산은 변화율을 제어합니다. 예산을 태우면 안정성에 중점을 둡니다.
자동화> 수동 작업. 반복 가능한 작업은 스크립트/운영자/파이프 라인입니다.
측정 가능성. 측정 된 것 (SLI/SLO) 만 개선 할 수 있습니다.
그냥 문화. 고발이없는 사후 부검은 체계적인 원인에 중점을 둡니다.
교대 왼쪽. 품질, 안전, 테스트 및 관찰 성은 개발주기의 일부입니다.
3) 조직 및 역할
플랫폼 SRE 팀: 일반적인 도구, 정책, 파이프 라인, GitOps, 서비스 카탈로그.
임베디드 SRE: 공동 SLO 대상 인 제품 팀과 함께 작업하십시오.
통화 중: 회전, 부하 제한, 보상, 교육.
RACI: 서비스 소유자, SLO 소유자, IC 사건, Comms Lead, Scribe.
4) SLI/SLO 및 오류 예산 (제품 링크)
SLI: 가용성, 대기 시간, 비즈니스 운영의 성공, 데이터 관련성.
SLO: 창문 28-30 일 이상 예외 목표.
오류 예산 = 1-SLO. 정치인: 석방, 실험, 카나리아 및 기능은 실제 연소율에 의해 규제됩니다.
코호트 별 설계: 지역, 공급자, VIP 세그먼트-이상을 잃지 않도록 개별 SLO.
5) 기본 관찰 가능성
측정 항목: 성공/오류, 백분위 수 p50/p95/p99, 채도 (CPU/mem/IO/conn).
로그: 요청/릴리스/플래그의 상관 관계가있는 구조화 된.
추적: 지연 및 오류의 엔드 투 엔드 맵, 핫 패스.
Synthetics + RUM: 외부 샘플 및 실제 클라이언트 원격 측정.
SLO 대시 보드: 번 다운 예산, 릴리스 주석, 카나리아, 공급자.
6) 변경 및 릴리스 관리
파이프 라인 CI/CD: 결정 론적 어셈블리, 아티팩트 서명, 보안 스캔, 계약 테스트.
점진적 전략: 카나리아/청록색/그림자; 수명주기의 플래그가 있습니다.
게이트 품질: 코드 정책, SLO- 가드 레일, 열화시 자동 롤백.
GitOps: 코드, 환경 홍보, 감사로서의 구성/정책.
7) 사건 및 사후 사건
SEV/P- 레벨에 대한 선언에서 IC는 SEV-1 + 와 함께 즉시 릴리스 동결됩니다.
번 레이트 경고: 짧고 긴 창, 지역별 쿼럼 및 샘플 유형.
플레이 북: 리베이트, 분해, 공급자 장애, 제한/배상.
RCA 및 CAPA: 사실, 인과 관계, 측정 가능한 조치, 제어 지점 (D + 14/D + 30).
지식 카탈로그: 템플릿과 레슨을 재사용하십시오.
8) 신뢰성 테스트
마이크로 서비스에 대한 계약 테스트 및 소비자 중심 계약.
실제 패턴, p99 테스트/GC 일시 정지/큐 테일로 프로파일을로드하십시오.
혼돈/탄력성 사례: 종속성, 네트워크, 지연 비활성화; 게임 일 및 DR 훈련.
데이터베이스 마이그레이션: 두 버전의 확장 → 마이그레이션 → 계약, 가역성, 호환성 테스트.
9) 용량 및 비용 관리 (FinOps)
중요한 경로의 용량 단위 및 헤드 룸.
사용자 지표 및 대기열에 의한 HPA/VPA/KEDA 지연.
다중 제공 업체: 할당량, SLO/대기 시간 라우팅, 자동 페일러.
단위 경제학: $/1k 요청, $/성공적인 거래; 캐시, 로그, 탈출의 최적화.
10) 신뢰성의 일부로서의 안전
SAST/DAST/SCA, 비밀 검색, SBOM, 이미지 서명.
mTLS 및 액세스 정책 (OPA/ABAC) 최소 권한.
키/인증서 회전, 마감일 모니터링, 만료 테스트 시나리오.
보안 사건-개별 플레이 북, 법의학, 규제 기관 알림.
11) 문화와 과정
SLO 검토: 자주색 기능에 대한 주간/월별 부채 우선 순위.
훈련 및 시뮬레이션: 통화 중 훈련, 사건 리허설, 혼돈 일.
통일 표준: 생산 준비 점검, SLA 통신, 사후 형식.
경고 피로 표시기: 노이즈는 대상 임계 값을 정기적으로 조정합니다.
12) SRE 함수의 성숙도 지표
DORA 지표: 고갈 속도, 리드 타임, MTTR, 변경 실패율.
SLO 실행: 녹색 영역의 서비스 점유율, 연소율 추세.
경보 위생:% 페이지 동작, 중간 경보/시프트, 잘못된 비율.
RCA/CAPA: 제 시간에 실행, 시스템 공유 (비 개인적) 이유, 재개 율.
비용: $/SLO 포인트, $/1k 요청, 자동 스케일 효율.
13) 점검표 "생산 서비스 준비"
- SLI/SLO, SLO 소유자 및 관찰 창이 정의됩니다.
- 대시 보드와 화상 경보가 조정되고 외부 합성물이 있습니다.
- 파이프 라인: 서명/스캔, 계약/통합 테스트, 카나리아/플래그, 자동 롤백.
- DB 마이그레이션은 가역적이며로드 프로파일은 피크를 포함합니다.
- 사건 플레이 북 및 공급자 연락처; 상태 페이지.
- 용량 헤드 룸이 확인되었습니다. HPA/KEDA 및 공급자 할당량을 확인했습니다.
- 구성 및 정책-Git, 수요일 프로모션, 감사 활성화.
- 보안: 코드 외부 비밀, mSL/회전, 제어중인 TLS 타이밍.
14) 반 패턴
«99. 999% 또는 아무것도 없음 "-달성 할 수없는 목표 → 영원한 붉은 연소율.
카나리아가없는 상태로 출시되며 깃발 → 큰 폭발.
하나의 모니터링 포인트 → 잘못된 경보 및 누락.
제품의 구성 요소의 수동 변경 → 드리프트 및 감사하지 않음.
CAPA → 반복 사건이없는 사후 모템.
아키텍처를 변경할 권리가없는 "소방관" 으로서의 SRE는 부채가 닫히지 않았습니다.
15) SRE 구현 로드맵 (예: 3-6 개월)
1. 1 월: 서비스 및 중요 경로 목록; SLI/SLO 초안; 기본 대시 보드 및 연소율 경고; 통화를 시작하십시오.
2. 2 월: 카나리아/기능 플래그, 자동 리베이트; GitOps의 구성; 사건 플레이 북 카탈로그; 상태 페이지.
3. 3 개월: 확장/계약 체계에 따른 계약 테스트, 로드 프로파일, 데이터베이스 마이그레이션; 첫 게임 일.
4. 4-6 개월: 다중 제공 업체 경로, DR 연습, 비용 최적화, 만기 지표, 팀 KPI.
16) 결론
SRE는 투명한 품질 목표 (SLO), 통제 된 변화율 (오류 예산), 자동화 및 사고 규율, 탄력성 테스트 및 의식 비용과 같은 개발 운영 체제입니다. 이러한 접근 방식을 통해 릴리스가 일상화되고 신뢰성이 경쟁 우위가됩니다.