과도한 경고 방지
1) 문제와 목적
시스템이 관련이 없거나 실행 가능하지 않은 알림을 너무 많이 보내면 경고 피로가 발생합 결론은 페이지를 무시하고 MTTA/MTTR을 늘리고 실제 사건을 건너 뛰는 것입니다.
목표는 신호를 SLO 및 플레이 북에 연결하여 드물고 의미 있고 실행 가능하게 만드는 것입니다.
2) 신호 분류법 (채널 = 결과)
페이지 (P0/P1) -사람을 깨운다. 수동 조치가 필요하고 런북이있는 경우에만 가능합니다.
티켓 (P2) - 시간/일 단위의 비동기 작업; 깨어나지 않지만 SLA에 의해 추적됩니다.
대시 전용 (P3) - 활성 동작이없는 관찰/추세; 소음이 발생하지 않습니다.
사일런트 센트리-백그라운드의 메트릭/감사 (RCA/포스트 모템).
3) "올바른" 경고 설계
각 경고에는 다음이 있어야합
목표/가설 (우리가 보호하는 것: SLO, 보안, 돈, 규정 준수).
트리거 조건 (임계 값, 창, 소스 쿼럼).
런북/플레이 북 (짧은 단계 ID + 링크).
소유자 (팀/역할 그룹).
완료 기준 (닫을 때, 자동 해상도).
취약성 클래스 (사용자 영향/플랫폼/보안/비용).
4) SLO 지향 모니터링
SLI/SLO → 기본 신호: 가용성, 대기 시간, 비즈니스 운영 성공.
번 레이트 경고: 예를 들어 두 개의 창 (짧은 + 긴):- 짧은: 1 시간 예산의 5% → 페이지.
- 긴: 6 시간 예산의 2% → 티켓.
- 코호트: 지역/공급자/VIP 세그먼트 별 경고-허위 글로벌 경보가 적습니다.
5) 소음 감소 기술
1. 쿼럼 프로브: 2 개의 독립적 인 소스 (다른 지역/공급자) 가 문제를 확인하는 경우에만 트리거됩니다.
2. 중복 제거 - 집계 키: 서비스 + 영역 + 코드.
3. 히스테리시스/지속 시간: 스파이크를 걸러 내기 위해 "적색 영역에서 보통 N 분".
4. 요율 제한: X 경고/시간/서비스 이하; 초과하면 한 페이지 + 요약입니다.
5. 자동 스누즈/지능형 억제: 루트가 제거 될 때까지 T 창 → 티켓으로 반복되는 경고.
6. 이벤트 상관 관계: 수십 가지 증상 대신 하나의 "마스터 경고" (예: 마이크로 서비스에서 5xx를 방해하는 "DB 사용할 수 없음").
7. 유지 보수 창: 예정된 작업은 예상 신호를 자동으로 억제합니다.
8. Anomaly + guardrails: 이상-SLO 신호에 의한 확인이없는 경우 티켓으로 만 가능합니다.
6) 경로 및 우선 순위
우선 순위: P0 (페이지, 15 분 업데이트), P1 (페이지, 30 분), P2 (티켓, 4-8 h), P3 (관찰).
레이블 별 라우팅: 통화 중 서비스/env/region/tenter →
시간 에스컬레이션: 5 분 → P2 → 듀티 매니저/IC의 팩이 없습니다.
조용한 시간: 비 중요한 시간을위한 야간 시간; P2/P3에는 페이지가 허용되지 않습니다.
피로 정책: 엔지니어가> N 페이지/시프트-P2로 재분배하면 신호 오염이 확대됩니다.
7) 경고 품질: 배치
페이지 신호에 대해 거짓 긍정적 인
액션 가능성 이상 80%: 대부분의 페이지가 런북 작업으로 이어집니다.
수정 시간-경고는 7 일입니다-결함이있는 경고를 수정/제거해야합니다.
소유권 100% - 각 경고에는 정의가있는 소유자와 저장소가 있습니다.
8) 코드 수명주기로 경고
1. PR 작성 (목적 설명, 조건, 런북, 소유자, 테스트 계획).
2. 샌드 박스/섀도우: 섀도우 경고는 채팅/로그에 기록되지만 페이지는 작성하지 않습니다
3. 카나리아: 제한된 잠재 고객을 대상으로 FP/TP를 측정하십시오.
4. 제안: 속도 제한 + 관찰에 2-4 주 포함.
5. 주간 검토: 품질 지표, 편집/인출.
6. 비활성화: 신호가 더 높은 신호를 복제하거나 실행 가능하지 않은 경우.
9) 성숙도 지표 (대시 보드에 표시)
통화 중 시간당 경고 (중간/95- 백분위 수).
실행 가능한% (단계 완료) 및 오 양성 비율.
페이지 및 페이지 → 티켓 요금에 대한 MTTA/MTTR (높지 않아야 함).
톱 토커 (20% 이상의 노이즈를 생성하는 서비스/규칙).
경고를 수정하는 평균 시간.
번 레이트 범위: 두 개의 창에서 SLO 알림과 서비스의 비율.
10) 점검표 "경고 위생"
- 경고는 SLO/SLI 또는 비즈니스/보안과 관련이 있습니다.
- 런북과 소유자가 있습니다. 연락 및 전쟁 실 채널이 지정됩니다.
- 두 개의 창 (짧은/긴) 과 정족수가 구성됩니다.
- 결제, 속도 제한, 자동 해결 및 자동 스누즈가 포함됩니다.
- Windows 유지 보수 및 억제는 릴리스/마이그레이션에 지정됩니다.
- 그림자/카나리아가 통과했습니다. FP/TP 측정.
- 경고 품질 지표 보고서가 포함되어 있습니다.
11) 미니 템플릿
경보 사양 (YAML 아이디어)
yaml id: payments-slo-burn severity: P1 owner: team-payments@sre purpose: "Защитить SLO успеха платежей"
signal:
type: burn_rate sli: payment_success_ratio windows:
short: {duration: 1h, threshold: 5%}
long: {duration: 6h, threshold: 2%}
confirmations:
quorum:
- synthetic_probe: eu,us
- rum: conversion_funnel routing:
page: oncall-payments escalate_after: 5m controls:
dedup_key: "service=payments,region={{region}}"
rate_limit: "1/10m"
auto_snooze_after: "3 pages/1h"
runbook: "rb://payments/slo-burn"
maintenance:
suppress_when: [ "release:payments", "db_migration" ]표준 업데이트 텍스트 (소음을 줄이기 위해)
Импакт: падение success_ratio платежей в EU (-3.2% к SLO, 20 мин).
Диагностика: подтвержден кворумом (EU+US синтетика), RUM — рост отказов на 2 шаге.
Действия: переключили 30% трафика на PSP-B, включили degrade-UX, след. апдейт 20:30.12) 프로세스: 주간 "경고 검토"
의제 (30-45 분):1. 톱 토커 → 편집/삭제
2. 페이지 신호의 FP/TP → 임계 값/창/쿼럼을 조정합니다.
3. 다운 그레이드 신청자 (Page → Ticket) 및 그 반대도 마찬가지입니다.
4. 수정 시간-수정 상태-지연이 서비스 소유자에게 확대됩니다.
5. SLO 알림 및 런북의 존재로 적용 범위를 확인합니다.
13) 릴리스 및 운영에 대한 링크
릴리스 주석은 임시 억제를 자동으로 추가합니다.
창 변경: 릴리스 후 처음 30 분 동안-SLO 신호 만.
플레이 북에는 루트에 집중하기위한 "비 키 경보/억제" 단계가 포함되어 있습니다.
14) 안전 및 준수
보안 신호 (해킹/누출/비정상 액세스) -조용한 시간없이 별도의 채널.
모든 억제/조용한 창문의 감사 기록: 누가, 언제, 왜, 마감일입니까?
중요한 경고 (이벤트 서명) 에 대한 불변성 요구 사항.
15) 반 패턴
"모든 그래프 = 경고" → 눈사태.
임계 값 "! = 0 오류" 판매.
진실의 원천으로 하나의 프로브/하나의 영역.
런북/소유자가없는 페이지.
용어없이 영원한 "임시 억제".
"나중에 수정" 결함 경고-몇 년 동안 누적됩니다.
릴리스 노이즈와 프로덕션 사고를 혼합합니
16) 구현 로드맵 (4-6 주)
1. 인벤토리: 모든 경고를 내리고 소유자와 채널을 내려 놓습니다.
2. SLO 커널: 중요한 서비스를 위해 이중 창이있는 연소율 규칙을 도입합니다.
3. 노이즈 컨트롤: 쿼럼, 데드 업 및 속도 제한을 활성화하고 매주 검토를 시작하십시오.
4. 런북 범위: 플레이 북으로 페이지 신호의 100% 를 닫습니다.
5. 피로 정책: 페이지 제한/시프트, Quiet Hours, 로드 재분배.
6. 자동화: Alert-as-Code, Shadow/Canary, 품질 지표에 대한보고.
17) 결론
침묵은 모니터링 부족이 아니라 SLO 및 프로세스와 관련된 잘 설계된 신호입니다. 정원, 이중 창, 디덤 및 엄격한 라우팅은 경고를 희귀하고 정확하며 실행 가능하게합니다. 팀은 잠들고 사용자는 행복하며 사고는 통제됩니다.