실시간 모니터링

(섹션: 운영 및 관리)

1) 실시간 모니터링 이유

실시간은 "밀리 초 마법" 이 아니라 편차를 감지하고 SLO 창 내에서 작동하는 기능입니다. iGaming/fintech의 경우 다음을 의미합니다

중요 경로의 가용성 및 지연 (p50/p95/p99) 의 즉각적인 가시성;

이벤트 무결성 제어 (웹 후크, 결제, RTP/제한)

재무 보안 (1k 이벤트의 출구/비용, 청산/에스크로);

규정 준수 (영수증, PII 위생).

2) 건축 개요

1. 생산자: 서비스, SDK, 엣지 노드, 지불/컨텐츠 제공 업체.

2. 게이트웨이 섭취: 역압 및 할당량이있는 '메트릭/트레이스/로그/이벤트' 수신기.

3. 버스/스트리밍: 참여가 가능한 브로커 (테넌트/지역/경로), 재생 유지.

4. 스트림 처리: 창 집계 (T + 5s/T + 1m), dedup, 시간 정규화, SLI 계산.

5. 스토리 지: 시계열 (RAM), OLAP (히스토리), WORM 로그 (감사).

6. 분석 및 경고: SLO 규칙, 통계 검출기, 변칙적.

7. 대시 보드 및 룬: 동작을위한 UI (일시 정지/재 경로/롤백/상승 제한).

• 메트릭/이벤트 (체계, 버전, 검증) 에 대한 데이터 계약.
• 도메인 이벤트의 게시 보장을위한 전송/CDC.
• 'trace _ id/event _ id' 에 의한 이데올로기 및 dedup.
• 시계 동기화: NTP/PTP, '스큐 보정', 시간 폭포 (이벤트 vs 처리 시간).

3) 원격 측정 유형 및 의미론

메트릭 (SLI): p- 백분위 수 카운터/게이지/히스토그램.
흔적: 엔드-투-엔드 'trace _ id/span _ id', 번들 RPC sobytiya ² vebkhuki.
로그: '테넌트 _ id/지역/버전' 으로 구성되어 있습니다.
비즈니스 이벤트: 'PaymentAuthorized', 'WebhookDelivered', 'RTPWindowClosed'.
영수증: 영수증/서명 (금융/중요 운영 용).

4) 시간과 창

시간 종류: 이벤트 시간, 섭취 시간, 처리 시간.
Windows: 슬라이딩 (5-30 초), 토글 (1-5 분), 늦은 이벤트의 수분 보유 (워터 마크).
계약: 스트림 (히스토그램 스케치) 으로 집계 → 필요한 백분위 수 쓰레기통 만 저장합니다.

5) 정규화 및 데이터 품질

입력 검증: 체계/범위/필수 필드; 거부-이유 레이블로 검역되었습니다.
중복 제거: '(이벤트 _ id, 프로듀서, seq)'; + KV 메모리에 "보기 캐시" 를 저장합니다.
메트릭 수정: "이중 카운트" 및 "플랫 라인" 에 대한 (센서는 자동).
샘플링: 높은 QPS-적응 형, 오류; 중요한 SLI-전체.

6) SLI/SLO (참조)

노스 스타: 지역별 목표 p95의 E2E 성공률.

• 채널 당/지역별 가용성.
• 주요 경로를 따라 p50/p95/p99 대기 시간.
• 오류율/재생률.
• Webhook 배송 성공률 (영수증으로 확인 된%).
• 가격/세금 일관성 ('따옴표 = = 체크 아웃', λ1 마이너 단위).
• 비용 -SLI: 1k 이벤트 비용, 단위당 출구/침입.

• 가용성은 99 이상입니다. 28 일 동안 95%.
• p95: 쇼케이스
• 웹 후크는 99 이상으로 성공했습니다. 5 %/5 분 창.
• 따옴표 체크 아웃 = 0 (λ1 마이너 단위).
• P1 방향 10 분, MTTR 방향 60 분에 대한 반응.

7) 경고 및 룬 (자동 작업)

레벨: P1 (SLO 실패/절망), P2 (분해), P3 (추세/위험).
소음 제거: 인과 사슬의 상관 관계 인 'trace _ id' 에 의한 디드 업.

• "PriceMismatch" → 디렉토리 새로 고침, 조정 'fx _ version/tax _ rule _ version', 보상 정책;
• WebhookLag → 작업자를 재정렬하여 배치를 늘리고 대기열을 우선시합니다.
• "RTP Drift →" 프로모션을 일시 중지하고 급여/버전을 확인하고 프로필을 롤백하십시오.
• "Egress Surge" → 압축/캐시 피닝/대체 경로를 활성화합니다.
• 에스컬레이션: 행렬 24 × 7, 통화 중 회전, 채널 (채팅/통화/SMS).

8) 대시 보드 (작동 위젯)

플랫폼 상태: 가용성, p95/p99, 오류율, 번 다운 오류 예산.
통합/웹 후크: 성공, 지연, 복식/dedempotence, 영수증.
체크 아웃/가격: vitrina SL 체크 아웃 불일치, FX/세금 버전, 거부 사례.
RTP/한계: 이론. vs RTP, 한계 작동, 노출을 관찰했습니다.
FinOps: 1k 당 비용, 출구/침입, 예산/캡 경고.
보안/준수: SoD, JIT, MFA, PII 요청, 크레타 서명. 작업.
릴리스/플래그: 기능 상태, 카나리아 지역, 사건과 연결됩니다.

9) 다중 지역 및 다중 임차인

'테넌트/지역' 별 파티션.
지역별 독립 SLO/할당량; 지역 간 경보의 제한 (지역 실패가 전 세계를 "페인트" 하지 않도록).
데이터 신뢰 영역: PII/금융-허용 된 경우에만; 일반적으로 대시 보드-집계/해시.

10) 보안, 개인 정보 보호, 가능성

인증을 받으십시오: 키/뮤추얼 TLS, 속도 제한, 패킷 서명.
PII 최소화: 프리미티브, 마스크/해시 식별자 대신 토큰.
영수증: 재무/중요 이벤트에 대한 DSSE/서명.
WORM 로그: 감사를위한 불변의 로그, Merkle 슬라이스.
액세스 제어: RBAC/ABAC/ReBAC, 민감한 패널 용 JIT.

11) 변칙적이고 상관 관계

가드 레일: SLI에 의한 정적 임계 값.
통계: 트렌드에 대한 Shewhart/CUSUM/EWMA.
ML/신호: 계절/채널/ASN/제공자; 릴리스/ficheflags의 영향.
상관 관계: 릴리스, 설정 변경, 트래픽 급증, 프로모션과 관련된 사건 준수.

12) 성능 및 비용

원격 측정 예산: QPS/볼륨 당 한도; "수다스러운" 지표 거부.
압축/집계: 다운 샘플링 이력 (1 ~ 10 → 1 분), 저장 백분위 수 스케치.
탈출 제어: 로컬 캐시/골재, 엣지 프리 프로세싱.
비용 인식 경고 :/1k 이벤트 또는 탈출 비용이 계획을 넘어서는 경우 신호.

13) API 통합 및 계약

'POST/ingest/metrics' (JSON/OTLP): 인증, 할당량, 스키마/버전.
'POST/ingest/이벤트' (서명): dedup/TTL/nonce.
'GET/kpis? 필터 = 지역, 테넌트, 경로 '-UI에 대한 집계.
'GET/trace/{ trace _ id}' -체인을 풀어줍니다.
차이점: 'IncidentRaised', 'QuotaCapReached', 'PriceMismatch', 'WebhookLag', 'RTPDrift'.

14) 사건 플레이 북 (짧은 형식)

P1 Dostupnost 겠습니다: 라우팅 전환, 회로 차단기 활성화, 고객 타임 아웃 감소, 비상 상태 게시물.
P1 인용문 체크 아웃: 동결 프로모션/가격 역학, 캐시 힘 장애, FX/세금 버전 비교, 보상.
P1 WebhookLag: 근로자/경쟁력 향상, 배치 크기, 중요하지 않은 웹 후크 비활성화.
P2 RTP 드리프트: 보너스 일시 정지, 급여/버전 검증, 모니터링 창 확장, 보고서.
P2 Egress Surge: 압축, 에지 캐시, 트래픽의 일부 이동, 임시 할당량.

15) 모니터링 자체의 품질 지표

UI/API 가용성은 99 이상입니다. 9%.

신선도: 작동 패널에 대한 업데이트 로그

완전성: 99 이상. 소스의 5% 가 데이터를 창으로 보냈습니다.
정확성: 참조 표준 1%.

MTTA/MTTR 경보 파이프 라인: P1 λ1/10 분

16) 구현 점검표

• 지역/채널별로 설정된 North Star 및 SLI/SLO를 정의하십시오.
• 모든 원격 측정 스트림에 대한 데이터 계약 및 스키마를 입력하십시오.
• 할당량, 역압 및 중복 제거로 수집 설정.
• 워터 마크가있는 버스/스트리밍 및 창 집계 배포.
• 시계열/OLAP/WORM 및 청구서 번들을 작성하십시오.
• 시작 경고 + 자동 룬, 에스컬레이션 매트릭스 24 × 7.
• SRE/Product/FinOps/Compliance/Partners 역할별로 대시 보드를 만듭니다.
• PII 최소화, 서명 및 RBAC/ABAC/ReBAC 포함.
• FinOps 메트릭 (비용/1k, 탈출, 보관) 및 마우스 가드를 입력하십시오.
• GameDay 보류: 웹 후크 지연, 가격이 동기화되지 않음, 리트레이 버스트, 지역 고장.

17) iGaming/fintech에 연결

RTP 및 제한: 관찰 된 RTP의 제어 및 분/시간 제한, "초과/미달 지불" 에 대한 경고.
지불/지불: 승인, 청산 및 영수증의 종단 간 추적; SLA PSP.
제휴: 배송 전환 (웹 후크) 및 분쟁 → 에스크로/화해.
프로모션: 트래픽 급등 → 대기열 보호 및 출구 가격; 예산에 대한 난간.

18) FAQ

실시간은 어디에서나 필수입니까?
아니요, 그렇지 않습니다. "핫" 윤곽-초/분 (사고, 지불, 웹 후크). 경제/분석-분/시간.

허위 경보를 처리하는 방법?
SLO 지향 조건, 'trace _ id' 에 의한 집계 및 분리, 릴리스와의 상관 관계, 임계 값 히스테리시스.

모든 로그를 영원히 유지해야합니까?
아니요, 그렇지 않습니다. WORM-감사/중요 스레드 전용; 나머지는 다운 샘플링/TTL입니다.

"따옴표" 가 발견 된 이유는 무엇입니까?
FX/세금 버전, 캐시 장애, 반올림. 버전, SWR 전략 및 일관성 테스트로 처리됩니다.

요약: 실시간 모니터링은 엄격한 데이터 계약, 창 계산, 정규화 된 시간, 영수증 및 SLO 경고가있는 번들 및 각 위젯의 동작 단추입니다. 올바르게함으로써 MTTR을 줄이고 예산을 통제하며 지역 및 임차인별로 생태계를 자신있게 확장합니다.