→ 대기 시간 기술 및 인프라 및 API 응답 최적화
대기 시간 및 API 응답 최적화
1) "대기 시간" 과 중요한 이유
대기 시간-전체 요청 지연: 네트워크 (DNA + 할 수 있도록 지연 시간이 길다), 밸런서/게이트웨이, 응용 프로그램, DB/캐시/대기열, 외부 통합. P95/P99는 평균이 아닌 비즈니스에 중요합니다. UX, CR 및 SLO를 파괴하는 것은 "꼬리" 입니다.
기본 SLI:- 5/30 분 안에 'SLI _ latency _ P95 = P95 (응답 _ time)'
- 'SLI _ latency _ P99 = P99 (응답 _ time)'
- 'SLI _ 큐 _ time = P95 (worker _ 큐 _ time)'
- (PHP 3 = 3.0.6, PHP 4)
2) 소스 맵 지연 (및 발굴 위치)
1. 네트워크 및 프로토콜: 디스플레이, 1), 패킷 손실, BBR/ECN.
2. 게이트웨이/밸런서: 건강 검진 속도 저하, 유효하지 않은 타임 아웃, 뜨거운 바닥.
3. 응용 프로그램: 잠금 장치, GC/세계 정지 장치, 동기 I/O, 경합.
4. 리포지토리: 느린 데이터베이스 쿼리, 색인 없음, 콜드 페이지.
5. 외부 서비스: PSP/KYC, 타사 API (좁은 SLA).
6. 대기열 및 배경 bs: 과부하 된 작업자, 역압 없음.
7. 캐시/에지: 캐시 미스, 약한 TTL, 유효하지 않은 장애.
3) 네트워크 및 프로토콜
3. 1 디스플레이/
DNS는 PSP에 대한 전면, 수명이 긴 IP에서 사전 연결/사전 연결됩니다.
클라이언트의 Keep-Alive/연결 풀링; 서버에서-집계 연결.
TLS: 최신 암호 패키지 인 재개/세션 티켓; 안전하지 않은 dempotent 작업을 위해 0-RTT를 피하십시오.
계정: 채팅/작은 패킷에 대해서는 Nagle ('할 수 없음') 을 비활성화합니다. '초기 창' 을 조정하면 적절한 경우 BBR을 사용할 수 있습니다.
3. 2 신호음/2
TP/2: 멀티플렉싱으로 TP/1 HOL 잠금 장치가 줄어 듭니다. 1; 스레드 우선 순위를 모니터링
TP/3/QUIC: 손실/RTT의 영향 감소; 모바일/국제 네트워크에 유용합니다.
헤더 압축: HPACK/QPACK이지만 합리적인 헤더 크기를 유지하십시오.
3. 3 밸런싱/라우팅
현지 인식 (구역 지정), EWMA/최소 요청 대 핫 인스턴스.
고집 세션-상태가있는 경우에만; 그렇지 않으면 무국적자 + 공유 캐시/세션
4) 형식, 페이로드, 압축
압착: Brotli (텍스트), Ggip (폴백); 바이너리 형식: gRPC/내부 API의 경우 원형/Avro.
페이로드 감소: 선택적 필드 ('field =...'), 페이지 매김, 조건부 GET (ETag/If-None-Match), 델타 응답.
GraphQL: 지속적인 쿼리, "지방" 단편 금지, 깊이 및 복잡성 제한.
N + 1 피하기: Joyns/preposition, 골재의 부치 엔드 포인트.
5) 타임 아웃, 후퇴, demmpotence
체인 타임 아웃 클라이언트 <게이트웨이 <appa <스토리지/외부 호출.
일시적인 오류에 대해서만 백오프 + 지터가있는 Retrai; 재조정에 예산을 노출시킵니다.
이데올로기: 쿼리 키/토큰 + 저장 결과; 퇴각은 운영 (특히 재정) 을 중복해서는 안됩니다.
회로 차단기: 성능이 저하 될 때 열립니다. 꼬리에 대한 헤지/백업 요청 (P95를 통해 중복 보내기).
6) 대기열, 비동기 및 역압
백그라운드에서 대형 작업 (KYC 스캔, 보고) 과 같은 동기 경로를 차단하지 마십시오.
역압: 대기열에서 소비를 제한하고 동시성을 수정하십시오.
배치/통합-소규모 트랜잭션 (예: 집계와 잔액 업데이트) 을 결합하십시오.
전송/받은 편지함: 실패시 이벤트 전달이 보장됩니다.
7) 응용 프로그램: 런타임 및 수영장
데이터베이스/캐시/HTTP에 대한 연결 풀; 백엔드를 "교살" 하지 않도록 제한하십시오.
JVM: 프로파일 GC (G1/ZGC), 큰 할당을 피하십시오; .NET -ThreadPool/async; 노드. js-이벤트 루프를 차단하지 않고 CPU가 많은 것을 제거하십시오.
파이썬: 비동기 드라이버 (asyncpg/많은 px), uvloop; 작업자 풀을 통한 CPU 작업.
워밍업: JIT/캐시 예열, "따뜻한 수영장" 인스턴스가 정점에 도달합니다.
8) 데이터베이스 및 캐시
색인 및 계획: 일반 'EXPLAIN', 자동 진공/분석, 스캔 제한.
연결 풀링 (PgBouncer/Multiplexing), 짧은 트랜잭션.
캐시 전략: 읽기, 쓰기/쓰기 뒤에; 이벤트 별 TTL + 장애.
샤딩/복제품: 노예, "핫 키" - 로컬 캐시 (캐시 근처) 에서 읽습니다.
9) 캐싱과 가장자리
정적/디렉토리의 경우 CDNA/에지, '캐시 제어', 'ETag' 에 대한 캐시 API 응답 (안전한 경우).
UX 안정성에 대한 부동산 및 부실 경우 오류.
지리 할당: 가장 가까운 RRR/지역은 RTT를 줄입니다.
10) 건축 패턴 대 P99 꼬리
헤지 요청-임계 값 이후 다른 인스턴스로 느린 요청을 중복합니다.
요청 붕괴: 데이터베이스에 대한 하나의 "선도" 요청, 나머지는 결과를 기다리고 있습니다 (폭풍 방지).
우선 순위: VIP/중요 작업-전용 풀/우선 순위.
우수한 저하: 오버로드시 사소한 필드/위젯을 트리밍하십시오.
11) 구성 (대략)
11. 1 NGINX (타임 아웃/압축)
nginx proxy_connect_timeout 1s;
proxy_send_timeout 2s;
proxy_read_timeout 2s;
send_timeout 2s;
gzip on;
gzip_types application/json text/plain text/css application/javascript;11. 2 특사 (헤지 + 재 시도 예산)
yaml
RetryPolicy:
retry_on: 5xx,reset,connect-failure num_retries: 2 per_try_timeout: 300ms retry_back_off: { base_interval: 50ms, max_interval: 200ms }
retry_priority:
name: envoy. retry_priorities. previous_priorities
HedgePolicy:
hedge_on_per_try_timeout: true initial_requests: 1 additional_request_chance: 0. 211. 3 gRPC (클라이언트)
json
{
"methodConfig": [{
"name": [{"service": "payments. Service"}],
"timeout": "0. 8s",
"retryPolicy": {
"maxAttempts": 3,
"initialBackoff": "0. 05s",
"maxBackoff": "0. 2s",
"backoffMultiplier": 2. 0,
"retryableStatusCodes": ["UNAVAILABLE","DEADLINE_EXCEEDED"]
}
}]
}12) 관찰 가능성: 올바른 측정
RED/USE 메트릭 + OTel 트레일: 게이트웨이 서비스-데이터베이스-외부 API를 통한 'trace _ id'.
개별 레이블: 'api _ version', 'region', 'partner', 'endpoint'.
대시 보드: P50/P95/P99, 대기열 시간, 오류 혼합, 재 시도 속도, 캐시 적중.
대상 국가/ASN (TR/BR/EU) 및 중요 경로 (reg → depozit, payout) 의 합성.
- 핵심 API: 'P95 λ250ms', 'P99 소 500ms' (30 일)
- PSP 웹 후크 처리: retras가있는 'P99 λ60'
- 신선도 카탈로그: 'P95 지연
13) FinOps! 대기 시간
백만 초는 돈의 가치가 있습니다: CR/ARPPU의 $/ms 상금을 추정하십시오.
올바른 크기: 항상 더 빨라집니다. 유능한 캐시/형식은 저렴하고 빠릅니다.
탈출/가장자리: CDN은 RTT 및 해당 지역의 발신 트래픽 비용을 줄입니다.
14) 최적화 체크리스트 (단계별)
1. 엔드 포인트/영역/파트너별로 SLO 및 측정 테일 (P95/P99) 을 설정하십시오.
2. 그림% 1개의 캡션을 편집했습니다.
3. 체중 감량: Brotli/Ggip, 주문형 필드, 페이지 매김, ETag.
4. 타임 아웃/퇴각/차단기 설정; demempotency를 추가하십시오.
5. 캐시/에지: 적중률 및 올바른 TTL; 오래된 모드.
6. DB: 색인, 계획, 수영장, 복제품; N + 1을 제거하십시오.
7. 무겁게 동기화: 대기열, 버칭, 역압.
8. 중요한 경로에 대한 헤지/붕괴/우선 순위.
9. 워밍업 및 예측 스케일링 (토너먼트/매치).
10. P99 및 대기열 시간에 대한 합성 및 경고; 정기적 인 퍼프 리뷰.
15) 반 패턴
"모두를위한" 하나의 글로벌 타임 아웃 및 통제되지 않은 배상 (DDOS 자체).
핫 노드를 사용할 필요없이 세션을 고수하십시오.
압축 및 필드 필터가없는 대형 JSON.
"핫 경로" 에서 외부 API를 느리게하는 동기식 호출.
데이터베이스의 인덱스/제한 부재; ORM의 N + 1.
캐시/에지 및 ETag 없음; 지속적인 완전한 응답.
하나의 "개폐식" 바구니에 비즈니스 및 기술 오류가 혼합되어 있습니다.
16) iGaming 컨텍스트/핀 테크: 실제 노트
Reg → depozit (CR): 경로 우선 순위, 개별 풀, 'P99 λ500ms'; 열화-UI "장식" 비활성화
PSP 통합: 수축 제한, 시간 코드 별 배상, 따뜻한 연결, 지역 탈출 IP.
VIP 운영: 공개 대기열을 우회하여 풀/우선 순위를 보장합니다.
토너먼트/이벤트: 예측 규모, 캐시 예열, 사전 가져 오기.
보고: 신선도에 관한 async 및 SLA는 생산 경로를 차단하지 않습니다.
합계
대기 시간 최적화는 네트워크 (TH/2/3, SL), 프로토콜 및 캐시, demempotency를 사용한 타임 아웃/리트레이, DB/캐시, 비동기 패턴 및 P95/P99 관찰 가능성의 균형 분야입니다. 꼬리에 초점을 맞추고 "좁은 목" 을 제거함으로써 응답을 안정화시키고 전환을 개선하며 밀리 초당 비용을 낮추어 비즈니스에 실제로 영향을 미칩니다.