技術和基礎架構→ Latency和API響應優化
Latency和API響應優化
1）什麼是「latency」，為什麼很重要
Latency-總請求延遲：網絡（DNS+TCP+TLS+RTT），平衡器/網關，應用程序，DB/緩存/隊列，外部集成。對於企業來說，關鍵的P95/P99而不是平均值：是UX，CR和SLO的「尾巴」。
基本的SLI：- 「SLI_latency_P95=P95（響應時間）」在5/30分鐘內
- 「SLI_latency_P99=P99（響應時間）」
- 「SLI_queue_time=P95（時間__version_worker）」
- 「SLI_ext_call_P95=P95（潛伏期_外部_提供商）」
2）延誤源圖（以及挖掘地點）
1.網絡和協議：DNS，TCP手動，TLS，線頭操作（HTTP/1。1），數據包丟失，BBR/ECN。
2.網關/平衡器：緩慢的健康檢查，不有效的taymout，熱的pods。
3.應用：鎖定,GC/stop-the-world,同步I/O, contention。
4.存儲：DB請求緩慢,沒有索引,冷頁。
5.外部服務：PSP/KYC，第三方API（狹窄SLA）。
6.隊列和背景喬巴： 過載的竊賊,沒有後壓.
7.緩存/邊緣：緩存失誤,TTL弱,無效殘疾。
3）網絡和協議
3.1 DNS/TCP/TLS
DNS prefetch/preconnect在正面，長壽命的IP到PSP。
Keep-Alive/connection pooling客戶端；在服務器上-聚合連接。
TLS：恢復/會話門票，現代密碼套件；避免0-RTT不安全的偶發手術。
TCP：禁用聊天/小數據包的Nagle（「TCP_NODELAY」）；tune'initial window",在適當時啟用BBR。
3.2 HTTP/2 и HTTP/3
HTTP/2：多路復用減少了HTTP/1的HOL鎖定。1;關註線程的優先級。
HTTP/3/QUIC：損失/RTT影響較低；在移動/國際網絡上很有用。
頭條新聞：HPACK/QPACK，但保持合理的標題大小。
3.3平衡/漫遊
Locality-aware（分區），EWMA/least-request與「熱」實例。
僅在有狀態的情況下才設置會議；否則stateless+共享緩存/會話。
4）格式、有效載荷、壓縮
壓縮：Brotli（文本），Gzip為後衛；二進制格式：用於gRPC/內部 API的Protobuf/Avro。
減少付費：選擇性字段（「fields=」）,分割,條件GET （ETag/If-None-Match）, delta響應。
GraphQL：persisted queries，禁止「油膩」片段，深度和復雜性限制。
避免N+1：joins/預組合，聚合物的對接端。
5）Taymauts，Retrai，相等性
鏈上的時間：客戶端<網關<appa<存儲/外部調用。
帶有backoff+jitter的retrai，僅用於時間錯誤；將budgets放在retrai上。
等效性：查詢密鑰/令牌+保存結果；retrai不應重復業務（特別是財務）。
電路斷路器：降級時打開；hedged/backup requests for「尾巴」（通過P95發送副本）。
6）隊列、異步和後壓
不要阻塞同步路徑：重型操作（KYC掃描、報告）-在背景中。
Backpressure：限制隊列中的消耗,捕捉並行性。
Batching/coalescing：將小型操作（例如,資產負債表更新與聚合）結合起來。
Outbox/Inbox：在發生故障時保證事件交付。
7）附錄： rantime和遊泳池
DB/緩存/STTR連接池；限制他們不要「扼殺」後端。
JVM：分析GC （G1/ZGC）,避免重大變異；.NET-ThreadPool/async；Node.js-不要阻塞活動環路,發出CPU重。
Python：異步驅動程序（asyncpg/httpx）, uvloop；通過工作池進行CPU任務。
Warm-up：加熱JIT/緩存, 「warm pools」實例到高峰。
8）數據庫和緩存
指數和計劃：常規「EXPLAIN」，自動真空/分析，掃描限制。
連接池（PgBouncer/Multiplexing），短期事務。
緩存策略：讀取，寫入/寫入；TTL+事件障礙。
Sharding/Replects：從Slave讀取,「熱鍵」-本地緩存（近緩存）。
9）緩存和邊緣
靜態/目錄的CDN/edge，「Cache-Control」，「ETag」上的API響應緩存（如果安全的話）。
Stale-wile-revalidate和stale-if-error用於UX穩定性。
Geo分布：最近的ROR/區域降低 RTT。
10）建築模式與P99尾巴
Hedged requests：在閾值後將慢速請求復制到其他實例。
請求集合：對DB的一個「領先」請求，其余的等待結果（避免暴風雨）。
Prioritization： VIP/關鍵操作-專用池/優先級。
Graceful degradation：過載時切斷次要字段/小部件。
11）Configa（大約）
11.1 NGINX（定時器/壓縮器）
nginx proxy_connect_timeout 1s;
proxy_send_timeout 2s;
proxy_read_timeout 2s;
send_timeout 2s;
gzip on;
gzip_types application/json text/plain text/css application/javascript;11.2 Envoy (hedge + retry budget)
yaml
RetryPolicy:
retry_on: 5xx,reset,connect-failure num_retries: 2 per_try_timeout: 300ms retry_back_off: { base_interval: 50ms, max_interval: 200ms }
retry_priority:
name: envoy. retry_priorities. previous_priorities
HedgePolicy:
hedge_on_per_try_timeout: true initial_requests: 1 additional_request_chance: 0. 211.3 gRPC（客戶端）
json
{
"methodConfig": [{
"name": [{"service": "payments. Service"}],
"timeout": "0. 8s",
"retryPolicy": {
"maxAttempts": 3,
"initialBackoff": "0. 05s",
"maxBackoff": "0. 2s",
"backoffMultiplier": 2. 0,
"retryableStatusCodes": ["UNAVAILABLE","DEADLINE_EXCEEDED"]
}
}]
}12）觀察力： 正確測量
RED/USE度量+OTel： 「trace_id」通過網關服務-DB外部API。
單獨的標簽是：「api_version」，「region」，「partner」，「endpoint」。
Dashbords： P50/P95/P99, queue time, error mix, retry rate, cache hit.
來自目標國家/ASN（TR/BR/EU）和關鍵途徑（reg→depozit，payout）的合成。
SLO示例：- Core API：「P95 ≤ 50 ms」，「P99 ≤ 500 ms」（30天）
- PSP webhook處理：「P99 ≤ 60s」 with retration
- Freshness目錄：「P95 Lag ≤ 30s」
13) FinOps и latency
毫秒值得錢：在CR/ARPPU中評分$/ms獎金。
Right-sizing：更快≠更昂貴；識字緩存/格式便宜且加速。
Egress/edge： CDN降低了來自該地區的出站流量的RTT和成本。
14）優化支票（逐步）
1.將SLO和尾部測量（P95/P99）到尾部/區域/合作夥伴。
2.包括HTTP/2/3、TLS恢復、長壽命連接。
3.吞噬並減肥答案：Brotli/Gzip，點播字段，分區，ETag。
4.定制taymauts/retrai/breakers；增加等效性。
5.緩存/邊緣：命中率和正確的TTL；stale模式。
6.DB：索引，計劃，池，復制品；消除N+1。
7.異步重：隊列、戰鬥、後壓。
8.Hedge/collapse/priority用於關鍵路徑。
9.Warm-up和謂詞滑向peek（錦標賽/比賽）。
10.P99和queue時間上的合成和Alerta；定期的胡椒噴霧。
15）反模式
一個全局的「全部」定時和不受控制的撤退（DDOS本身）。
不需要→熱腳趾即可進行會議。
大型JSON無壓縮和場過濾器。
在「熱路」中同步調用慢速外部API。
DB中沒有索引/限制；ORM中的N+1。
沒有緩存/邊緣和ETag；持續的完整答案。
將業務和技術錯誤組合成一個「回避」籃子。
16） iGaming/fintech上下文： 實用音符
Reg→depozit（CR）：路線優先級，單獨池，「P99 ≤ 500 ms」；退化-關閉UI的「裝飾品」。
PSP集成：concarrency限制，時間碼retrai，warm連接，區域egress-IP。
VIP操作：保證池/優先級,繞過共享隊列。
比賽/活動：謂語滑冰，緩存，預賽。
報告：async和SLA為新鮮的，不阻止程序路徑。
底線
Latency優化是一門平衡學科：網絡（HTTP/2/3，TLS），協議和緩存，具有等效性的計時器/中繼器，DB/緩存，異步模式和可觀察P95/P99。通過專註於尾巴並消除「狹窄的喉嚨」，您可以穩定響應，改善轉換並降低毫秒的成本-這確實會影響業務。