聯合負載分配
1)為什麼「聯合」分配
在多服務/多站點網絡中,資源(節點,音序器,馬褲,DA,POP/edge,GPU/CPU,egress通道)屬於不同的主題。聯合負載分配(RNC)使需求在通用的質量,成本和風險規則下進行合作處理:- 在爆發和局部故障時穩定SLO;
- 降低加工單位成本(成本服務);
- 提高角色的公平性和可預測性;
- 最大限度地減少「嘈雜的鄰居」和域之間的仲裁。
2)對象和角色
功率提供商:驗證器/節點,測序器,DA池,GPU/CPU集群,POP/edge。
消費者:服務運營商,創作者/工作室,附屬機構/聚合商,分析師/ML。
協調員:平衡器,路由器,政策/合規門,獎勵和計費。
監督:auditory/regulyatory,治理委員會。
3)載荷分類法(QoS類)
Q4是截止日命令:關鍵順序/最終順序(馬褲,付款,風險)。
Q3是有序線程:按鍵的因果關系(用戶/會議/asset)。
Q2是有效的:計費/snapshots/轉移權利。
Q1/Q0-質量/最佳效果:遙測,索引,離線分析。
每個班級都固定SLO/SLA,後退窗口,飛行限制,優先級。
4)RNC政策: 我們優化什麼
根據具有剛性不變性(順序,合規性,配額)的功利函數,決定將工作放置在特定的提供商/路線上:
Utility(route provider) =
wL·Latency_p95 + wQ·QueueDepth + wC·Cost_per_unit
+ wF·FinalityLag + wR·RiskScore + wA·AvailabilityPenalty
+ wG·Geo/PolicyPenalty
權重配置文件對於QoS是不同的:
- Q4 ↑wL, ↑wF, ↑wR;Q1 ↑wC, ↓wF.
不變量:按鍵的嚴格順序(Q3/Q4),冪等,RNFT/合成極限。
5)聯合分布算法
帶有Hot-Shard Relief的Consistent Hashing per key(臨時熱鍵子部分)。
Percentile-aware routing: p95/p99解決方案而不是p50解決方案,以免隱藏尾巴。
Capacity-aware quotas:按令牌罐類QoS/提供商/區域。
EDF/LLF для Q4: Earliest Deadline First / Least Laxity First.
Probing&Half-open:快速采樣「恢復」繁殖路線。
Backpressure: Shapers, max-in-flight, policy降解(graceful)。
Dual-write/Replay barriers (Q3/Q2):用於提供商之間的安全傳輸。
6)正義與反「無聲鄰居」
公平分享是通過以下方式實現的:- Jain Fairness Index по CPU/GPU/IO/egress;目標走廊由配額支撐;
- 在共享隊列上進行加權公平測驗(WFQ/DRR);
- 成本和體積的預算限制;
- 過度繁忙的目的地(dynamic wC)沖浪津貼;
- 系統性尾巴/錯誤罰款。
7)經濟和激勵措施
計費單位:vCPU秒,GiB-小時RAM,GPU分鐘,GB存儲月份,GB-egress,DA字節。
提供商付款模式:基本費率×質量×數量-罰款:[
P_i = \sum_t \underbrace{\text{Rate}i \cdot U{i,t}}{\text{объем}}
\cdot\underbrace {QF {i, t} {\text{質量}}
-\underbrace {Penalty {i, t}} {\text {SLA/事件}}
]
其中(QF)是SLO(成功率,p95, DLQ=0, finality lag)的乘數。
質量獎勵:具有穩定SLO的域獲得↓take個或↑obyem流量。
保險基金/保險金:支付賠償金;由RNFT的S承諾管理。
8) RNFT合同和權利
RNFT(關系NFT):提供商/運營商參與RNC的合同:- `role_bindings` (Provider/Operator/Oracle/Sequencer), `shares/fees`, `QoS-классы`;
- `quotas/limits`, `S-stake`, `slashing_rules`, `SLA/KPI`;
- 「region/compliance」(白名單),「egress/DA」天花板;
- `dispute/escrow`, `governance_version`, `sunset`.
9)順序,相等性,最終性
所選路線上的按鍵嚴格命令;failover-「暫停」+重置屏障。
Outbox/Inbox+idempotency_key和seen表(TTL)。
X鏈結局:考慮挑戰窗口;關鍵操作通過最小的「FinalityLag」進行。
10)合規與地理規則
失敗封閉:有疑問的是鎖定,手動法定人數。
ZK跳過:年齡檢查/地理/制裁而未披露PDn。
稅收/留置權:通過Rewards Router付款。
數據導出策略:按地區劃分的DA/egress,保留時間。
11)可觀測性和遙測
Дашборды: Shared Load Live, Tail Heatmap, Provider Quality, Cost-per-Route, Fairness Panel.
端到端跟蹤:「x_msg_id」、「route_id」、「provider_id」 、橋接階段/DA。
度量(per QoS/提供商):p50/p95/p99,retry%,timeout%,duplicate ratio,out-of-order%,queue depth,finality lag, cost/req。
Alerts: error-budget burn, flap-rate, DLQ depth, surge價格,合規單位。
12)事件和退化
1.細節:p95/p99生長,隊列,最終錯誤,合並錯誤。
2.隔離:旅行巡回賽,股權再分配,將配額降低到嘈雜的溪流。
3.賠償:根據RNFT規則從代管/保險基金支付的款項。
4.後太平間:RCA,權重/限制/風險簽名更新,rehearsal。
13)公式和地標
SuccessRate = 1 − (timeouts+errors)/requests
TailAmplification=p99/p50(目標: ↓,per QoS走廊)
FairnessIndex (Jain)=(Σ x) ²/(n· Σ x ²)按配額/資源分列
Cost/Req=Σ(資源×費率)/成功_查詢
Headroom = (cap − current)/cap
提供商的QualityFactor: (QF=f (\text {success}、p95、DLQ、finality))
Utility_min при `Order=true ∧ Compliance=true ∧ Quotas=true`
SLO地標(示例):- Q4: success ≥ 99.99%、p95 ≤ 200毫秒、DLQ=0、MTTR ≤ 15分鐘。
- 問題3:違反第≤ 10⁻⁶/soobshch,第95 ≤ 500毫秒。
- DA:Throughput ≤ X GB/h的× 3 ≥ T_block的最終值。
14) 治理(重量、配額、價格)
Proposals:權重(w),限制,票價和質量獎金的變化。
R修飾符:質量定額中的聲音根據R的聲譽加權。
日落編輯:臨時更改→自動回滾而無需重新投票。
公共報告:關於供應商質量和公平性的季度報告。
15)花花公子實施
1.繪制線程和因果關系鍵(通過QoS/區域/補丁)。
2.定義提供商及其RNFT框架(配額,抵押品S,KPI)。
3.遙測和采樣(OWD/RTT/jitter/queue/cost/finality;EWMA+p95/p99).
4.公用事業政策(每個QoS權重,成本預算,沖浪走廊)。
5.交付保證(outbox/inbox、等效性、序數障礙)。
6.Backpressure和fairness(WFQ/DRR,令牌罐,反噪音)。
7.可觀察性(dashbords,alerta,error預算)。
8.混亂/遊戲日(提供商/橋梁/DA的下降,爆發,地理塊)。
9.經濟學和Reward(QF獎金,罰款/搶購,代管)。
10. 治理和報告(泊車、日落、公共指標)。
11.縮放(新供應商/區域、路由優化)。
16) RNC計劃的KPI
交付:success (per QoS), DLQ=0 (Q4/Q3), duplicate/out-of-order ↓。
延遲:目標走廊中的p95/p99和TailAmplification。
正義:Jain ≥目標,減少「無聲鄰居」事件。
經濟:Cost/Req ↓不變SLO,「廉價」路線份額上升。
彈性:MTTR中位數≤目標,穩定的翻轉率。
合規性:100%通過geo/age/制裁,零違規行為。
提供商:↑ QF高的提供商的數量份額,罰款的頻率↓。
17)準備就緒支票清單
- 定義了QoS類、因果關系密鑰和SLO/SLA
- 配置公用事業策略、配額和per route/provider令牌罐
- 實現了Q4的consistent hashing、hot shard relief、EDF/LLF
- 包括outbox/inbox、冪和序數障礙
- 遙測和行車記錄儀連接(latency/tail/queue/cost/finality)
- 在backpressure and fairness (WFQ/DRR, anti-noise)的工作中)
- 定制QF獎金/罰款、托管和S-lashing
- 已通過chaos/game-days並設計了後面模特
- Compliance Gate和稅收保留正在運作
- 權重/限值/價格(與日落)的Utverzhden治理過程)
18)詞匯表
RNC:聯合負載分配(協作負載分配)。
RNFT:不可互換的關系/權利/限制合同和KPI。
QF(質量因素):按供應商質量計算的付款/數量乘數。
尾巴放大:p99/p50-「尾巴」力。
WFQ/DRR:加權公平計劃者家族。
Outbox/Inbox:保證送貨和等效性的模式。
沖壓推銷:過載時的動態溢價。
19)結果
共享負載分配將網絡轉變為協作處理池,其中政策(QoS,公平性,合規性)和經濟(QF獎金,罰款,抵押品)將流量引導到快速,誠實和廉價處理的地方-不損失訂單和最終價值。這樣的回路提供了可預測的SLO,對供應商的透明激勵以及對高峰,故障和價格沖擊的抵抗力。