联合负载分配
1)为什么"联合"分配
在多服务/多站点网络中,资源(节点,音序器,马裤,DA,POP/edge,GPU/CPU,egress通道)属于不同的主题。联合负载分配(RNC)使需求在通用的质量,成本和风险规则下进行合作处理:- 在爆发和局部故障时稳定SLO;
- 降低加工单位成本(成本服务);
- 提高角色的公平性和可预测性;
- 最大限度地减少"嘈杂的邻居"和域之间的仲裁。
2)对象和角色
功率提供商:验证器/节点,测序器,DA池,GPU/CPU集群,POP/edge。
消费者:服务运营商,创作者/工作室,附属机构/聚合商,分析师/ML。
协调员:平衡器,路由器,政策/合规门,奖励和计费。
监督:auditory/regulyatory,治理委员会。
3)载荷分类法(QoS类)
Q4是截止日命令:关键顺序/最终顺序(马裤,付款,风险)。
Q3是有序线程:按键的因果关系(用户/会议/asset)。
Q2是有效的:计费/snapshots/转移权利。
Q1/Q0-质量/最佳效果:遥测,索引,离线分析。
每个班级都固定SLO/SLA,后退窗口,飞行限制,优先级。
4)RNC政策: 我们优化什么
根据具有刚性不变性(顺序,合规性,配额)的功利函数,决定将工作放置在特定的提供商/路线上:
Utility(route provider) =
wL·Latency_p95 + wQ·QueueDepth + wC·Cost_per_unit
+ wF·FinalityLag + wR·RiskScore + wA·AvailabilityPenalty
+ wG·Geo/PolicyPenalty
权重配置文件对于QoS是不同的:
- Q4 ↑wL, ↑wF, ↑wR;Q1 ↑wC, ↓wF.
不变量:按键的严格顺序(Q3/Q4),幂等,RNFT/合成极限。
5)联合分布算法
带有Hot-Shard Relief的Consistent Hashing per key(临时热键子部分)。
Percentile-aware routing: p95/p99解决方桉而不是p50解决方桉,以免隐藏尾巴。
Capacity-aware quotas:按令牌罐类QoS/提供商/区域。
EDF/LLF для Q4: Earliest Deadline First / Least Laxity First.
Probing&Half-open:快速采样"恢复"繁殖路线。
Backpressure: Shapers, max-in-flight, policy降解(graceful)。
Dual-write/Replay barriers (Q3/Q2):用于提供商之间的安全传输。
6)正义与反"无声邻居"
公平分享是通过以下方式实现的:- Jain Fairness Index по CPU/GPU/IO/egress;目标走廊由配额支撑;
- 在共享队列上进行加权公平测验(WFQ/DRR);
- 成本和体积的预算限制;
- 过度繁忙的目的地(dynamic wC)冲浪津贴;
- 系统性尾巴/错误罚款。
7)经济和激励措施
计费单位:vCPU秒,GiB-小时RAM,GPU分钟,GB存储月份,GB-egress,DA字节。
提供商付款模式:基本费率×质量×数量-罚款:[
P_i = \sum_t \underbrace{\text{Rate}i \cdot U{i,t}}{\text{объем}}
\cdot\underbrace {QF {i, t} {\text{质量}}
-\underbrace {Penalty {i, t}} {\text {SLA/事件}}
]
其中(QF)是SLO(成功率,p95, DLQ=0, finality lag)的乘数。
质量奖励:具有稳定SLO的域获得↓take个或↑obyem流量。
保险基金/保险金:支付赔偿金;由RNFT的S承诺管理。
8) RNFT合同和权利
RNFT(关系NFT):提供商/运营商参与RNC的合同:- `role_bindings` (Provider/Operator/Oracle/Sequencer), `shares/fees`, `QoS-классы`;
- `quotas/limits`, `S-stake`, `slashing_rules`, `SLA/KPI`;
- "region/compliance"(白名单),"egress/DA"天花板;
- `dispute/escrow`, `governance_version`, `sunset`.
9)顺序,相等性,最终性
所选路线上的按键严格命令;failover-"暂停"+重置屏障。
Outbox/Inbox+idempotency_key和seen表(TTL)。
X链结局:考虑挑战窗口;关键操作通过最小的"FinalityLag"进行。
10)合规与地理规则
失败封闭:有疑问的是锁定,手动法定人数。
ZK跳过:年龄检查/地理/制裁而未披露PDn。
税收/留置权:通过Rewards Router付款。
数据导出策略:按地区划分的DA/egress,保留时间。
11)可观测性和遥测
Дашборды: Shared Load Live, Tail Heatmap, Provider Quality, Cost-per-Route, Fairness Panel.
端到端跟踪:"x_msg_id"、"route_id"、"provider_id" 、桥接阶段/DA。
度量(per QoS/提供商):p50/p95/p99,retry%,timeout%,duplicate ratio,out-of-order%,queue depth,finality lag, cost/req。
Alerts: error-budget burn, flap-rate, DLQ depth, surge价格,合规单位。
12)事件和退化
1.细节:p95/p99生长,队列,最终错误,合并错误。
2.隔离:旅行巡回赛,股权再分配,将配额降低到嘈杂的溪流。
3.赔偿:根据RNFT规则从代管/保险基金支付的款项。
4.后太平间:RCA,权重/限制/风险签名更新,rehearsal。
13)公式和地标
SuccessRate = 1 − (timeouts+errors)/requests
TailAmplification=p99/p50(目标: ↓,per QoS走廊)
FairnessIndex (Jain)=(Σ x) ²/(n· Σ x ²)按配额/资源分列
Cost/Req=Σ(资源×费率)/成功_查询
Headroom = (cap − current)/cap
提供商的QualityFactor: (QF=f (\text {success}、p95、DLQ、finality))
Utility_min при `Order=true ∧ Compliance=true ∧ Quotas=true`
SLO地标(示例):- Q4: success ≥ 99.99%、p95 ≤ 200毫秒、DLQ=0、MTTR ≤ 15分钟。
- 问题3:违反第≤ 10⁻⁶/soobshch,第95 ≤ 500毫秒。
- DA:Throughput ≤ X GB/h的× 3 ≥ T_block的最终值。
14) 治理(重量、配额、价格)
Proposals:权重(w),限制,票价和质量奖金的变化。
R修饰符:质量定额中的声音根据R的声誉加权。
日落编辑:临时更改→自动回滚而无需重新投票。
公共报告:关于供应商质量和公平性的季度报告。
15)花花公子实施
1.绘制线程和因果关系键(通过QoS/区域/补丁)。
2.定义提供商及其RNFT框架(配额,抵押品S,KPI)。
3.遥测和采样(OWD/RTT/jitter/queue/cost/finality;EWMA+p95/p99).
4.公用事业政策(每个QoS权重,成本预算,冲浪走廊)。
5.交付保证(outbox/inbox、等效性、序数障碍)。
6.Backpressure和fairness(WFQ/DRR,令牌罐,反噪音)。
7.可观察性(dashbords,alerta,error预算)。
8.混乱/游戏日(提供商/桥梁/DA的下降,爆发,地理块)。
9.经济学和Reward(QF奖金,罚款/抢购,代管)。
10. 治理和报告(泊车、日落、公共指标)。
11.缩放(新供应商/区域、路由优化)。
16) RNC计划的KPI
交付:success (per QoS), DLQ=0 (Q4/Q3), duplicate/out-of-order ↓。
延迟:目标走廊中的p95/p99和TailAmplification。
正义:Jain ≥目标,减少"无声邻居"事件。
经济:Cost/Req ↓不变SLO,"廉价"路线份额上升。
弹性:MTTR中位数≤目标,稳定的翻转率。
合规性:100%通过geo/age/制裁,零违规行为。
提供商:↑ QF高的提供商的数量份额,罚款的频率↓。
17)准备就绪支票清单
- 定义了QoS类、因果关系密钥和SLO/SLA
- 配置公用事业策略、配额和per route/provider令牌罐
- 实现了Q4的consistent hashing、hot shard relief、EDF/LLF
- 包括outbox/inbox、幂和序数障碍
- 遥测和行车记录仪连接(latency/tail/queue/cost/finality)
- 在backpressure and fairness (WFQ/DRR, anti-noise)的工作中)
- 定制QF奖金/罚款、托管和S-lashing
- 已通过chaos/game-days并设计了后面模特
- Compliance Gate和税收保留正在运作
- 权重/限值/价格(与日落)的Utverzhden治理过程)
18)词汇表
RNC:联合负载分配(协作负载分配)。
RNFT:不可互换的关系/权利/限制合同和KPI。
QF(质量因素):按供应商质量计算的付款/数量乘数。
尾巴放大:p99/p50-"尾巴"力。
WFQ/DRR:加权公平计划者家族。
Outbox/Inbox:保证送货和等效性的模式。
冲压推销:过载时的动态溢价。
19)结果
共享负载分配将网络转变为协作处理池,其中政策(QoS,公平性,合规性)和经济(QF奖金,罚款,抵押品)将流量引导到快速,诚实和廉价处理的地方-不损失订单和最终价值。这样的回路提供了可预测的SLO,对供应商的透明激励以及对高峰,故障和价格冲击的抵抗力。