多租户 Agent Runner 如何保证公平调度?
题目
多租户 Agent Runner 如何保证公平调度?
参考答案
点击展开参考答案
- 公平性不能按请求数计算,应按预计 Token、CPU、内存、沙箱时长和工具扇出估算任务成本。
- 调度可采用加权公平队列或 deficit round-robin,并为租户、优先级、交互式与批处理流量分别设置配额、资源池和最小服务份额。
- 每租户限制并发数与排队长度,全局队列保持有界,避免 noisy neighbor 和无限堆积。
- 任务领取使用 lease,超时后允许重分配;长任务在可恢复的安全点切片或抢占,但副作用步骤必须保证幂等。
- 供应商限流或容量不足时按优先级背压、降级或拒绝。
- 持续监控各租户等待时间分布、实际资源份额、饥饿率、拒绝率、lease 重试及单位成功任务成本,并用实际消耗修正成本预测与权重。