LLM 当调度器,下面挂三个专家。必须画成确定性图的是哪些边,何种下一跳可以让模型挑?
题目
LLM 当调度器,下面挂三个专家。必须画成确定性图的是哪些边,何种下一跳可以让模型挑?
参考答案
点击展开参考答案
- 安全、补偿、配额和“失败后必须发生的交接”写成确定性图边;只有候选下一跳集合已经收窄、且选择不扩大权限时,才让调度器模型挑。
- 调度器擅长在含糊目标里选专家,不擅长当事务协调者。
- 把重试、超时、取消交给模型“决定”,会出现漏补偿和双写。
- 应写成死边的包括:鉴权失败 → 拒绝;写操作失败 → 补偿节点;预算耗尽 → 停止;专家返回唯一合法后继 → 直跳。
- 可交给模型的包括:在
{research, code, write}中按任务描述选一个;在有上界的“是否再检索一轮”上选继续或停止。