退还的额度如何投放,才不会让等在门口的长摘要再次饿死短问答?流已经解码约 200 token 时租户每分钟美元桶见顶:未耗尽的输出预留,你是中止并退回,还是把当前请求跑完?
题目
退还的额度如何投放,才不会让等在门口的长摘要再次饿死短问答?流已经解码约 200 token 时租户每分钟美元桶见顶:未耗尽的输出预留,你是中止并退回,还是把当前请求跑完?
参考答案
点击展开参考答案
- 已经开口的请求优先写完,但只允许在「剩余预留不大」时写完:例如已产出 200、
max_tokens还剩一小截,就耗完预留,不要中途撕掉用户屏幕上的半段。 - 若剩余预留仍按上限(示意:还挂着 1.5k–2k 输出)且金额桶已硬顶,则切断、
finish_reason=budget,并只退回未写出的那一段预留。 - 退回绝不能灌进一个无差别的分钟池:短问答走低水位即可准入,长摘要必须等金额回到高水位,或进独立的加权公平队列,避免切断瞬间十几条长摘要同时通过准入。
- 调用前已经按「实测输入 +
max_tokens」做了悲观预扣,所以桶打满通常不是这 200 个 token 本身,而是许多路在飞的长预留把分钟额度锁死。 - 示意:输出按当时合同约 $15 / 1M token,200 token 只值几美分的零头,真正占坑的是每路还挂着的数千预留。