跳到主要内容

两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。

Agent 性能优化中级性能优化

题目​

两个字被收回,是因为投机草稿还没被目标模型核过就被送到了前端浏览器。吐出边界该改成只放出已被接受的前缀,还是先攒着再一次性刷出?缓冲又会让用户感知的 TPOT 变差多少?前提是不调草稿长度、也不关闭投机。

参考答案​