工具调用的 JSON 还没写完,用户却点了停止,而客服页正在边出字边渲染。哪些增量能马上画到屏幕,哪些必须等完整一帧,取消又如何到达推理引擎?
题目
工具调用的 JSON 还没写完,用户却点了停止,而客服页正在边出字边渲染。哪些增量能马上画到屏幕,哪些必须等完整一帧,取消又如何到达推理引擎?
参考答案
点击展开参考答案
- 对用户可见的自然语言增量可以立刻上屏;工具名、参数 JSON、将要执行的副作用必须等解析出完整、通过 schema 和权限校验的一帧再处理,半截 JSON 既不上屏成「命令」也不发去执行。
- 取消从浏览器
AbortSignal进网关,再变成对推理会话的 abort,引擎停 decode 并释放 KV;应用还要丢弃未执行的半截工具调用,并给已上屏文本一个「用户中止」状态,而不是当成完整答案去存档。 - 事件流建议拆成类型:
text-delta、tool-call-start、tool-args-delta、tool-call-end、error、done。 - UI 只自动渲染
text-delta;工具区可以显示「正在填写参数」而不展示未闭合 JSON,避免半截参数被当成事实。