Agent 性能优化客户端取消后,怎样证明引擎停调度并且该请求的 KV 已交还?本页总览客户端取消后,怎样证明引擎停调度并且该请求的 KV 已交还?Agent 性能优化中级性能优化 题目 客户端取消后,怎样证明引擎停调度并且该请求的 KV 已交还? 参考答案 点击展开参考答案 把客户端取消传到网关和推理引擎,停止调度并释放该请求的 KV 等资源;记录取消到释放的延迟,验证断连与超时路径。 取消不会自动撤销已经发生的外部工具副作用,共享缓存也不一定立即驱逐。