跳到主要内容

拆开费用,输出侧 token 约占 70%,输入侧前缀 cache 已能打中。给 max_tokens 设上限、单纯意图改走小模型、缩短召回块,这三招试验次序怎样排,才避免先把准确率砍掉?

Agent 工程化与运行环境中级成本

题目​

拆开费用,输出侧 token 约占 70%,输入侧前缀 cache 已能打中。给 max_tokens 设上限、单纯意图改走小模型、缩短召回块,这三招试验次序怎样排,才避免先把准确率砍掉?

参考答案​