拆开费用,输出侧 token 约占 70%,输入侧前缀 cache 已能打中。给 max_tokens 设上限、单纯意图改走小模型、缩短召回块,这三招试验次序怎样排,才避免先把准确率砍掉?
题目
拆开费用,输出侧 token 约占 70%,输入侧前缀 cache 已能打中。给 max_tokens 设上限、单纯意图改走小模型、缩短召回块,这三招试验次序怎样排,才避免先把准确率砍掉?
参考答案
点击展开参考答案
- 输出已经占七成时,先动生成长度,再动路由,最后才动检索块。
max_tokens和停止符对准真实需要的字段长度,往往立刻砍掉空话和重复结尾,且不改变已写出的内容分布。- 简单意图(分类、抽槽、模板填空)再切到小模型或固定模板,用离线集卡住格式和关键槽位。
- 压缩检索主要减的是输入和 TTFT,对这条账单是次要杠杆,而且误删证据会直接伤忠实度,应放在长度和路由都有质量门禁之后。
- 先冻结一张拆账:输入未命中 / 输入缓存命中 / 输出 / 额外跳数 / embedding。
- 输出主导说明模型在写长:缺停止符、让它「尽量详细」、或把推理痕迹留给用户。