完整对话史、8 条示例、1800 token 稳定规则挤在一次请求。优先砍哪三类?怎样证明砍完质量没有垮?
题目
完整对话史、8 条示例、1800 token 稳定规则挤在一次请求。优先砍哪三类?怎样证明砍完质量没有垮?
参考答案
点击展开参考答案
- 先量后砍:把一次请求拆成规则、样例、检索、历史、输出五个桶,看哪一段既贵又重复。
- 通常先砍历史(滑窗 + 滚动摘要 + 槽位外置),再砍样例(留边界、删中心重复),再把规则里能写成 schema/代码的句子挪出提示。
- 稳定规则那段反而可能该留着——若网关能对字节级相同的前缀复用 KV,它的边际成本会从「每次全额预填充」变成「缓存命中后几乎只付增量」。
- 没测构成就先缩规则,常把唯一的任务定义砍掉。
- 预填充随提示长度变贵,注意力大致按长度二次增长;输出 token 还按步串行,长思维链会同时打满时延和输出单价。
- 例如规则 1800、样例 1200、历史 6000、本轮 200,真正「每轮都在涨」的是历史。