产品手册大约四十本、每本大约二十页且几乎冻结,提示缓存命中率很高。此时该整本填进窗口还是仍走检索?若每天出一版,结论怎么变?
题目
产品手册大约四十本、每本大约二十页且几乎冻结,提示缓存命中率很高。此时该整本填进窗口还是仍走检索?若每天出一版,结论怎么变?
参考答案
点击展开参考答案
- 当前产品相关的手册能稳定放进窗口并留出回复余量、内容几乎不变、前缀缓存能摊掉 prefill 时,直填(整本或少数几本)更简单,也更利于跨章节对照。
- 一旦变成每日一版,缓存天天失效,旧页还必须立刻消失,这时检索加版本过滤更合适。
- 需要按用户裁掉无权限章节、或必须引用到具体段落时,同样更该检索。
- 先做容量粗算,而不是看“长窗口”标称值。
- 例如每页大约 500–800 token,20 页 × 40 本就是大约 40 万到 64 万 token,很多模型仍然装不下全部 40 本,只能先按产品路由再直填 1–3 本。