一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?
题目
一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?
参考答案
点击展开参考答案
- 80 页量级常见是数万到十万 token,整份塞进窗口会付一次昂贵的长 prefill,注意力和 KV 随长度涨,TTFT 和费用都按「整份」计,还可能超窗口。
- 先按条款切块、用关键词加向量召回「续约 / 自动延期 / 期限」相关段,再只把命中段加原文坐标送给模型精读,费用和首 token 跟召回体积走,漏召回才是主要风险。
- 生产上:单点条款抽取走检索精读;必须对照前后定义节、或用户明确要求「全文通读」的,再开长上下文通道并单独限流计费。
- 示意:中文合同 80 页按版面可能约 4 万–8 万字,视分词大约是数万到十万 token(以你的分词器实测为准)。
- 整塞:prefill 计算和 KV 显存按全长付,并发一高就挤占短请求;同一份合同连问 3 次才值得把稳定全文放进前缀缓存。