跳到主要内容

一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?

Agent 性能优化中级上下文成本

题目​

一份大约八十页的合同被上传进来,任务是圈出其中所有会到期自动续签的条款。把全文一次塞满上下文,和先召回相关段落再细读,两条路在 token 开销与尾部时延上各输在哪里?线上又如何分配流量?

参考答案​