RAG 检索与知识组织中级成本
如何做 Token 预算?
参考答案
点击展开参考答案
- 先从模型上下文窗口中预留输出预算和安全余量,再为不同区域分配预算:系统策略、工具 Schema、当前用户请求、近期对话、任务状态、检索证据、历史摘要。
- 可以表达为:
可用输入 = 上下文上限 - 最大输出 - 安全余量 预算不是简单按字符截断。
- 优先级通常是:安全/业务指令 > 当前请求 > 必要状态与工具契约 > 高相关证据 > 近期历史 > 低相关历史。
- 记录每区 Token 使用和被裁剪原因,便于调优。