128k 的窗口接不住约 2M token 的仓库,题目还是安全审计。为什么不先切块做检索,而让模型写探查代码、按需去读文件?
题目
128k 的窗口接不住约 2M token 的仓库,题目还是安全审计。为什么不先切块做检索,而让模型写探查代码、按需去读文件?
参考答案
点击展开参考答案
- 固定分块加检索先假定你知道审计线索会落在哪些片段;“这把密钥谁在用、顺着数据流再往下追”这种多跳问题,嵌入召回很容易断链。
- 递归式用法把整仓留在环境里(文件树、只读读文件 API),主模型只拿到短指令和几个原语:列目录、读一段、再拉起子调用。
- 它按问题自己决定切哪里、对每片问什么,子结果回收后再汇总,子调用还可以继续往下切。
- 要同时躲开三件事:窗口硬上限、超长上下文中间段落被忽略、以及把整仓塞进提示的费用。
- 和普通工具调用是亲戚——都是模型选动作、环境执行——差别在于原始仓库默认不进注意力,必须“看见”一块才花钱。