Tool Retrieval(工具检索)为什么需要?什么时候需要?
题目
Tool Retrieval(工具检索)为什么需要?什么时候需要?
参考答案
点击展开参考答案
- 为什么需要:当可用工具数量很多(几十上百个)时,全部塞进 prompt 会占用大量 token,而且模型注意力分散、选错工具。
- Tool Retrieval 思路:先把所有工具的描述做 embedding 存起来;用户提问时先检索 Top-K 最相关的工具,只把这 K 个工具塞进 prompt。
- 适用场景:工具数量 > 20~30 个;工具描述很长;不同场景下可用工具集不同。
- 类似 RAG:工具库就是"知识库",用户 query 就是检索输入,检索后拿到相关工具描述。
- 追问:工具检索会不会漏?(答:会,检索不到正确工具模型就用不了;所以要在召回率和 prompt 长度之间做 trade-off;一般 Top-5~10 够用)