墙钟预算卡在 8 分钟附近、单稿 token 花到数美元量级,这份竞品调研还得带着引用交出去。子问题怎么摊给同时跑的 worker,搜索与抓取的配额、缓存如何顶住限流,去重来源、核对引用应挡在组稿前那一环?
题目
墙钟预算卡在 8 分钟附近、单稿 token 花到数美元量级,这份竞品调研还得带着引用交出去。子问题怎么摊给同时跑的 worker,搜索与抓取的配额、缓存如何顶住限流,去重来源、核对引用应挡在组稿前那一环?
参考答案
点击展开参考答案
- 规划者只澄清范围并产出互不重叠的子问题图,每个子问题交给一个 worker 并行跑「生成查询 → 搜索 → 抓取 → 抽出可引用片段」,主上下文只回收结构化笔记。
- 搜索和抓取走租户令牌桶加按域名的礼貌度限制,查询结果和页面快照分层缓存,避免八路同时打穿同一开放 API。
- 组稿之前设独立核验层:URL 规范化和正文哈希用来源去重,每条论断必须能在抓取快照里落到原文 span,对不上的句子不得进入组装提示。
- 数据流是:题目 → 规划者输出
{sub_q, depends_on, search_budget}→ 调度器只对无依赖边扇出。 - 并发上限按外部配额反推,而不是按 GPU 空闲:示意上若租户搜索接口约 10 QPS、每个子题要 3 次查询,同时跑超过约 3 个 worker 就要排队或合并查询;抓取再加「每域名 1–2 路、随机抖动」。