64 条候选的时延预算大约只剩 80 毫秒。三选一:交叉编码器、逐 token 的后期交互打分、大模型一次看完整张名单。你押哪条,另外两条为何排除?
题目
64 条候选的时延预算大约只剩 80 毫秒。三选一:交叉编码器、逐 token 的后期交互打分、大模型一次看完整张名单。你押哪条,另外两条为何排除?
参考答案
点击展开参考答案
- 在 80ms 处理 64 段的预算下,优先文档侧已经预计算好的后期交互打分;若有 GPU 且模型够小,批处理交叉编码器也可以挤进预算。
- 不要把 64 段整表送给大模型做列表重排:这一步要付长上下文编码和生成时间,还常有位置偏差,80ms 里几乎排不完。
- 选后期交互是因为它把昂贵编码留在索引期,在线只做查询编码和 64 次 MaxSim。
- 交叉编码器把查询和每个候选拼成一段做全自注意力,点对交互最充分,精度通常最高,但文档侧不能离线预计算,耗时大致随 k 线性增长;中等模型在 GPU 上批量跑 64 条有可能落在数十毫秒,CPU 上通常超预算。
- 后期交互的文档 token 向量已在索引里,80ms 主要花在查询编码和短名单 MaxSim,精度一般略低于同规模的好交叉编码器。