三选一上线:768 维纯英文、1024 维领域专用、384 维多语言。手头只有 200 对内部工单「问题→应命中段落」,在这份小集上怎样评测决胜?
题目
三选一上线:768 维纯英文、1024 维领域专用、384 维多语言。手头只有 200 对内部工单「问题→应命中段落」,在这份小集上怎样评测决胜?
参考答案
点击展开参考答案
- 用这 200 对做检索评测,不要用公开榜决胜。
- 把工单问题当查询、应命中段落当金标准,在同一套切块和同一套索引参数下比较 recall@10、MRR、nDCG@10,并记下平均嵌入时延和索引体积。
- 领域模型若没见过你的中文工单、英文模型碰上中文查询,都会在这份小集上直接露馅。
- 200 条不够拿来训练,但固定其他变量后够做三选一。
- 评测协议要锁死切块、k 和近似检索配置;选型阶段甚至可以用精确内积,避免 ANN 误差干扰模型比较。
- 按语言和问题类型分层看指标,不要只报一个平均数:英文模型可能在英文工单上很高,中文工单接近随机。