相关性若只标各系统前二十的并集,哪些文档永远进不了标注池?若后续还要上 reranker,发版该盯 recall@100,抑或盯 nDCG@10?在 400 条查询上领先 1.5 个点,怎样证明并非随机波动?
题目
相关性若只标各系统前二十的并集,哪些文档永远进不了标注池?若后续还要上 reranker,发版该盯 recall@100,抑或盯 nDCG@10?在 400 条查询上领先 1.5 个点,怎样证明并非随机波动?
参考答案
点击展开参考答案
- 只标各路 top-20 的并集,会系统性漏掉「谁都没召回、但人看其实相关」的文档;新模型若专门挖出这些漏网,它们常被当成未标注负例,nDCG 会被低估。
- 后面还要接 reranker 时,初检门禁应对齐重排窗口,用 recall@100(或你们实际的 50/80)看金标进没进窗,而不是用初检的 nDCG@10——那是在考还没上场的排序。
- 四百条上 1.5 个点先做配对检验或 bootstrap 区间,区间盖住 0 就不够当发版证据。
- 标注是在造度量的支撑集,不是在给模型打广告分。
- 池化偏差:把系统 A/B/C 的 top-k 取并集再人工打 0/1/2,省标注,但并集之外的相关文档永远进不了 qrels。