公开榜上排第一的是英文长上下文模型,内部制度却是中文、条款号很密、一段常常长过两千字。为何不能凭榜直接上线?用哪些业务硬约束一票否决它?
题目
公开榜上排第一的是英文长上下文模型,内部制度却是中文、条款号很密、一段常常长过两千字。为何不能凭榜直接上线?用哪些业务硬约束一票否决它?
参考答案
点击展开参考答案
- 榜单测的是别人的查询分布和语言,不是你的条款编号和内部简称。
- 先用本域「真实问句–应召回段落」小集看 recall@k、MRR、nDCG,再拿硬约束做否决:中文与术语覆盖、有效输入是否真能吃下两千字而不截断尾部条款、全量重嵌的费用与延迟、权重能否内网部署。
- 任何一条硬约束不满足就可以刷掉榜首;质量接近时选更好运维的,而不是分差第三位的那个。
- 语言/领域:用条款号、部门简称做探针,系统性排不进编号页就淘汰。
- 长度:模型最大输入小于切块策略时,长段被截尾等于丢义务条款——要么换能吃更长输入的编码器,要么先改切块;更大的输出维度不等于更能读长文。