上下文召回仍然高、端到端准确率持平,忠实度却在跌。应当先排查检索,还是先排查生成?
题目
上下文召回仍然高、端到端准确率持平,忠实度却在跌。应当先排查检索,还是先排查生成?
参考答案
点击展开参考答案
- Context recall 高说明答题所需要点大体已进入提示;faithfulness 下跌说明答案里出现了当前上下文撑不住的断言。
- 应先冻结检索,检查提示约束、噪声块和输出校验。
- 只有 context precision 同时塌掉、或黄金文档根本不在 top-k 时,才回头改召回。
- context recall:标注里回答问题所必需的要点,有多少出现在本次检索上下文中。
- context precision:检索到的块里有多少真正有用,以及有用块是否排在前面。