如何缓解大模型的幻觉(Hallucination)问题?
题目
如何缓解大模型的幻觉(Hallucination)问题?
参考答案
点击展开参考答案
- 数据层面:训练数据加入更多事实性知识,减少噪声;用 RLHF 奖励"诚实"而不是"自信"。
- RAG 外挂:检索增强生成,让模型基于检索到的真实文档回答,而不是纯靠参数记忆。
- 对齐层面:在 RLHF 中加入"不知道就说不知道"的偏好数据,训练模型承认自己不知道。
- 推理时:让模型先列引用来源再回答;Self-Consistency 多次采样取一致结果;用 NLI 模型校验生成内容是否和前提一致。
- 后处理:用另一个模型做事实核查(fact-checking),标注不确定的部分。
- 追问:为什么大模型会产生幻觉?(答:本质是概率生成模型在训练数据中没见过的事实上面,仍然会"自信地编造";模型的优化目标是"像人话",不是"说真话")
- 追问:幻觉能彻底消除吗?(答:不能完全消除,只能降低。因为语言模型本质上是在学语言分布而非世界知识图谱,必然存在外推时的编造)