面试题:为什么大模型会"一本正经地胡说八道"?怎么缓解?
题目
面试题:为什么大模型会"一本正经地胡说八道"?怎么缓解?
参考答案
点击展开参考答案
- 根本原因:大模型是概率生成模型,优化目标是"生成像人话的文本",不是"生成正确的文本";在不知道答案时,它仍然会根据语言模式编一个看起来合理的回答。
-
- (a) 训练数据中没有这个知识——模型"不知道自己不知道"。
-
- (b) 训练数据中有错误信息——模型学了错误的知识。
-
- (c) 概率生成导致组合错误——每个词都合理,组合起来不对。
- 缓解方法(分层):
-
- (a) 数据层:更高质量的训练数据。
- 追问:为什么模型不知道自己不知道?(答:因为模型没有"元认知"能力——它不知道自己知道什么、不知道什么;它只是根据概率生成最合理的下一个 token)