模型选型与微调中级评测
多模态模型怎么做幻觉评估?
参考答案
点击展开参考答案
- 事实性幻觉:描述了图里没有的东西。
- 评估方法:(a) 人工评估(金标准);(b) 用更强的多模态模型做 judge;(c) 构造有标准答案的测试集(如"图里有几个红方块")。
- 常见幻觉类型:(a) 编细节——图里模糊的地方模型脑补;(b) 数量错——数错物体个数;(c) 属性错——颜色、大小搞错。
- 缓解:和文本模型类似——更好的训练数据、RLHF、让模型先描述再回答。
- 追问:多模态幻觉比文本幻觉更严重吗?(答:是的,因为视觉理解本身就难,模型经常"看不懂但自信地编";尤其是细粒度细节)