一段听起来完全像真人坐席的答复却引用了错误政策,这是权重坏了,还是语言模型生成方式本身就会产出这种现象?
题目
一段听起来完全像真人坐席的答复却引用了错误政策,这是权重坏了,还是语言模型生成方式本身就会产出这种现象?
参考答案
点击展开参考答案
- 大语言模型把输入切成 token,经 Transformer 算出词表上的下一 token 分布,再按贪心或采样写出续写;训练目标是让续写像训练语料里的客服口吻,不是去查一张保证正确的条款表。
- 语法完美、政策错误,说明高似然的“客服腔”被采样出来了,事实约束从未进入目标函数。
- 权重损坏更常表现为 NaN、乱码或突然崩溃,而不是通顺的张冠李戴。
- 约束应加在检索(注入现行条款)、解码(无依据则拒答或强制引用)和后处理(规则/工具核对),而不是先重装权重。
- 数据流是 tokenize → embedding → L 层因果自注意力与前馈 → LM head 得到形状约为
[vocab]的 logits → temperature / top-k / top-p 采样。 - 词表规模常见在数万到数十万;模型没有单独的“真值头”。