沿 G-Eval 给缺少唯一金标的会议纪要打「行动项覆盖情况」1 到 5 分:步骤从哪展开、分数怎样靠词表概率读出、哪一环会让分不可信?
题目
沿 G-Eval 给缺少唯一金标的会议纪要打「行动项覆盖情况」1 到 5 分:步骤从哪展开、分数怎样靠词表概率读出、哪一环会让分不可信?
参考答案
点击展开参考答案
- G-Eval 用评审模型把一条自然语言量规展开成逐步检查,再对候选纪要打分,用来补“没有唯一参考文本”的洞。
- 步骤来自对标准的自动思维链展开:先让模型写出应核对哪些行动项要素。
- 真正打分时把标准、步骤、源转写和候选一起送审。
- 分数不要只取生成出来的那个“4”,而应对分值 token(例如 1 到 5)的概率做归一加权,得到小数分。
- 数据流分四拍:人写维度定义(覆盖:是否包含每条可执行行动项的负责人、截止、动词);用评审模型生成评测步骤(列出应出现的行动项、逐条对照、处理“讨论过但未派活”);第二次调用把步骤、源转写、候选放在一起,要求先写短理由再给 1–5;若接口暴露对数概率,取数字 token 的 p(1)…p(5),分数为 Σ i·p(i)/Σ p(i),比直接采样稳定。
- 数量级:每条纪要一次带步骤的评审常常是数百到两千 token,比 ROUGE 贵几个数量级,适合几十到几百条的离线集,不适合每条线上请求。