“有帮助、语气合适”等主观维度如何设计可靠 Rubric?
Agent 学习与策略优化中级学习与策略优
“有帮助、语气合适”等主观维度如何设计可靠 Rubric?
参考答案
点击展开参考答案
- 把抽象形容词转成可观察行为和分档锚点,例如是否直接回答、是否给可执行下一步、是否承认限制;每档提供正反例与边界案例,维度拆分并按业务重要性加权。
- Rubric 自包含,Judge 不需猜业务背景。
- 用多人标注收集分歧并演化判例集,测一致率/kappa;低一致维度降权或人工。
- Judge 校准位置/长度/同源偏差,多模型或人工复核。
- 不要把主观总分与确定性安全/事实规则混合,后者单独硬门禁。