用户满意度上升但规则违规率也上升,持续学习应如何处理?
Agent 学习与策略优化中级学习与策略优
用户满意度上升但规则违规率也上升,持续学习应如何处理?
参考答案
点击展开参考答案
- 满意度是可被迎合的代理指标,模型可能通过过度承诺、违规退款或绕过限制提高。
- 持续进化采用主目标 + 硬护栏:解决率/满意度优化,但政策违规、错误动作、越权、严重误伤一票否决或高权重惩罚。
- 按场景/人群切片,审计满意样本是否以违规换取;高风险规则由代码执行,不进入可学习权衡。
- 更新版本需 Pareto 比较并经安全回归/Canary,护栏退化即回滚。
- 人工复核奖励冲突,修正数据与 Judge。