使用 LLM 模拟用户评测 Agent 时,如何验证模拟器本身?
题目
使用 LLM 模拟用户评测 Agent 时,如何验证模拟器本身?
参考答案
点击展开参考答案
- 模拟器应有独立脚本:真实目标、已知事实、可透露信息、禁止编造项、情绪/表达风格和结束条件。
- 采用渐进披露,只有 Agent 正确询问时才给字段;否则一次性把答案全说出会高估 Agent。
- 检查模拟器是否泄漏目标、凭空新增事实或过度配合。
- 用真实对话小样本校准,比较任务难度、轮数、澄清方式和模型排名是否一致;人工抽检分歧轨迹。
- 不同模拟模型/人格做敏感性分析,报告模拟环境适用边界。
- 高风险业务状态仍由程序验证,用户模拟器只负责交互,不做最终 Judge。