给那套医疗建议助手排 200 组成对输出,人力是临床医生三名、窗口仅两天。人工评估该如何设计,避免标注不一致静默变成榜单名次?
题目
给那套医疗建议助手排 200 组成对输出,人力是临床医生三名、窗口仅两天。人工评估该如何设计,避免标注不一致静默变成榜单名次?
参考答案
点击展开参考答案
- 把任务收成医生能稳定判的维:安全有害、临床正确、是否越权给处方,不要让他们打“整体 1–7 分好感”。
- 写一页可操作指南,先共同标一小撮锚点题,再盲评(不显示模型名,成对顺序随机)。
- 分歧用第三人或预定义仲裁收口,并公布一致性;一致性低的维不得进排行榜。
- 两天人力只够深标不够广撒,应按风险分层抽样,而不是 200 对全员三标。
- 人工评估的数据流是:抽样 → 指南与培训 → 独立盲标 → 一致性诊断 → 仲裁 → 冻结标签。
- 量规必须可操作,例如“提到具体用药且未声明需面诊”记越权,而不是“不够专业”。