「黑人女性」交叉组只有 400 条已标、误杀约是边际的 3 倍,而内容审核模型在性别、种族两条边际上的误报率都停在事先谈妥的区间。怎样给交叉组设有效样本量门槛和不确定度规则,免得边际平均值把交叉性伤害稀释掉?
题目
「黑人女性」交叉组只有 400 条已标、误杀约是边际的 3 倍,而内容审核模型在性别、种族两条边际上的误报率都停在事先谈妥的区间。怎样给交叉组设有效样本量门槛和不确定度规则,免得边际平均值把交叉性伤害稀释掉?
参考答案
点击展开参考答案
- 边际通过不能代替交叉切片。
- 400 条若大部分是易例,真正决定假阳性的「模型判违规且人工判未违规」可能只有几十条,此时点估计会骗人。
- 规则应是:交叉切片必须同时满足有效负例(或决定性事件)下限,且假阳性率的置信上界落入带宽,否则状态是「证据不足 / 不得宣称通过」,生产上对该切片升人工或收紧动作,而不是给整模型贴绿标。
- 先定义切片键为属性笛卡尔积,而不是先按性别报再按种族报。
- 假阳性率的分母是「真实未违规」;400 条里若未违规只有约 80 条,正态近似的标准误大约是 (\sqrt{p(1-p)/80}),三倍差异可能仍与带宽重叠,必须报区间。