宏平均 F1 从约 0.81 掉到 0.62、低频意图消失:在 DP-SGD 且 ε 收到约 2 之后,隐私预算怎样花,而不是整条流水线共用一个 ε?公开预训练、私有微调、外发评估各记在哪一层?
题目
宏平均 F1 从约 0.81 掉到 0.62、低频意图消失:在 DP-SGD 且 ε 收到约 2 之后,隐私预算怎样花,而不是整条流水线共用一个 ε?公开预训练、私有微调、外发评估各记在哪一层?
参考答案
点击展开参考答案
- 不要对已经公开的语料再花隐私预算。
- 基座或意图编码器先在公开、经许可的工单类文本上常规训练(这一段 ε 视为不消耗);只对含用户标识的私有工单做 DP-SGD,把大部分预算留给这一步;评估指标、混淆矩阵和错误案例若会外发,要单独记账或只发布粗分箱。
- 低频意图消失,多半是裁剪把稀有梯度剪掉、噪声盖过信号,应先加公开同类样本或改层级标签,而不是把 ε 悄悄放到两位数还声称「同一套隐私保证」。
- DP-SGD 对每条(或每个用户)梯度做范数裁剪再加高斯噪声,隐私损失随步数用 RDP / 会计账本累加。
- 用户级会计比样本级更严:同一客户多条工单算一次参与。