手撕 softmax(带数值稳定)
题目
手撕 softmax(带数值稳定)
参考答案
点击展开参考答案
- 原始 softmax:
softmax(x_i) = exp(x_i) / Σ exp(x_j) - 数值不稳定问题:x 值很大时 exp(x) 会溢出(inf);x 值很小时 exp(x) 下溢为 0。
- 稳定实现:先减去最大值
x_max = max(x),然后exp(x - x_max)——因为exp(x - c) / Σ exp(x_j - c) = exp(x) / Σ exp(x_j),数学上等价,但减去最大值后最大的 exp(0)=1,不会溢出。 -
- import numpy as np
- def softmax(x):
- 追问:如果输入是二维矩阵怎么处理?(答:按行做,axis=-1 + keepdims 保持维度)
- 追问:推理时为什么不用 log_softmax?(答:log_softmax 更稳定,计算交叉熵时直接用;但 softmax 更直观)