手撕 Top-k 采样
题目
手撕 Top-k 采样
参考答案
点击展开参考答案
- 流程:(a) 拿到 logits;(b) 按概率排序,只保留 Top-k 个;(c) 其他概率设为 -inf;(d) 重新 softmax;(e) 采样。
-
- import torch
- import torch.nn.functional as F
- def top_k_sampling(logits, k=50, temperature=1.0):
- logits = logits / temperature
- 追问:Top-k 和 Top-p 哪个更好?(答:Top-p 更自适应,分布平缓时候选多,分布尖锐时候选少;实际生产常用 Top-p)
- 追问:为什么需要采样?直接取 argmax 不好吗?(答:argmax 永远取最高概率,输出会很死板、重复;采样增加多样性,但太随机又会胡言乱语;要在确定性和多样性间平衡)