边听边出的 32k 转写跑在端侧,内存几乎不许随 n 线性涨。线性循环层为什么值得认真看,标准自注意力为什么不合适?训练期会丢掉什么?
题目
边听边出的 32k 转写跑在端侧,内存几乎不许随 n 线性涨。线性循环层为什么值得认真看,标准自注意力为什么不合适?训练期会丢掉什么?
参考答案
点击展开参考答案
- 标准自注意力让每个新位置和过去所有位置直接交互,路径长度是 1,但缓存 K、V 的显存和逐步注意力的读带宽都随序列长度 n 线性涨,32k 流式场景很容易先把内存打满。
- 线性循环层(含状态空间形式)每步只更新一份固定大小的隐状态,推理内存近似 O(1),更贴合“边听边出、不能存整段 KV”的约束。
- 代价是训练时沿时间的依赖更强,长程信号要挤过固定宽度的状态,而不是一步到位。
- RNN 类单元按时间展开:h_t = f(h_{t−1}, x_t),信息必须一级一级传,早期梯度容易消失,LSTM/GRU 用门控缓解但训练仍难按时间完全并行。
- Transformer 训练时整段并行,这是它能吃下大规模语料的关键,不是因为循环网络理论上不能做序列。