同事提议把正在服务的聊天模型骨干从 Transformer 换成 LSTM 以节省显存。你会拿哪些计算论据去回应,循环结构又在哪些场景仍然占优?
题目
同事提议把正在服务的聊天模型骨干从 Transformer 换成 LSTM 以节省显存。你会拿哪些计算论据去回应,循环结构又在哪些场景仍然占优?
参考答案
点击展开参考答案
- 训练阶段 Transformer 在因果 mask 下可对序列位置并行做矩阵乘,LSTM 必须按时间步串行,海量 token 的墙钟时间通常不可接受。
- 长程依赖上,注意力一步就能让位置 i 读到位置 j,LSTM 要把信息沿隐状态传递 O(距离) 步,容易丢远距离约束。
- 推理阶段对方的“省显存”有一部分是对的:LSTM 每层只存 O(d) 隐状态,Transformer 的 KV cache 是 O(序列长度 × d) 每层;但现代解码靠 KV 避免重算历史,逐步生成并不比 LSTM 多一轮循环,只是缓存更大。
- 循环网络仍更合适的场合是:内存只有几十 MB 的端侧、序列极短的控制策略、或你明确接受弱长程建模来换恒定状态体积。
- 典型 decoder-only 块是 embedding(外加位置注入)→ 重复 L 次(归一化 → 多头自注意力 → 残差 → 归一化 → 前馈 → 残差)→ 最终归一化 → LM head。
- 注意力里与序列两两相关的项大约按 O(n²d) 增长,投影和 FFN 按 O(nd²)。