线上只许一份基座、禁止热合并,每个租户还要自己的口吻。用虚拟 token 当可训练前缀,对比给注意力投影加低秩增量,各自动的是前向通路哪一段?硬 JSON 约束下谁会先饱和?
题目
线上只许一份基座、禁止热合并,每个租户还要自己的口吻。用虚拟 token 当可训练前缀,对比给注意力投影加低秩增量,各自动的是前向通路哪一段?硬 JSON 约束下谁会先饱和?
参考答案
点击展开参考答案
- Prompt Tuning 只学一小段软嵌入,拼在输入最前面,改的是第一层看到的「虚拟历史」;Prefix Tuning 在每一层注意力的 K、V(或等价前缀状态)前再接一段可训前缀,让各层都带着这段虚拟历史。
- LoRA 不占序列位置,改的是选定线性算子本身。
- 虚拟 token 参数极少(例如长度 20、隐层 4096 只有约 8×10⁴ 个数),表达力主要靠占用那一小截上下文,严格 JSON、工具调用这类硬约束上更容易先饱和。
- 低秩增量改的是算子,同样数据量下通常更先够到字段合规;但你禁止合并时,它必须在前向里多留 BA 支路,而前缀天然就是「不改 W 文件」。
- 数据流对比:Prompt Tuning 是 [P; x] 做 embedding 后走原栈,P 只在第 0 层以 token 身份出现,深层只能通过注意力间接读到。
- Prefix Tuning 每层 K、V 变为 [Pₖ; K]、[Pᵥ; V],前缀长度直接加进 kv_len,decode 的 cache 也要为这段虚拟前缀留位。