跳到主要内容

保持 d_model 不变,把 32 个注意力头收成 1 个更宽的头,表达能力与 KV 带宽各自会在何处受损?

模型选型与微调中级模型选型与微

题目​

保持 d_model 不变,把 32 个注意力头收成 1 个更宽的头,表达能力与 KV 带宽各自会在何处受损?

参考答案​