跳到主要内容

解码进行到第 t 个位置时,Q、K、V 分别是几行?分数若误用查询与查询的转置相乘,哪些线性层会沦为死权重?

模型选型与微调中级模型选型与微

题目​

解码进行到第 t 个位置时,Q、K、V 分别是几行?分数若误用查询与查询的转置相乘,哪些线性层会沦为死权重?

参考答案​