跳到主要内容

组内键值取平均之后,32 路查询的 MHA 检查点能不能立刻按 8 组共用 KV 当 GQA 开服?还要再训多久质量才回来?收到单个 KV 头时哪类任务先掉点,按头做张量并行会卡在哪?

模型选型与微调中级模型选型与微

题目​

组内键值取平均之后,32 路查询的 MHA 检查点能不能立刻按 8 组共用 KV 当 GQA 开服?还要再训多久质量才回来?收到单个 KV 头时哪类任务先掉点,按头做张量并行会卡在哪?

参考答案​