跳到主要内容

7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?

Agent 性能优化中级工程化

题目​

7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?

参考答案​