模型选型与微调采用 QLoRA 时基座以 4-bit 存放,是否就表示前向、反传以及优化器更新全部以 4-bit 完成?本页总览采用 QLoRA 时基座以 4-bit 存放,是否就表示前向、反传以及优化器更新全部以 4-bit 完成?模型选型与微调初级微调 题目 采用 QLoRA 时基座以 4-bit 存放,是否就表示前向、反传以及优化器更新全部以 4-bit 完成? 参考答案 点击展开参考答案 基础权重以低比特存储且通常冻结,计算时按实现反量化到计算精度,训练的是 LoRA 参数;激活、梯度和优化器状态并不全是 4-bit。 显存估算要包括适配器、激活、优化器及临时缓冲区。