上季度跑大模型实验耗掉的电,被财务形容为「够一个小办公楼」。粗算排放时,训练、作废重跑、在线推理三块怎样分开估?哪些举措能让结果降低十倍以上,哪些不过是美化了报表?向业务汇报时,又该如何给出数字,而不装作能算准到每一公斤?
题目
上季度跑大模型实验耗掉的电,被财务形容为「够一个小办公楼」。粗算排放时,训练、作废重跑、在线推理三块怎样分开估?哪些举措能让结果降低十倍以上,哪些不过是美化了报表?向业务汇报时,又该如何给出数字,而不装作能算准到每一公斤?
参考答案
点击展开参考答案
- 先估能量再乘电网碳强度,不要从参数量直接跳到碳排。
- 训练碳大致是 GPU 小时 × 单卡平均功率 × PUE × 区域碳强度;失败或作废的重跑常常和成功训练同量级,必须单独记账。
- 真能降一个数量级的,是取消不必要的全量预训练、改用已有基座加 PEFT、尽早杀掉明显失败的大跑、在合规允许时把训练放到低碳电网。
- 只改报表单位、只报训练不报推理,是优化观感。
- 示意量级(必须换成机房实测):高端训练 GPU 在高利用率下,整机功率常是数百瓦量级,再乘数据中心 PUE(现场常见例如 1.2–1.5)。
- 一次持续多日、数百卡的全量预训练是数万到数十万 GPU 小时,能量到 MWh;同一产品目标若用 LoRA 或 QLoRA 在单卡到数卡上跑数小时到数天,常常低一到两个数量级。