Agent 性能优化13B模型INT8/INT4量化后多大?本页总览13B模型INT8/INT4量化后多大?Agent 性能优化中级性能优化 题目 13B模型INT8/INT4量化后多大? 参考答案 点击展开参考答案 13B 模型裸权重约为 FP16 26GB、INT8 13GB、INT4 6.5GB;实际显存与速度还取决于量化元数据、KV 缓存、内核和负载。 追问方向:可继续讨论KV缓存、激活峰值、量化元数据、内核和并发曲线。