可 mmap、张量允许混精度的 GGUF 单文件是一侧,分片权重外加独立分词器和对话模板是另一侧;这套 7B 要当笔记本本地助手。冷启动时间、多进程只读共享、量化元数据分别绑在哪一层,什么情况下值得压成单文件?
题目
可 mmap、张量允许混精度的 GGUF 单文件是一侧,分片权重外加独立分词器和对话模板是另一侧;这套 7B 要当笔记本本地助手。冷启动时间、多进程只读共享、量化元数据分别绑在哪一层,什么情况下值得压成单文件?
参考答案
点击展开参考答案
- GGUF 把版本化文件头、键值元数据(结构、词表、合并规则、对话模板、量化类型)、张量目录(名字、形状、dtype、偏移)和对齐后的张量载荷打进一个文件。
- 运行时可以按页映射,用到的层才fault进来,多个进程能共享只读页。
- 分片权重加外置分词器适合训练和集群一次装进显存的路径,但启动要打开一堆文件,词表/模板还容易和权重版本错位。
- 本地、要快起、要混精度量化时转单文件;服务端已经把分片直接灌进 HBM、还要热插组件时,继续分片。
- 布局顺序是魔数与版本 → 元数据 → 张量信息表 → 按对齐(常见按 32 字节一类边界,便于 SIMD 和页故障粒度)存放的数据。
- 对齐是这种格式存在的理由之一,随便序列化一个字典会让 mmap 和向量化加载变扭。