账单落地后大约达到原先估计的 4 倍。财务此前用「单次 3000 token × 目录价」批月度预算。漏项通常趴在哪些环节,单价如何写成可反复回算的费用模型?
题目
账单落地后大约达到原先估计的 4 倍。财务此前用「单次 3000 token × 目录价」批月度预算。漏项通常趴在哪些环节,单价如何写成可反复回算的费用模型?
参考答案
点击展开参考答案
- 「3000 token × 标价」把一次用户请求当成一次、一种单价的生成,漏掉了输入/输出差价、系统提示和检索块、多跳工具回灌、重试、缓存未命中,以及 embedding、重排、日志和评测。
- 可复算模型要以「一次成功业务结果」为分母,按功能 × 租户拆行,每行写成:请求次数 × 每请求模型跳数 ×(未命中输入 × 输入单价 + 命中前缀 × 缓存单价 + 输出 × 输出单价 ×(1+重试率))+ 检索与存储附加项。
- 预估用分位数长度而不是口头平均数,上线后用实际 token 账单回算误差。
- 数据流先画调用图:网关 → 改写/分类 → 检索/重排 → 主模型 → 工具 → 可能的二次生成。
- 用户口中的「3000 token」常常只是可见问句;系统提示、工具定义、对话历史和 RAG 块经常把输入撑到数千。