Agent 成本优化 · 题目列表
共 167 题
- LLM API 的成本优化策略
- 格式化输出 vs 思维链,怎么选?
- Few-shot 推理为何有效?
- 怎么让模型稳定输出 JSON?
- 如果所谓上线只是在聊天窗口里随手改提示,满三个月时账单和质量一般会先在哪些地方撑不住?
- 一边仅 80 条标注且两周必须发版,另一边手头有 5000 条稳定数据但底座冻结。继续改字面提示和去学软提示,各对应哪一种?
- 说话口吻、字段 schema、退款封顶金额、密钥轮换节奏,该放系统侧还是用户侧,或是根本不要让模型看见?
- 把模型扮成资深合规官后,腔调换了,可条款引用命中率照旧。角色提示真正换来的是什么,何种情形下该关掉?
- 做工单路由时,零条示范、单条示范和五条示范如何取舍?何种迹象说明该加例子,何种迹象说明必须马上停?
- 可退和需人工被同一套 few-shot 退货分类打在几乎一样的两份申请上。示例集、采样温度、判定规则三条你先动哪一条?
- 费用报销审核加上「一步步想明白」之后,耗时涨到两倍,演算底稿还直接露在用户眼前。你会把哪几层拆开,而不是继续加长提示词?
- 给多跳队列「按区域、产品档选择适用的 SLA」补上 think step by step 后,准确率纹丝未动,时延几乎翻倍。你先质疑这题是否根本不需要思维链,还是去查示范、校验器、模型容量?
- 退货分类的 few-shot 里有一条「订单 ORD-88321,拆封后 11 天,标签=需人工」。上线后模型开始把毫不相干的单子也写成 ORD-88321,回复长度还和那条示范几乎一样。示例要怎样挑、怎样排、怎样去掉具体值?你用什么探针证明模型在抄示范而不是在学规则?
- 对同一道费用归属题做 7 路采样再取多数,花销大约按几倍涨?什么情形下这 7 票会集体判错?
- 模型回了围栏代码块、加注释、尾逗号的「像结构化」文本,而下游要 schema 对象。你按什么次序修?
- 工单系统入库要求对象结构严格,可模型时不时先写一段说明文字,或者把枚举值拼错。解析这一层应当拒收什么,出错后又如何重试,才能保证库里不落下脏数据?
- 线性推理走入死胡同就没法折返。若加上搜索树,控制器管什么,模型又管什么?
- 花括号和「# 系统」标题出现在用户段,一经插值就把任务说明冲掉。模板在生产中要强制哪些契约?
- 要用失败样本让模型改写自己的提示来提准确率。「写提示的提示」里该放什么,评测和人审必须卡住什么?
- 抽条款、判风险、写业务摘要这三步审查合同,用单提示还是调用链?怎样切开,才不让中间错误无声进入终稿?
- 收货地址用户已经纠正,模型在第 18 轮又写回旧值。窗口历史、摘要、槽位各自该记住哪些内容?
- 窗口约 128K 的编程 agent 每轮能看见约 40KB 测试日志、昨天的会议纪要、全量工具定义和系统规则。优先丢掉哪一类?
- 40 段被整段推进窗口,模型只引首尾两段,而关键事实位于第 18 段。要分清是位置偏差还是检索不行,换位实验该怎么做,组装顺序该怎么改?
- 切到日语和阿拉伯语后,原本三个月都稳的英文客服开始乱拒答、译错术语。提示改完还不够,评测集、检索通路、审校闭环还缺什么?
- 用户首句禁止动生产配置,压缩三轮后 agent 却动手改。如何分辨压缩丢约束与模型侧漂移?折叠后必须原文留下哪些字段?
- 中英西三语工单进同一个分类器。指令共用并点明输出语言,还是按语种拆模板?术语与否定用法如何对齐?
- 栏位对不齐出现在中文合同做英文零样本抽取时。你先补目标语示范,还是走英译-抽取-译回的翻译桥?两条路径各会踩什么坑?
- 生产突发格式漂移和跑题。要一次只翻一个开关,系统提示、few-shot、检索片段、采样参数该按什么次序隔离?
- 产品经理本周要发三份读感更专业的提示稿。如何用事先锁住的考题集看哪一版更经得住,而不是信几个成功演示?
- 「请判断」在分类提示里被改成带「仔细」二字,各类输出占比就大幅偏移。用不改题意的改写集如何量化这种不稳?压波动该靠集成投票、卡阈值,还是轻度微调?
- 空输入、整页粘贴、诱导忽略规则改口都会打到客服。提示侧该写清哪些拒答规矩,调用模型之前必须做完哪些前置检查?
- 完整对话史、8 条示例、1800 token 稳定规则挤在一次请求。优先砍哪三类?怎样证明砍完质量没有垮?
- 检索未命中仍编退货政策,那句写在系统侧的「不确定就说不知道」压不住。拒答该绑到什么可核对的条件上?
- 助手仍按已删 API 和旧包名来写,尽管 lockfile 已钉在新主版本。仓库现场文档与权重里的过期记忆谁说了算?怎样自动抓住写错?
- 什么是 Few-shot?Few-shot 和 Zero-shot 的区别?
- Chain-of-Thought (CoT) 是什么?为什么有效?
- Zero-shot CoT 和 Few-shot CoT 的区别?
- Tree of Thoughts (ToT) 和 CoT 的区别?
- Prompt 一直不生效,你怎么排查?
- 怎么让模型输出稳定的 JSON 格式?
- System Prompt 的设计原则有哪些?
- 怎么降低 Prompt 的 token 消耗?
- Prompt Injection 是什么?怎么防御?
- 怎么写一个好的 Prompt 模板?
- Prompt Cache 如何设计?
- Prompt压缩有哪些常见方案?
- 千万级用户场景下如何进行模型容量规划?
- 如何避免上下文污染?
- Prompt Cache和Semantic Cache有什么区别?
- 如何提高缓存命中率?
- Semantic Cache如何设计?
- 如何设计流式输出的缓存层?
- 小模型和大模型如何分工?
- 如何降低 Token 消耗?
- Reflection会增加多少Token成本?
- 什么场景适合关闭Reflection?
- Reflection和Self-Consistency如何结合使用?
- 如何判断一个任务应该走大模型还是小模型?
- 如何自动判断一个任务的复杂度等级?
- 如何衡量模型升级带来的ROI?
- 如何避免模型频繁升级导致成本失控?
- Context裁剪如何避免关键信息丢失?
- 如何统计单个Agent任务的真实成本?
- 如何实现质量、时延、成本三目标优化?
- 如何记录一次请求为什么选择了某个模型?
- 在QPS达到1000以上的场景中,SSE流式连接如何实现心跳检测,超时释放和资源复用?
- 大模型和小模型如何分工?
- 如何设计模型调用的监控指标?
- Context Window越来越大,为什么仍然要控制Token成本?
- RAG为什么能够降低Token成本?
- Chunk大小如何影响成本和效果?
- Top-K应该如何选择?
- Agent为什么会出现Token爆炸问题?
- 企业级Agent如何实现Token预算管理?
- 如何统计每个Agent的Token消耗?
- 如何设计成本监控和告警体系?
- 多Agent架构下如何控制整体Token开销?
- 除了Token成本,还需要关注哪些AI系统成本指标?
- 如何评估不同模型的能力画像?
- 如何控制大模型调用成本?
- 敏感数据如何保证不被发送到外部模型?
- RAG与大上下文模型如何取舍?
- 如果预算固定,如何设计最优模型资源分配策略?
- 客户端断开后,后端模型调用如何及时取消?
- SSE流式输出如何做限流和背压?
- 多租户场景下如何限制单租户连接数?
- 流式输出如何支持停止生成(Stop Generate)?
- Token级刷新和Chunk级刷新如何取舍?
- 多端统一渲染引擎如何设计?
- 如何设计轻量级Reflection机制?
- 如何利用LLM-as-a-Judge进行失败归因?
- 如何设计模型能力评估体系?
- 如何建立模型质量评分体系?
- 如何实现在线A/B测试与灰度发布?
- 什么是微调,业务场景里什么情况下才需要做微调(Agent初级)
- 混合检索相比纯向量检索有什么优势?
- Model Router通常如何设计?
- 如何做模型效果的A/B实验?
- 哪些模型 API 错误可以重试,哪些不能重试?
- 如果主模型和备用模型能力差异很大怎么办?
- 如何处理模型返回内容为空或格式不合法?
- Agent 执行到一半模型失败,如何恢复任务?
- 如何区分模型异常、网络异常和业务异常?
- 模型降级会不会影响用户体验?
- Conversation Summary如何设计?
- 长期记忆召回过多会带来什么问题?
- Reflection机制什么时候开启最合适?
- 如何限制Agent无限循环调用工具?
- 开源模型与商业模型混合部署如何设计?
- 如何避免SSE连接占满线程池?
- Nginx或网关对SSE有哪些特殊配置?
- 如何监控SSE连接泄漏?
- SSE如何和Agent任务状态机结合?
- Markdown增量解析具体如何实现状态机?
- 代码块未闭合时如何保证渲染正确?
- 如何设计Chunk协议格式?
- Sequence丢失时如何补偿?
- WebSocket断线重连如何保证消息不丢失?
- Last Event ID机制底层原理是什么?
- 如何实现边输出边语法高亮?
- 长文本场景下虚拟列表如何设计?
- 小程序环境下Markdown渲染有哪些限制?
- Agent输出包含图片、表格、代码时如何增量渲染?
- 模型API异常如何熔断和切换?
- 多模型调度策略怎么设计?
- 模型路由策略是规则驱动还是模型驱动?
- 模型路由层如何实现实时决策?
- 小模型升级到大模型的触发条件有哪些?
- 如何设计模型降级和熔断机制?
- 模型故障时如何实现无感切换?
- 企业级模型网关需要具备哪些能力?
- 熔断阈值应该如何设置?
- 熔断、限流、降级有什么区别?
- 半开状态下如何做探测流量?
- 多模型切换时如何保证回答质量一致?
- 模型切换后上下文如何迁移?
- 如何避免重试导致请求风暴?
- MCP、Tool Calling、Agent场景下如何进行模型路由?
- 如何设计企业级统一模型接入层(Model Gateway)?
- 多模型路由策略具体如何设计?规则路由和LLM路由如何选择?
- 如何设计统一模型接入层,根据任务难度响应速度,成本和数据安全自动选择不同模型?
- 模型效果最好但成本无法商业化,低成本模型又无法满足质量要求,应该如何设计多模型路由和降级方案?
- 混合模型调度路由系统:根据任务复杂度、时延要求、成本预算、数据安全等级自动路由不同模型(Agent高级)
- 模型调用成本管控体系:Token用量统计、多模型分级降级、缓存复用、提示词精简、记忆压缩、批量合并请求等组合降本方案(Agent高级)
- 为什么需要 Model Router?
- 多模型如何协同工作?
- 如何做多供应商模型路由?
- 如何控制熔断和切换带来的 Token 成本?
- Rerank带来的收益是否值得增加额外成本?
- 多模型协同架构如何实现?
- ReAct模式如何控制推理成本?
- 如何在效果、时延和成本之间进行权衡?
- 如何处理模型调用失败和超时?
- 如何设计模型降级和兜底策略?
- 如何支持多厂商模型统一接入?
- 多模型环境下如何进行统一评测?
- 如何构建自动化模型路由闭环优化系统?
- 如何控制反思带来的延迟?
- 流式输出同时适配小程序,APP和PC端时,如何解决Markdown兼容,内容乱序和页面渲染卡顿问题?
- SSE和WebSocket在Agent流式输出场景下如何选型?
- 流式输出中途失败如何设计重试和补偿?
- QPS继续提升到1万时架构如何演进?
- 高并发下SSE连接资源如何管理?
- 百万级在线用户场景下流式网关如何扩容设计?
- 流式输出为什么容易产生页面抖动?
- 流式输出过程中如何统计TPS和延迟指标?
- 如何实现流式输出的可观测体系?