Agent 学习与策略优化 · 题目列表
共 124 题
- On-policy、Off-policy 与 DPO 怎么选?
- PPO vs GRPO vs DPO 原理区别?
- DPO vs PPO 怎么选?
- 长视界任务怎么结合环境训练?
- 稀疏与延迟奖励的塑形与权衡
- SFT、偏好优化与 RL 怎么衔接?
- PPO vs GRPO vs DPO 适用场景?
- Reward Model 训练流程详解
- 用解决率和点赞当指标去推客服模型两周后,它开始在政策外答应退款。对齐栈最先破掉的是哪一层?系统提示、人审和训练目标里,你优先改哪项?
- 上线之后模型还是会把承诺说大去讨好用户。示范已由专家改写,组里却把监督微调收工当成对齐收工。这个判断在对齐的哪一层是错的?
- 活已经办得下来,可客客气气的话术仍能从监督微调模型里把内链套走。成对偏好、奖励模型和套着 KL 绳子的策略更新,各守哪一段?哪一环一松,看起来更乐于助人,其实更险?
- 奖励模型的分类损失已经很好看,可成对标注两人同意的比例只略高于一半。怎样判断是题目没法比、还是指南含糊?开训前如何把噪声剔除、留下可学信号?
- 卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?
- 人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?
- 合同会被基座续成更长条款,却听不进「请总结成五条要点」;监督微调后写法框住了,却更爱写讨好长文。预训练、SFT、偏好优化各自在最大化哪类目标?偏好那一步为何只比较谁更好、不必再提供全文金标?
- 评审模型要给两万对比对里那一千条以外的样本打分,双人标注只覆盖一千。划分「必须人评」和「机评可做」的尺子是什么?怎样阻止评审器把自身盲点灌进策略?
- 编程和数学能力在偏好对齐后一起变差,有害提示更常被拒。怎样分辨这算不算必须付的对齐税,抑或样本把本事冲掉了?
- 控制问题上走「短片段两两比较,拟合奖励,再做强化学习」:人写不出奖励公式,看两段短轨迹却能指出哪段更接近目标。该闭环解决了什么?比较采集一停,策略为什么开始走样?
- 既要压低有害回复,又不能让安全岗的标注员继续大批去读攻击内容。原则落成可对照执行的条款、模型自批草稿再改写,对比继续堆积人类成对偏好,你省的是暴露量还是标准本身?哪类冲突会最先撑不住?
- 手头材料是一份参考检查点,外加若干 chosen 与 rejected 成对。什么情形下不训独立打分器、也不做现场采样,直接做分类式偏好优化?
- 直接偏好优化凭什么能省掉那份独立训练的奖励模型?
- 每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?
- 7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?
- 策略要把解题对的比例拉上去,讲解也要好读。学习型奖励和单元测试或答案核对,该分别接到损失的哪一段?两路合在一起时,哪一侧会先被刷分?
- 把 RLVR 与靠人类两两比较驱动的 RLHF 放在一起看,奖励各从哪里来,质量上限又被什么卡住?
- 每道数学题抽取 8 条解答,只给对错分数。为何不用价值网络、改用该组均值与标准差来当优势?若这 8 条全部正确或全部失败,该题还会不会给出梯度?
- 相对 PPO,GRPO 砍掉了哪块开销,同时又多付了什么代价?
- 若 GRPO 同一组里每条回答的奖励都一样,训练信号会怎样?
- 哪类任务该用结果奖励,哪类该用过程奖励?
- 生成模型测完了还不够,推理用的验证器本身该怎么验收?
- 后训练阶段怎样防止「越长越好」把真正的质量提升盖住?
- 有人主张推理模型不必预训练、也不必数据。DeepSeek-R1-Zero 真能支撑这个主张吗?
- 已经有一份 SFT 策略,以及一个 Bradley-Terry 奖励模型(代码任务则换成单测验证器)。方案是每个提示离线采样 N=8~64 条,只留下分数最高的一条再做 SFT。这套 Best-of-N / 拒绝采样微调,相对在线 PPO、GRPO 和离线 DPO,在计算图、探索和见顶上差在哪里,N 和温度怎样一起起作用,奖励被「又长又讨好」钻空时会怎样,分数若近似独立高斯,Best-of-N 的期望大约抬高几个 σ?
- 如何用“观察空间、动作空间、决策策略”定位 Agent 的能力瓶颈?
- “模型即 Agent”越来越强,为什么 Harness 的价值反而增加?
- 如何设计 KV Cache/Prompt Cache 友好的 Agent 上下文布局?
- Agent 用户记忆应该如何分层评估,而不是只测“能否回忆”?
- 什么是 “User as Code/Executable Memory”?它解决什么问题,又有什么风险?
- RAPTOR、GraphRAG 与文件系统知识库分别适合什么查询?
- 什么是 ACI(Agent-Computer Interface)?为什么工具应围绕目标而不是底层 API 设计?
- 主动工具发现与 Skill 渐进式披露如何组合?
- 什么是 Artifact 模式?它与 Agent 直接生成答案相比有什么优劣?
- Agent 自举或自动生成子 Agent 时,如何防止代际退化?
- Agent 从轨迹沉淀的 Prompt/Skill 规则越来越多,如何做规则垃圾回收?
- 事件驱动 Agent 如何处理优先级、中断、取消和恢复?
- 语音 Agent 的级联、端到端 Omni 与全双工架构如何取舍?
- 快慢思考、Computer Use 和机器人动作分块如何共享“安全点”设计?
- 一个可复现的 Agent 评估环境应包含哪些组件?如何抵抗题库泄漏?
- 使用 LLM 模拟用户评测 Agent 时,如何验证模拟器本身?
- 如何判断应该做 Mid-training、SFT 还是 RL?
- 蒸馏 Agentic 模型时,哪些 token 和信号应该学习?
- Agent 从运行轨迹持续进化时,经验应该写到哪里?
- 如何设计安全的在线执行—离线进化双循环?
- Multi-Agent 进阶:如何用“新增信息”证明系统价值?
- 多 Agent 的共享文件系统与控制平面应该如何设计?
- 如何避免多个 Agent 看似多样、实际共享同一盲点?
- 工具风险会随参数变化,如何做动态风险评估?
- 受限动作空间什么时候比开放式工具调用更好?
- 超长 ReAct 任务中,历史 `reasoning_content` 应保留、剥离还是压缩?
- Agent 状态栏如果写错,为什么比普通上下文错误更危险?
- 多人长期维护系统 Prompt,如何防止规则熵增?
- “上下文学习更像检索而非真正学习”对 Agent 设计有什么影响?
- Skill 动态加载到上下文的什么位置?不同方式如何影响遵循与缓存?
- 多模态内容先转文本再 RAG,会丢失什么?如何保留?
- 如何把信息质量信号引入 RAG 检索与重排?
- 强模型和长上下文会让企业知识库消失吗?
- Agent 从结构化数据自动归纳规则,如何与专家规则协作?
- MCP 若要支持长期在线 Agent,最需要补充哪些事件能力?
- 多个 MCP Server 提供重叠或同名工具,如何选并防 Tool Shadowing?
- “执行—验证—反馈”闭环对哪些动作有效?哪些动作应改为事前控制?
- Coding Agent 遇到输入格式变化,如何区分“应适配”与“上游 Bug”?
- Proposer–Reviewer 循环如何纳入真实用户偏好,避免收敛到 Reviewer 的偏见?
- 私有数据、不可信内容、外部通信再加持久记忆时,安全策略如何升级?
- “代码即规则”与自然语言业务规则如何分工?
- 异步事件优先级应由规则还是 LLM 判断?
- 同时积压工具结果、用户消息和系统事件时,如何组织给模型?
- Agent 应使用独立虚拟身份还是用户本人身份?
- 端到端语音 Agent 如何定位错误发生在“听、想、说”的哪一环?
- Computer Use 应用 SoM/DOM 还是纯视觉坐标?
- VLA/机器人 Agent 的遥操作数据如何筛掉低质量示范?
- “有帮助、语气合适”等主观维度如何设计可靠 Rubric?
- 偏好存在非传递性时,Bradley–Terry 排名为什么不可靠?
- 评测预算有限时,如何最大化每次 Agent 运行的信息量?
- 如何裁剪 UI Accessibility Tree,既省 Token 又不丢操作信息?
- Agent 后训练如何缓解灾难性遗忘?
- 固定预算下,如何在上下文、Skill、程序约束和参数训练间分配?
- 多步 Agent 的 Credit Assignment 如何结合 PRM 与 ORM?
- 给每个用户训练 LoRA 来存记忆,何时可行,何时不如外部记忆?
- 评估集也用于训练时,如何维护独立性?
- Agent RL rollout 长尾拖慢集群时如何优化?
- 用 LLM 模拟环境训练 Agent,会出现哪些 Reward Hacking?
- 新 API 版本出现失败时,如何判断旧经验失效还是适用域变化?
- 用户满意度上升但规则违规率也上升,持续学习应如何处理?
- 自修改 Agent 中,什么是可信根?为什么 Agent 不能修改它?
- Manager Agent 的分解质量如何保障?
- 多 Agent 系统会出现哪些“组织病”?
- 多个子 Agent 并行时,如何实现“一个成功,全员停止”?
- 多 Agent 共享文件系统如何治理语义冲突和命名空间污染?
- 给 Agent 30 步和 300 步预算,策略应如何不同?
- 操作系统概念如何映射到 Agent Runtime?哪些类比不能照搬?
- 多意图请求如何做意图识别、路由和低置信澄清?
- LATS/树搜索相比 ReAct 多了什么?什么时候值得使用?
- LangGraph/图式 Agent 中,多节点并发更新 State 时如何设计 Reducer?
- 如何把 Agent 平台设计成可扩展插件架构,而不让核心变成抽象工厂?
- 多语言实现同一 Agent 平台时,如何保证行为语义一致?
- Function Calling 是什么?底层流程如何实现?与直接输出 JSON 有何区别?
- Re-planning 为什么会产生“计划抖动”?如何限制?
- 为什么危险工具适合采用“两阶段提交”式设计?
- Multi-Agent 的 Blackboard 与消息队列有什么区别?
- 什么是 Multi-Agent 的注意力漂移?拆成多个 Agent 就一定能解决吗?
- HyDE 用假设答案做检索有什么风险?如何缓解?
- MMR 中的多样性参数如何调?为什么不是越多样越好?
- MemGPT 式主动内存管理与普通 RAG 有什么本质区别?
- Prompt Injection 与 Jailbreak 有什么区别?防护层是否相同?
- RLHF 的三个阶段是什么?各自的目标是什么?
- SFT 和预训练有什么区别?
- PPO 的目标函数是什么?KL 惩罚项起什么作用?
- DPO 相比 PPO 的优势是什么?原理是什么?
- 什么是奖励黑客(Reward Hacking)?为什么会出现?
- 如何缓解大模型的幻觉(Hallucination)问题?
- 什么是越狱(Jailbreak)?常见的防御手段有哪些?
- RLHF 和 RLAIF 有什么区别?
- RLHF 后模型通用能力下降(对齐税),你怎么处理?
- Constitutional AI(CAI)的核心思想是什么?