Agent 学习与策略优化 · 题目列表
On-policy、Off-policy 与 DPO 怎么选?
Agent 学习与策略优化
PPO vs GRPO vs DPO 原理区别?
Agent 学习与策略优化
DPO vs PPO 怎么选?
Agent 学习与策略优化
长视界任务怎么结合环境训练?
Agent 学习与策略优化
稀疏与延迟奖励的塑形与权衡
Agent 学习与策略优化
SFT、偏好优化与 RL 怎么衔接?
Agent 学习与策略优化
PPO vs GRPO vs DPO 适用场景?
Agent 学习与策略优化
Reward Model 训练流程详解
Agent 学习与策略优化
用解决率和点赞当指标去推客服模型两周后,它开始在政策外答应退款。对齐栈最先破掉的是哪一层?系统提示、人审和训练目标里,你优先改哪项?
Agent 学习与策略优化
上线之后模型还是会把承诺说大去讨好用户。示范已由专家改写,组里却把监督微调收工当成对齐收工。这个判断在对齐的哪一层是错的?
Agent 学习与策略优化
活已经办得下来,可客客气气的话术仍能从监督微调模型里把内链套走。成对偏好、奖励模型和套着 KL 绳子的策略更新,各守哪一段?哪一环一松,看起来更乐于助人,其实更险?
Agent 学习与策略优化
奖励模型的分类损失已经很好看,可成对标注两人同意的比例只略高于一半。怎样判断是题目没法比、还是指南含糊?开训前如何把噪声剔除、留下可学信号?
Agent 学习与策略优化
卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?
Agent 学习与策略优化
人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?
Agent 学习与策略优化
合同会被基座续成更长条款,却听不进「请总结成五条要点」;监督微调后写法框住了,却更爱写讨好长文。预训练、SFT、偏好优化各自在最大化哪类目标?偏好那一步为何只比较谁更好、不必再提供全文金标?
Agent 学习与策略优化
评审模型要给两万对比对里那一千条以外的样本打分,双人标注只覆盖一千。划分「必须人评」和「机评可做」的尺子是什么?怎样阻止评审器把自身盲点灌进策略?
Agent 学习与策略优化
编程和数学能力在偏好对齐后一起变差,有害提示更常被拒。怎样分辨这算不算必须付的对齐税,抑或样本把本事冲掉了?
Agent 学习与策略优化
控制问题上走「短片段两两比较,拟合奖励,再做强化学习」:人写不出奖励公式,看两段短轨迹却能指出哪段更接近目标。该闭环解决了什么?比较采集一停,策略为什么开始走样?
Agent 学习与策略优化
既要压低有害回复,又不能让安全岗的标注员继续大批去读攻击内容。原则落成可对照执行的条款、模型自批草稿再改写,对比继续堆积人类成对偏好,你省的是暴露量还是标准本身?哪类冲突会最先撑不住?
Agent 学习与策略优化
手头材料是一份参考检查点,外加若干 chosen 与 rejected 成对。什么情形下不训独立打分器、也不做现场采样,直接做分类式偏好优化?
Agent 学习与策略优化
直接偏好优化凭什么能省掉那份独立训练的奖励模型?
Agent 学习与策略优化
每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?
Agent 学习与策略优化
7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?
Agent 学习与策略优化
策略要把解题对的比例拉上去,讲解也要好读。学习型奖励和单元测试或答案核对,该分别接到损失的哪一段?两路合在一起时,哪一侧会先被刷分?
Agent 学习与策略优化
把 RLVR 与靠人类两两比较驱动的 RLHF 放在一起看,奖励各从哪里来,质量上限又被什么卡住?
Agent 学习与策略优化
每道数学题抽取 8 条解答,只给对错分数。为何不用价值网络、改用该组均值与标准差来当优势?若这 8 条全部正确或全部失败,该题还会不会给出梯度?
Agent 学习与策略优化
相对 PPO,GRPO 砍掉了哪块开销,同时又多付了什么代价?
Agent 学习与策略优化
若 GRPO 同一组里每条回答的奖励都一样,训练信号会怎样?
Agent 学习与策略优化
哪类任务该用结果奖励,哪类该用过程奖励?
Agent 学习与策略优化
生成模型测完了还不够,推理用的验证器本身该怎么验收?
Agent 学习与策略优化
后训练阶段怎样防止「越长越好」把真正的质量提升盖住?
Agent 学习与策略优化
有人主张推理模型不必预训练、也不必数据。DeepSeek-R1-Zero 真能支撑这个主张吗?
Agent 学习与策略优化
已经有一份 SFT 策略,以及一个 Bradley-Terry 奖励模型(代码任务则换成单测验证器)。方案是每个提示离线采样 N=8~64 条,只留下分数最高的一条再做 SFT。这套 Best-of-N / 拒绝采样微调,相对在线 PPO、GRPO 和离线 DPO,在计算图、探索和见顶上差在哪里,N 和温度怎样一起起作用,奖励被「又长又讨好」钻空时会怎样,分数若近似独立高斯,Best-of-N 的期望大约抬高几个 σ?
Agent 学习与策略优化
如何用“观察空间、动作空间、决策策略”定位 Agent 的能力瓶颈?
Agent 学习与策略优化
“模型即 Agent”越来越强,为什么 Harness 的价值反而增加?
Agent 学习与策略优化
如何设计 KV Cache/Prompt Cache 友好的 Agent 上下文布局?
Agent 学习与策略优化
Agent 用户记忆应该如何分层评估,而不是只测“能否回忆”?
Agent 学习与策略优化
什么是 “User as Code/Executable Memory”?它解决什么问题,又有什么风险?
Agent 学习与策略优化
RAPTOR、GraphRAG 与文件系统知识库分别适合什么查询?
Agent 学习与策略优化
什么是 ACI(Agent-Computer Interface)?为什么工具应围绕目标而不是底层 API 设计?
Agent 学习与策略优化
主动工具发现与 Skill 渐进式披露如何组合?
Agent 学习与策略优化
什么是 Artifact 模式?它与 Agent 直接生成答案相比有什么优劣?
Agent 学习与策略优化
Agent 自举或自动生成子 Agent 时,如何防止代际退化?
Agent 学习与策略优化
Agent 从轨迹沉淀的 Prompt/Skill 规则越来越多,如何做规则垃圾回收?
Agent 学习与策略优化
事件驱动 Agent 如何处理优先级、中断、取消和恢复?
Agent 学习与策略优化
语音 Agent 的级联、端到端 Omni 与全双工架构如何取舍?
Agent 学习与策略优化
快慢思考、Computer Use 和机器人动作分块如何共享“安全点”设计?
Agent 学习与策略优化
一个可复现的 Agent 评估环境应包含哪些组件?如何抵抗题库泄漏?
Agent 学习与策略优化
使用 LLM 模拟用户评测 Agent 时,如何验证模拟器本身?
Agent 学习与策略优化
如何判断应该做 Mid-training、SFT 还是 RL?
Agent 学习与策略优化
蒸馏 Agentic 模型时,哪些 token 和信号应该学习?
Agent 学习与策略优化
Agent 从运行轨迹持续进化时,经验应该写到哪里?
Agent 学习与策略优化
如何设计安全的在线执行—离线进化双循环?
Agent 学习与策略优化
Multi-Agent 进阶:如何用“新增信息”证明系统价值?
Agent 学习与策略优化
多 Agent 的共享文件系统与控制平面应该如何设计?
Agent 学习与策略优化
如何避免多个 Agent 看似多样、实际共享同一盲点?
Agent 学习与策略优化
工具风险会随参数变化,如何做动态风险评估?
Agent 学习与策略优化
受限动作空间什么时候比开放式工具调用更好?
Agent 学习与策略优化
超长 ReAct 任务中,历史 `reasoning_content` 应保留、剥离还是压缩?
Agent 学习与策略优化
Agent 状态栏如果写错,为什么比普通上下文错误更危险?
Agent 学习与策略优化
多人长期维护系统 Prompt,如何防止规则熵增?
Agent 学习与策略优化
“上下文学习更像检索而非真正学习”对 Agent 设计有什么影响?
Agent 学习与策略优化
Skill 动态加载到上下文的什么位置?不同方式如何影响遵循与缓存?
Agent 学习与策略优化
多模态内容先转文本再 RAG,会丢失什么?如何保留?
Agent 学习与策略优化
如何把信息质量信号引入 RAG 检索与重排?
Agent 学习与策略优化
强模型和长上下文会让企业知识库消失吗?
Agent 学习与策略优化
Agent 从结构化数据自动归纳规则,如何与专家规则协作?
Agent 学习与策略优化
MCP 若要支持长期在线 Agent,最需要补充哪些事件能力?
Agent 学习与策略优化
多个 MCP Server 提供重叠或同名工具,如何选并防 Tool Shadowing?
Agent 学习与策略优化
“执行—验证—反馈”闭环对哪些动作有效?哪些动作应改为事前控制?
Agent 学习与策略优化
Coding Agent 遇到输入格式变化,如何区分“应适配”与“上游 Bug”?
Agent 学习与策略优化
Proposer–Reviewer 循环如何纳入真实用户偏好,避免收敛到 Reviewer 的偏见?
Agent 学习与策略优化
私有数据、不可信内容、外部通信再加持久记忆时,安全策略如何升级?
Agent 学习与策略优化
“代码即规则”与自然语言业务规则如何分工?
Agent 学习与策略优化
异步事件优先级应由规则还是 LLM 判断?
Agent 学习与策略优化
同时积压工具结果、用户消息和系统事件时,如何组织给模型?
Agent 学习与策略优化
Agent 应使用独立虚拟身份还是用户本人身份?
Agent 学习与策略优化
端到端语音 Agent 如何定位错误发生在“听、想、说”的哪一环?
Agent 学习与策略优化
Computer Use 应用 SoM/DOM 还是纯视觉坐标?
Agent 学习与策略优化
VLA/机器人 Agent 的遥操作数据如何筛掉低质量示范?
Agent 学习与策略优化
“有帮助、语气合适”等主观维度如何设计可靠 Rubric?
Agent 学习与策略优化
偏好存在非传递性时,Bradley–Terry 排名为什么不可靠?
Agent 学习与策略优化
评测预算有限时,如何最大化每次 Agent 运行的信息量?
Agent 学习与策略优化
如何裁剪 UI Accessibility Tree,既省 Token 又不丢操作信息?
Agent 学习与策略优化
Agent 后训练如何缓解灾难性遗忘?
Agent 学习与策略优化
固定预算下,如何在上下文、Skill、程序约束和参数训练间分配?
Agent 学习与策略优化
多步 Agent 的 Credit Assignment 如何结合 PRM 与 ORM?
Agent 学习与策略优化
给每个用户训练 LoRA 来存记忆,何时可行,何时不如外部记忆?
Agent 学习与策略优化
评估集也用于训练时,如何维护独立性?
Agent 学习与策略优化
Agent RL rollout 长尾拖慢集群时如何优化?
Agent 学习与策略优化
用 LLM 模拟环境训练 Agent,会出现哪些 Reward Hacking?
Agent 学习与策略优化
新 API 版本出现失败时,如何判断旧经验失效还是适用域变化?
Agent 学习与策略优化
用户满意度上升但规则违规率也上升,持续学习应如何处理?
Agent 学习与策略优化
自修改 Agent 中,什么是可信根?为什么 Agent 不能修改它?
Agent 学习与策略优化
Manager Agent 的分解质量如何保障?
Agent 学习与策略优化
多 Agent 系统会出现哪些“组织病”?
Agent 学习与策略优化
多个子 Agent 并行时,如何实现“一个成功,全员停止”?
Agent 学习与策略优化
多 Agent 共享文件系统如何治理语义冲突和命名空间污染?
Agent 学习与策略优化
给 Agent 30 步和 300 步预算,策略应如何不同?
Agent 学习与策略优化
操作系统概念如何映射到 Agent Runtime?哪些类比不能照搬?
Agent 学习与策略优化
多意图请求如何做意图识别、路由和低置信澄清?
Agent 学习与策略优化
LATS/树搜索相比 ReAct 多了什么?什么时候值得使用?
Agent 学习与策略优化
LangGraph/图式 Agent 中,多节点并发更新 State 时如何设计 Reducer?
Agent 学习与策略优化
如何把 Agent 平台设计成可扩展插件架构,而不让核心变成抽象工厂?
Agent 学习与策略优化
多语言实现同一 Agent 平台时,如何保证行为语义一致?
Agent 学习与策略优化
Function Calling 是什么?底层流程如何实现?与直接输出 JSON 有何区别?
Agent 学习与策略优化
Re-planning 为什么会产生“计划抖动”?如何限制?
Agent 学习与策略优化
为什么危险工具适合采用“两阶段提交”式设计?
Agent 学习与策略优化
Multi-Agent 的 Blackboard 与消息队列有什么区别?
Agent 学习与策略优化
什么是 Multi-Agent 的注意力漂移?拆成多个 Agent 就一定能解决吗?
Agent 学习与策略优化
HyDE 用假设答案做检索有什么风险?如何缓解?
Agent 学习与策略优化
MMR 中的多样性参数如何调?为什么不是越多样越好?
Agent 学习与策略优化
MemGPT 式主动内存管理与普通 RAG 有什么本质区别?
Agent 学习与策略优化
Prompt Injection 与 Jailbreak 有什么区别?防护层是否相同?
Agent 学习与策略优化
RLHF 的三个阶段是什么?各自的目标是什么?
Agent 学习与策略优化
SFT 和预训练有什么区别?
Agent 学习与策略优化
PPO 的目标函数是什么?KL 惩罚项起什么作用?
Agent 学习与策略优化
DPO 相比 PPO 的优势是什么?原理是什么?
Agent 学习与策略优化
什么是奖励黑客(Reward Hacking)?为什么会出现?
Agent 学习与策略优化
如何缓解大模型的幻觉(Hallucination)问题?
Agent 学习与策略优化
什么是越狱(Jailbreak)?常见的防御手段有哪些?
Agent 学习与策略优化
RLHF 和 RLAIF 有什么区别?
Agent 学习与策略优化
RLHF 后模型通用能力下降(对齐税),你怎么处理?
Agent 学习与策略优化
Constitutional AI(CAI)的核心思想是什么?
Agent 学习与策略优化