如何设计安全的在线执行—离线进化双循环?
题目
如何设计安全的在线执行—离线进化双循环?
参考答案
点击展开参考答案
- 核心不变量是:线上 Agent 可以产生证据和候选更新,但不能直接修改下一次运行所依赖的正式 Prompt、Tool、Policy、Memory 规则或模型。
- 两个循环用版本化提案连接,而不是自修改闭环。
- 固定 deployment manifest 后接收任务,按最小权限执行并记录输入、环境/模型/Prompt/Tool/知识版本、状态转移、Tool 结果、最终环境状态、用户反馈和安全事件。
- 高风险动作走审批;反馈只是信号,不自动视为正确标签。
- 日志先脱敏并执行用途/保留策略。
- 从授权 trace 中按高价值、高不确定、新错误和人群覆盖采样,去重后定位首个错误 step,聚类根因到知识、Prompt/Skill、Tool/Workflow/Harness 或模型能力。
- 生成最小变更提案,附来源、适用范围、反例、owner、预期指标和回滚计划。