自修改 Agent 中,什么是可信根?为什么 Agent 不能修改它?
题目
自修改 Agent 中,什么是可信根?为什么 Agent 不能修改它?
参考答案
点击展开参考答案
- 可信根包括身份/权限、Sandbox、发布门、审计、验证器配置、核心安全策略和批准更新的流水线。
- 若 Agent 可同时修改候选和评分/批准机制,它能降低测试或改奖励自我放行,形成不可控闭环。
- 物理/权限隔离:Agent 只写工作分支和候选插件;可信根只读、独立服务/仓库、多人审批和签名制品。
- 验证使用不可变 holdout,发布主体与提议主体分离。
- 所有根变更走更高等级人工流程和审计,支持回滚/kill switch。