最强Agent,为什么不能自己给自己发通行证?
日期:2026-11-16 13:38:20 / 人气:27
【摘要】 当Agent能写代码、调支付、操作数据库、委派子Agent,安全问题的核心不再是"它会不会犯错",而是"犯错后它能造成多大破坏"。行业试图用更强的AI监管AI,但OpenAI Auto-review 99.1%自动审批率背后,监督模型同样会被污染、被误导。真正的答案不是堆更多模型,而是把"它想做什么"和"它被允许做什么"拆成两套独立系统。
【深度分析】 Agent安全不是对齐问题,是架构问题。NIST 2026年提出的身份与授权原则、VACA(可验证智能体控制架构)给出的方向是:Agent可以提方案,但不该自己签发通行证。三层平面分离(智能/控制/证据)+ 任务契约 + 权限单调收缩,才是让"会犯错的模型"在"不容易出大事的系统"里运行的正确姿势。
一、Agent安全的三层:别把一层当万能药
AI安全常被混为一谈,实际至少有三层完全不同的问题:
层次 真正的问题 常见误区
意图安全 Agent是否倾向于做危险/欺骗性选择 训练更对齐≠不会在陌生环境失效
行动授权安全 即使它想做,系统是否允许它真做出来 权限再严≠能识别"表面合法、实际危险"的组合
结果与社会风险 即使每步都合规,最终是否造成不可接受后果 审计再完整≠能自动挽回已泄露数据/已发合同
三层不能互相替代。模型对齐解决不了权限设计缺陷,权限设计防不住组合攻击,审计日志追不回已执行的支付。
OpenAI的Auto-review给了行业一个清醒样本:自动审批率99.1%、合成提示注入召回率99.3%——数字漂亮,但官方明确写"不构成确定性安全保证"。监督模型仍可能被误导,也无法覆盖执行者在沙箱边界内的全部行为。
二、为什么"更强的模型监督更弱的模型"不够
这条路线有价值,但"更聪明"≠"更可靠"。
问题1:监督者也在攻击面内。
2026年ICLR一项适应性监控攻击研究显示:不可信模型可以把提示注入藏进监督者阅读的内容里,直接影响依赖语言模型的控制协议。监督者不是站在风险之外的裁判,它同样消费不可信内容。
问题2:多数投票的前提是错误独立。
多Agent互检如果都读同一份被污染的上下文、用相似架构、相近训练数据,它们不是"五个独立法官",而是"五个一起看错题的人"。模型数量增加了,相关错误没消失。
多Agent互检能降低偶发错误、引入多样性,但不是"把可能犯错的系统叠加成绝不会犯错的系统"。安全取决于错误是否独立、证据是否多源、权限是否真的能被阻断。
三、检测到了≠阻止了:组合攻击的盲区
四个指标必须分开看:
• 检测率:注意到可疑行为
• 召回率:已知风险中被识别的比例
• 阻断率:被识别后危险动作真的没发生
• 安全率:真实环境里整体避免了不可接受后果
一个监控系统可以准确提示"有风险",但权限系统仍放行。一个Agent单次调用完全合规,十次分别合规的调用组合起来就是数据泄露:
Agent A允许读内部名单 → Agent B允许发外部邮件 → A把名单交给B → B发送。没有任何一步"越权",系统已越权。
局部安全≠组合安全。当Agent长期运行、相互委派、共享上下文,管理对象不再是孤立API请求,而是一条不断延伸的行动链:谁发起的?代表谁?子Agent继承了哪些权限?能否收缩?完成后谁能追溯、暂停、撤销?
四、核心分离:Agent不该自己给自己签发通行证
NIST 2026年Agent身份与授权原则的核心主张:
• Agent有独立、可验证身份
• 委派给子Agent的权限应当收缩
• 空闲时不应保有常驻权限
• 授权短时、动态、可撤销
• 推理系统与策略系统在架构上分离
翻译成一句话:Agent可以提出行动,但不该自己决定自己能不能做。
一个成熟系统至少三层独立平面:
平面 职责 不做什么
智能平面 理解任务、规划步骤、调工具、生成方案 不决定自己能否执行
控制平面 判断身份、权限、预算、时效、授权状态 不负责"想怎么做"
证据与恢复平面 留独立记录、支持暂停/撤销/隔离/回滚 不由执行者维护,不能被执行者抹除
分离不保证控制平面永远正确——规则可能写错、配置可能漏、网关可能有洞。但分离消除了"一个模型既负责想办法又负责决定能不能做"的致命循环。
五、VACA:把授权变成机器可读的"任务契约"
可验证智能体控制架构(Verifiable Agent Control Architecture)提供了一种工程化思路:
任务不应只写"帮我研究这个公司",而应是一份包含以下字段的契约:
• 代表谁执行
• 可使用哪些工具
• 可访问哪些数据
• 明确禁止项
• 是否允许委派、到第几层
• 预算和时间上限
• 哪些操作必须升级审批
• 哪些行为必须留审计记录
VACA的关键约束:
约束 防什么
完整中介 任何外部副作用不能绕过工具网关
授权不变量 行动仅在当前契约与状态下被授权时才可执行
权限单调收缩 子Agent不能比母Agent拥有更大权限
独立审计 执行者不能自己删除关键日志
高风险确认 不可逆动作需额外人类/组织授权
失效保护 策略或监控失效时不应默认放行
可恢复性 可撤销权限、隔离环境、保全证据
这不是限制Agent能力,是区分"希望它完成什么"和"为完成这件事被允许触碰什么"。
六、人类审批不是万能按钮
"把高风险操作交给人确认"——当然需要人,但"有人点了批准"≠"有人完成了监督"。
每天几百次风险提示、几十次跨系统授权,人类审批会退化为仪式:疲劳、赶进度、默认同意、被模型生成的漂亮解释说服。
高质量人类监督的分配原则:
• 不可逆动作
• 影响外部主体的后果
• 授权范围不清的操作
• 需要脱离模型独立证据才能判断的异常
• 涉及利益冲突、法律责任、价值取舍的决策
这些地方,人类不能只是"同意"按钮,而要有看得懂、能复核、能否决、能追责的实际权力。
安全最终是组织问题、制度问题、责任问题,不只是模型能力问题。
七、从企业到国家:Agent治理正在收敛
过去一年,各司法管辖区方向明显收敛:
• 中国:关注智能体身份标识、调用声明、部署风险管理
• 美国:切入Agent身份、委派链、权限收缩、动态授权、证据记录
• 欧盟:不单列"Agent类别",按用途和风险纳入既有AI规则
• 新加坡:事前约束、有意义人类责任、全生命周期技术控制
• 五眼联盟:最小自主权、风险建模、事故报告、身份治理
共同信号:Agent不再是"会聊天的软件功能",而是必须被识别、授权、约束、记录、追责的行动主体。
11月15日深圳APEC前夕,中国驻美大使谢锋提出中美应共同发展和管理AI、确保人类控制——这与Agent安全的核心逻辑同构:越竞争激烈,越需要为共同风险留最低限度沟通机制。 中美已同意建立AI事件沟通渠道,Agent越权可系统隔离;但跨企业、跨供应链、跨国界的AI事故,需要事件通报、风险评估、可验证共同规则。
八、结语:未来不是谁监管最聪明的Agent
"AI监管AI"不是错方向——模型监督会越来越重要,能处理人类读不完的上下文、释放低风险任务的人工审批压力。但它不该是最后一道、唯一一道闸门。
真正值得建的,是承认所有参与者都可能出错的系统:
1. 可形式化的边界 → 强制权限控制
2. 复杂语义风险 → 模型监督+独立评估
3. 不可逆/高损害决定 → 有能力担责的人和组织
4. 每次授权/行动/异常/恢复 → 可追溯证据链
5. 任何一层失效时 → 系统仍有机会停下来
未来最重要的问题不是"谁监管最聪明的Agent",而是:
当模型、监督者和人类都可能犯错时,我们能不能把有限权限、独立证据、可撤销授权和可恢复性,拼成一个风险仍有上限的系统。
Agent不该自己给自己发通行证。这不是对AI的不信任,而是对"它一旦被带偏会造成多大破坏"的尊重。

作者:天富注册登录平台
新闻资讯 News
- 曝网红"东北雨姐"有大动作:疑似...11-22
- 63岁日本IT大佬熊谷正寿被曝与年...11-22
- 上映5天票房2.9万,多部国产片扑...11-22
- 炎亚纶放话:谁能请到汪东城上《...11-22

