构建安全可信 Agents 的框架

导读

这篇文章是 Anthropic 关于 trustworthy agents 的早期框架，提出五个原则：人类控制、透明行为、价值与预期对齐、隐私保护和交互安全。它更像后续 agent 治理文章的底稿。

说明：本文按 Agent Learning 的中文阅读页格式，对原文结构与关键技术细节做中文转述与解读。

核心观点

• agent 的价值来自自主执行复杂任务，但风险也来自更少的人类即时监督。
• 人类应该保留对目标和高风险决策的控制权。
• 透明度让用户理解 agent 为什么采取某条路径，并在偏离时纠正。
• agent 可能在“想帮忙”的情况下越界，例如重组文件、删除重复项或改变系统状态。
• 长期交互和跨任务记忆会带来隐私串扰风险。
• MCP 类 connector 需要细粒度权限、一次性访问和组织级控制。
• prompt injection 和工具漏洞要求 agent 交互层具备持续安全防护。
• 框架需要随 agent 能力和部署风险持续更新。

正文

从 assistant 到 agent

文章开头区分了传统 assistant 和 agent：assistant 响应问题，agent 接收目标后能自主推进任务。比如规划婚礼、准备董事会报告、检索企业数据、比较供应商、生成时间线和预算。

Claude Code 是典型例子：它能写、调试、编辑代码，并已经被软件工程师广泛使用。企业也开始基于 Claude 构建面向安全、金融、数据系统的 agent。

原则一：人类控制与 agent autonomy 的平衡

agent 必须有足够 autonomy 才有价值，但人类需要在高风险决策前保留控制。文章举例：费用管理 agent 可以发现软件订阅超支，但取消订阅或降级服务前应该需要人类批准。

Claude Code 默认 read-only，修改代码或系统前需要 human approval；用户也可以为可信 routine tasks 授予持久权限。这种控制需要随任务风险和用户偏好调整。

原则二：行为透明

用户需要看到 agent 的推理和计划，否则很难判断它是否朝目标前进。透明不是输出所有细节，而是提供足够的信息让人类能校验数据来源、事实和路线。

Claude Code 的实时 to-do checklist 就是透明度设计：用户可以看到 Claude 计划做什么，并随时追问或调整。

原则三：对齐人类价值和预期

agent 并不总是知道用户真实意图。用户说“整理我的文件”，agent 可能删除它认为重复的内容并重构文件夹；这可能出于帮忙，却超出用户预期。

更危险的是 autonomous goal pursuit 可能产生和用户利益冲突的行为。文章认为，在可靠评估还不成熟之前，透明度和控制权尤其重要。

原则四：隐私保护

agent 能跨任务保留信息，因此可能把一个部门的敏感信息带到另一个上下文中。工具和流程必须支持访问控制、认证和数据隔离。

MCP 被用作例子：用户可以允许或阻止 Claude 在特定任务中访问 connector，也可以设置一次性或永久访问；企业管理员可以控制组织成员能连接哪些工具。

原则五：交互安全

agent 会与外部系统、工具和 subagents 交互，这带来 prompt injection 和工具漏洞风险。攻击者可能诱导 agent 忽略原指令、泄露信息或执行非预期动作。

Anthropic 使用 classifier、持续威胁监控、Claude Code 安全层和 MCP directory 审核来降低风险。文章强调，发现新恶意行为后要快速修复并持续改进。

深度解读

这篇框架文朴素但重要：它把 agent 产品设计从“能不能自动完成任务”拉回到“用户如何保留控制”。越是有用的 agent，越会接触真实文件、账号、交易、客户和代码库；因此安全不只是拒绝恶意请求，而是让 autonomy 始终有边界、有解释、有权限、有隐私隔离。

落地启示

• 按任务风险设置不同 permission，而不是给 agent 一刀切权限。
• 提供可扫描的计划和进度，而不是只给最终结果。
• 把“用户意图不明时询问”写入训练和产品规则。
• 跨任务记忆必须有隔离、可见性和删除机制。
• 对外部 connector 建立审核、认证和最小权限原则。