Claude 3.5 与 Computer Use

导读

Anthropic 发布升级版 Claude 3.5 Sonnet、Claude 3.5 Haiku，并首次公开 beta computer use：开发者可以让 Claude 看屏幕、移动鼠标、点击按钮和输入文字，开始探索通用 GUI agent。

说明：本文按 Agent Learning 的中文阅读页格式，对原文结构与关键技术细节做中文转述与解读。

核心观点

• 升级版 Claude 3.5 Sonnet 在 coding、agentic tool use 上显著提升。
• SWE-bench Verified 从 33.4% 提升到 49.0%。
• TAU-bench retail 从 62.6% 到 69.2%，airline 从 36.0% 到 46.0%。
• Claude 3.5 Haiku 在许多 benchmark 上接近或超过 Claude 3 Opus，且速度接近旧 Haiku。
• computer use 通过 API 公测，让 Claude 像人一样使用电脑。
• OSWorld screenshot-only 中 Claude 3.5 Sonnet 得分 14.9%，下一名为 7.8%；给更多步骤可到 22.0%。
• Asana、Canva、Cognition、DoorDash、Replit、The Browser Company 已开始探索。
• computer use 仍实验性、笨拙且易错，建议从低风险任务开始。

正文

模型升级与 agentic coding

升级版 Claude 3.5 Sonnet 在软件工程和 tool use 上提升明显，尤其是 SWE-bench Verified 与 TAU-bench。这些指标说明模型不只会聊天，也更擅长多步编码、工具调用和业务流程任务。

Claude 3.5 Haiku 则代表速度和成本方向：在接近上一代 Haiku 速度的同时，许多能力达到或超过 Claude 3 Opus，适合用户面对面产品、specialized sub-agent tasks 和大规模个性化体验。

computer use 的发布

computer use 是这次发布最具 agent 意义的能力。开发者可以通过 API 让 Claude 看屏幕、移动 cursor、点击、输入，从而完成标准软件界面中的任务。

这不是为每个任务写专用工具，而是训练模型掌握通用 computer skills。它可以自动化重复流程、构建和测试软件、执行开放式研究。Replit 等公司已用它评估 app 构建过程中的 UI navigation。

早期能力和安全边界

OSWorld 成绩说明 Claude 领先同类模型，但仍远未可靠。滚动、拖拽、缩放等人类自然动作对模型仍难，Anthropic 建议从低风险任务探索。

安全方面，computer use 可能打开 spam、misinformation、fraud 等新路径。因此 Anthropic 为 computer use 建立 classifier，识别是否正在使用该能力以及是否发生 harm。

深度解读

这篇发布文代表 agent 产品形态的一次跃迁：从“模型调用工具”走向“模型操作电脑”。MCP 解决结构化工具连接，computer use 解决没有 API 或 connector 时的现实世界入口。两者不是替代关系，而是互补：MCP 更可靠、可审计；computer use 更通用、覆盖遗留系统。真正成熟的 agent 平台需要同时拥有两条腿。

落地启示

• 优先用 MCP/API 连接关键系统，computer use 用于补足无接口软件。
• GUI 自动化必须限制在低风险、可回滚任务中试点。
• 对 computer use 建立截图、动作、结果三类日志。
• 把速度模型用于 subagents 或高频低风险任务。
• 评估 computer use 时不要只看成功率，也要看步骤数、可恢复性和误操作成本。