开发 Computer Use 模型

导读

这篇文章解释 Claude computer use 的研究过程：模型通过屏幕截图理解界面，移动鼠标、点击、输入文本，像人一样使用软件。它是从“让工具适配模型”转向“让模型适配现有工具”的关键一步。

说明：本文按 Agent Learning 的中文阅读页格式，对原文结构与关键技术细节做中文转述与解读。

核心观点

• computer use 让 Claude 能看屏幕、移动 cursor、点击并用虚拟键盘输入。
• 它依赖视觉理解、推理和精确像素定位。
• 训练 Claude 准确数像素是鼠标操作的关键。
• Claude 能从少量简单软件训练泛化到更广泛的软件使用。
• OSWorld screenshot-only 评测中 Claude 得分 14.9%，人类约 70-75%。
• computer use 主要降低现有能力应用门槛，而不是本质提升认知能力。
• 安全风险包括 prompt injection、滥用、选举相关活动和社交媒体自动操作。
• 当前能力仍慢且易错，拖拽、缩放、短暂通知等都很难。

正文

为什么 computer use 重要

大量现代工作发生在现有软件中。如果 AI 只能通过专门 API 或定制工具工作，应用范围会受限。computer use 的目标是让 Claude 直接使用人类每天使用的软件界面。

这意味着模型可以在没有专用 connector 的情况下完成任务：看屏幕、理解界面、点击按钮、填写表单、复制信息。这为通用 agent 打开更宽入口。

研究挑战：看懂屏幕并精确操作

computer use 建立在 tool use 和 multimodality 基础上。Claude 需要理解屏幕截图，然后决定该执行什么操作。它还必须计算 cursor 应该水平和垂直移动多少像素。

文章特别提到，数像素很关键。没有这个能力，模型很难给出可靠鼠标命令。这是一个看似简单但对 LLM 很难的低层技能。

泛化和安全

Anthropic 发现 Claude 能从 calculator、text editor 等少量简单软件训练中较快泛化，结合原有推理能力，把用户 prompt 转成逻辑步骤并在遇到障碍时自我纠正。

安全方面，computer use 可能让 Claude 暴露在网页 prompt injection 中，也可能被滥用于 spam、misinformation、fraud 或选举相关活动。因此 beta 阶段需要 classifier、监控和参考实现中的安全建议。

还远未到人类水平

Claude 在 OSWorld 上 14.9% 的成绩领先同类模型，但远低于人类 70-75%。它仍然慢、容易出错，拖拽、缩放和短暂屏幕变化都难处理。文章把早期错误作为提醒：computer use 是突破，但还不是可靠自动化替代品。

深度解读

computer use 是 agent 发展史里的关键抽象转换：过去我们为模型设计工具，现在让模型学会使用人类已有工具。它的潜力巨大，因为世界上大多数业务系统不会立刻提供干净 API；但风险也同样大，因为 GUI 环境模糊、状态多、验证难。真正可用的 computer-use agent 需要视觉、动作、记忆、权限、审计和 sandbox 一起成熟。

落地启示

• computer use 任务要从低风险、可回滚、可观察场景开始。
• 需要截图日志和动作日志，便于复盘失败。
• GUI agent 应结合 OCR、坐标校准和状态检测，不只依赖截图推理。
• 浏览网页时必须防 prompt injection。
• 对社交媒体、政府网站、支付和外发动作设置额外限制。