天津
智猩猩AI整理
编辑：BugMaker
过去一年，AI Agent 正在从“会聊天”走向“会执行”。
但真正让Agent进入日常电脑工作环境，仍然存在一个关键问题：
模型能够理解任务目标，但缺少连接真实电脑环境的执行能力。
目前大量计算机操作Agent依赖预先设计好的工具接口，比如浏览器插件、应用专用API或者人工编写的操作流程。一旦遇到没有适配过的软件，Agent往往就无法继续执行。
Browser Use团队最近开源了 macOS Harness，这是一个专门面向macOS桌面环境设计的Agent Harness，尝试让智能体从浏览器和单一工具调用进一步进入真实Mac环境。
在此之前，Browser Use已经凭借浏览器Agent开源项目获得了约11万GitHub Stars，主要解决Agent如何操作真实浏览器的问题。如今团队进一步把Agent执行范围从浏览器扩展到整个Mac桌面，让Agent获得跨应用、文件系统和Shell的电脑操作能力。
macOS Harness进一步把Mac桌面环境作为Agent的执行入口，利用macOS提供的系统接口连接应用、浏览器、文件系统和Shell。
它将键盘、鼠标、窗口、应用和Shell等基础能力封装成Agent可调用的能力，让智能体能够直接操作真实Mac环境中的不同应用，减少针对每个软件单独设计工具的需求。
01
不再为每个App写工具，让Agent
获得Mac操作能力
传统Agent控制电脑时，通常需要开发者提前定义能力。
例如：
想让Agent操作某个桌面应用，通常需要开发对应工具或接口。
想让Agent处理文件，需要开发文件工具。
想让Agent控制浏览器，需要开发浏览器接口。
这种方式的问题是，现实世界中的软件数量几乎无限。
今天可以适配Chrome，明天遇到Final Cut、微信、IDE或者企业内部软件，又需要重新开发。
macOS Harness选择了另一条路线。
macOS Harness提供了一组更底层的系统操作能力，避免Agent依赖大量应用专用适配器。
在Agent框架中，模型负责理解任务并生成动作，Harness负责将这些动作映射到Mac环境中的具体操作。
项目README中将其描述为：
“The simplest, thinnest harness that gives an LLM complete freedom to control a Mac.”
它主要提供几类基础能力：
查看当前应用状态
发送键盘输入
模拟鼠标点击
调用Accessibility接口获取界面元素信息
执行Apple Events
访问浏览器、文件系统和Shell
这些能力来自macOS提供的系统级接口，可以跨应用完成基础操作。
换句话说，结合视觉模型或界面解析能力，Agent可以基于当前界面状态执行点击、输入等操作。
这种设计与传统基于应用接口的自动化方式相比，区别在于：
过去，开发者需要提前为不同软件设计专用接口。现在Agent可以通过统一的系统操作能力，与不同应用进行交互。
例如用户要求：“整理下载文件夹中的论文，并运行其中的代码。”传统方案可能需要文件工具 + IDE工具 + Shell工具
而macOS Harness中，Agent可以结合界面信息，通过键盘、鼠标和系统接口完成整个过程。
项目提供的示例中，Agent可以通过简单调用：see、key、type、click、ax、script这些基础能力完成不同应用操作。
02
从浏览器到整个操作系统，
Agent Harness正在扩展边界
macOS Harness并不是一个孤立项目。
它来自Browser Use团队。
此前，Browser Use长期关注浏览器自动化Agent方向。在浏览器场景中，Browser Use通过浏览器控制接口连接真实Chrome环境，让Agent完成网页交互任务。
macOS Harness进一步将这种思路扩展到桌面环境。
浏览器只是电脑环境中的一个应用。对真实工作场景而言，Agent还需要处理文件、代码、桌面软件等跨应用任务。
例如浏览网页、修改文件、运行代码、处理桌面软件以及使用企业内部工具。
因此，桌面Harness成为连接模型能力和真实世界的重要基础设施。
从技术实现来看，macOS Harness并不是重新构造一个虚拟桌面环境。
它直接连接真实Mac。
目前项目提供了包括后台窗口捕获、键盘事件发送、Apple Accessibility和Apple Events调用、浏览器连接以及Shell访问等能力。
这意味着Agent操作的是用户真正使用的电脑环境。
相比模拟环境，这种方式更接近真实办公场景。
因为现实中的任务往往不是单一网页操作。
一个完整任务可能包括打开邮件查看信息、下载附件、修改文档、运行代码、上传文件等步骤，而这些操作往往跨越多个应用。
而Harness提供的是一个统一入口。
03
从工具调用Agent到电脑控制Agent，
Harness成为关键基础层
过去Agent发展的重点更多集中在模型能力提升，包括推理、代码和规划能力。
但当Agent真正进入现实环境后，问题开始转向模型如何连接世界。
这也是Harness价值所在。
它本身不负责训练模型，也不是一个完整的任务Agent框架。
更像是Agent运行时和真实环境之间的一层基础设施。
对开发者而言，这意味着不需要为每个软件重新设计工具。对Agent而言，则获得了更加接近真实电脑环境的执行能力。
当然，目前macOS Harness主要面向Mac环境。
Agent如何保证长期稳定执行，如何处理复杂任务规划，如何避免误操作，仍然是未来需要继续解决的问题。
但它展示了一种明显趋势：
未来Agent竞争的不只是模型本身，还有连接模型与真实世界的Harness。
关注+星标，获取AI前沿进展与开源一线动态
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
