阿里通义 MAI-UI 团队开源了 OpenGCUA,把 GUI 智能体升级成能综合调度全机接口的通用智能体。OSWorld-v2 评测里,平均 partial score 提升 19.6 分。
![]()
先看它到底改了什么。传统 CUA 基本等同于 GUI 智能体:看截图、点按钮。GCUA 的定义是「模型自主决定如何观察、行动并组织工作,跨越视觉与程序化接口的系统」。
也就是说,无障碍树、应用 API、shell 命令、GUI 操作,都在它的调度范围内。每一步由模型做三个决策:观察什么、如何行动、如何组织工作。
两大支柱设计撑起了这套机制。一是代码执行,复用模型已有的编程能力,实现循环内高效迭代;二是 harness 到模型的决策转移。
代码执行具体怎么跑?模型输出带循环和条件判断的 Python 程序,GUI 操作、API 调用、shell 命令统一编排。循环内的中间结果直接决定下一步代码走向,无需每步都回模型。
效率账很直观:代码执行比 GUI+CLI 混合再高 6.1 分,步数再降 14.8%。文章里那句话说得挺到位——「截图」本身就是一种有成本的感知行为,该省则省。
最值得留意的是受益者分布。GLM-5.3-Flash 提升 35.2 分,是涨得最多的;强弱模型差距从 39.1 缩小到 18.0。弱模型从代码执行范式里受益最大,这暗示该范式降低了对精细操作精度的依赖。
对开源生态来说,这是个不小声量的信号:能力门槛往下走,能上桌的模型就多了。
真机 macOS 测试还给出了另一组数字:GPT-6 Astra 的推理 token 消耗仅为 Qwen3.8-Max 的 1/19。
把这几组数字摆在一起看,OpenGCUA 想解决的不是「智能体能不能点对按钮」,而是「每一步要不要都靠截图和回模型」。省下来的感知成本和往返次数,最终变成了分数和步数上的差距。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.