GPT、Claude指挥机器人干活，到底几斤几两？首个评测榜单来了

GPT-6 Astra的测试结果和成本都排第一。

作者 | 刘俐杉

编辑 | 许丽思

机器人前瞻10月15日报道，昨天，美国AI基准测试公司Artificial Analysis发布新基准测试，AA-Robotics v0.1。

该公司称，目前该评测仍是一个研究预览版本，主要用于评估前沿大语言模型在物理世界中的理解、规划和执行能力。

团队在v0.1中设计了抓取、物体摆放、按按钮等8项桌面操作任务，让GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon等前沿大语言模型，通过写代码直接控制一台6轴机械臂，完成操作。

▲桌面操作任务

该研究团队公布了8项任务的测试结果。在AA-Robotics v0.1中，GPT-6 Astra以69分排名第一。

随后依次为GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1。

GPT-6 Astra平均完成每项任务需要30分钟，成本为16.36美元（约合人民币109.49元）。

尽管模型能够控制机械臂了，但从测试结果看来，目前其速度和成本仍然无法达到生产应用的要求，和人类基准相比，差距接近两个数量级。

01.

8项桌面操作任务，

测试大模型对机械臂的控制能力

自2026年初以来，前沿大语言模型控制机械臂的能力取得了巨大进步。

研究团队认为，未来的机器人很可能会由强大的通用智能体驱动。因此，该团队设计了AA-Robotics v0.1基准测试，用来验证这一方向。

评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。

此次测试只会给模型提供简短的操作说明，包括如何通过一个HTTP API连接机械臂，机械臂是哪一台，以及如何提交任务并宣布完成。

评测中使用的机械臂是Hiwonder NexArm，一台6轴机械臂，包括5个关节和1个夹爪。

模型可以通过4个摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。

观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。

▲AA-Robotics v0.1任务流程

在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括

• 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理；

• 空间推理，理解不同物体之间如何相互作用，例如把饮料倒进杯子里；

• 适应能力，用于评估模型面对意外情况时的应对能力。

▲桌面操作任务

当模型提交任务后，系统会根据任务设定的通过标准对最终状态进行评分。

完成任务可获得100分，如果任务没有完全完成，则会根据完成程度获得相应的部分分数。

在评测过程中，所有任务均尝试采用零样本（zero-shot）方式进行，模型没有针对每项任务进行专门训练，只是根据任务要求完成操作。

02.

模型能控制机械臂，

但问题在于操作时间过长

从测试过程来看，模型已经能够控制机械臂了，目前问题在于，模型控制机械臂完成任务需要花费大量的时间和成本。

评测结果显示，目前的语言模型完成AA-Robotics v0.1任务的速度，大约只有人类的1/100。模型平均每项任务完成时间约为30分钟，而人类平均只需要20秒。

从整体来看，5个测试模型中有4个表现比较接近，平均每项任务约需要30分钟，其中Gemini 4 Argon最慢，平均需要52分钟。

▲任务完成平均时间

其原因是，模型在任务开始阶段，会花费大量时间校准机械臂并理解场景，这一过程会一直持续到模型采取第一次行动。

在第一次行动之后，大部分时间都用于运动规划。相比之下，机械臂真正执行动作的时间反而比较短。

不过，不同模型之间也存在差异。例如，GPT-6 Astra只用2.2分钟就按下了红色按钮。

▲按下红色按钮任务

相比之下，Claude Fable 5.1花了约10分钟理解场景并进行规划，之后才采取第一次行动。

在摆放一个鳄鱼玩具的任务中，这种差距更加明显。

▲摆放鳄鱼玩具任务

GPT-6.1 Sol在任务开始5分钟后就宣布完成，但Claude Opus 5.5则花了45分钟。两者完成时间相差9倍。

在所有任务中，Gemini 4 Argon是任务完成最慢的模型。它平均需要花费21分钟观察场景并进行推理，之后才会开始采取第一次行动，这一完成时间几乎是其他模型的两倍。

同时，测试中研究团队还发现，模型在已经达到任务通过状态后，往往仍会继续优化操作，甚至持续很长时间。例如，GPT-6.1 Sol在约17分钟时已经搭建出一座符合要求的塔。但随后它继续操作，最终反而导致任务失败。

这个例子也暴露出，让机器人完成任务，需要解决的不只是“怎么做”的问题，还有“做到什么程度才算结束”的问题。

模型未来能否进一步提升对物理空间中任务完成状态的判断能力，还有待观察。

03.

GPT-6 Astra拿下第一，

但成本最高

抓取和精细操作是AA-Robotics v0.1重点测试的能力。在抓取和精细操作测试中，GPT-6 Astra和Claude Fable 5.1的表现最好，两者成功完成任务的比例最高，约为45%。这表明它们具备一定程度的精细控制能力。

▲抓取和精细操作测试中各模型表现

GPT-6.1 Sol的表现最差，成功率仅为28%。Gemini 4 Argon的成功率为36%，处于两者之间。

与此同时，速度和成本仍然是模型进入生产场景最大的障碍之一。与时间差距相比，人类与模型之间，成本差距较小。

在成本上，成本最低的模型，其完成任务的成本约为按照美国平均时薪计算的人类成本的10倍。而在时间上，模型与人类之间的差距接近100倍。

此外，不同模型之间的成本也存在差异。尽管GPT-6 Astra的表现最好，但同时它的成本也是最高的。

▲任务完成平均成本

GPT-6 Astra平均每项任务成本为16.36美元（约合人民币109.49元）。而成本最低的模型GPT-6.1 Sol，平均每项任务成本仅为1.93美元（约合人民币12.92元）。

在成本上GPT-6 Astra是Sol的8倍，但最终得分只高出4分，分别为69分和65分。

值得注意的是，目前模型大部分成本都来自输入，因为考虑到机械臂和测试场景都比较新颖，同时模型需要处理大量视觉信息，所以约70%的成本用于处理上下文信息。

04.

结语：时间、成本、判断力，

大模型操控机器人的三道门槛

在AA-Robotics v0.1测试中，模型通过摄像头观察环境，结合视觉信息进行推理，控制机械臂完成了任务。

但对于模型和机器人来说，时间和成本依旧是实际操作和落地过程中的硬伤，与人类操作相比仍存在明显差距。

同时，模型对于物理空间中任务完成状态的判断能力也仍需增强。

在研究团队公布出的失败案例中，有的机械臂将物体摆放在对应的位置，明明已经完成了任务，却又将物品反复抓取，无法判断任务是否已经完成，还延长了操作的时间。

更重要的是，当机器人进入真实环境后，还需要处理更多的不确定性，面对包括物体位置变化、抓取失败以及任务状态判断等问题。

因此，如何提高模型的操作效率、降低使用成本，并提升其对任务完成状态的判断能力，仍是后续需要解决的问题。