网易首页 > 网易号 > 正文 申请入驻

苹果给Claude、Gemini装上机械臂,没人教也会拿勺子干活,还能自己纠错

0
分享至

桌面上放着一只芥末瓶,机械臂伸过去,够不到。按照惯常的逻辑,任务失败,或者请求人类干预。

但这次它没有停。

它在周围扫了一眼,找到一把木勺,伸手把芥末瓶拨倒,然后换了个角度,抓住了瓶盖,把它放进碗里。


苹果 11 月 6 日发布的机器人操控论文 AMP1(Agentic Manipulation Policies 1)记录了上述片段。没有人在提示词里告诉它可以借助工具,也没有人为它编写对应的子程序。

从拍照到写 Python,再到计算末端轨迹、执行、复查,全程只有一个通用大模型在控制。

论文传送:https://arxiv.org/abs/2611.09892

类似的场景还有:目标物体被遮挡时,它会主动搬走挡路的东西,然后重新扫视;一颗石榴太宽,标准平行夹爪抓不起,它把石榴顶在重物上固定,再用夹爪从下面兜起来,像铲车一样;真机上动作出现偏移,它比对图像和指令位置,诊断出是相机标定误差,自行修正参数后继续;下完一盘国际象棋,把棋子放回对应的抽屉里关好。



AMP1 的思路不是近两年机器人领域的主流思路。

视觉-语言-动作模型(VLA)和世界动作模型(WAM)的核心逻辑是数据驱动:用大量机器人示教录像训练一个专用策略,把观察直接映射到动作。而 AMP1 让通用大模型实时看图、写代码、下发轨迹,每次都从零开始,不依赖任何预设技能或专项训练数据。

论文把这类方案统称为 「Agentic Manipulation Policies」 。

在 RoboLab-120 仿真基准的 120 个任务里, Gemini 4 Argon 搭配 AMP1 框架成功率是 85.6%,Claude Opus 5.5 配套时为 82.8%; 当时排行榜上最强的 VLA 和 WAM 分别是 49.2% 和 42.9%。

真机测试(Franka 机械臂,12 个任务,共 108 次试验)中,AMP1 开启错误恢复功能后成功 104 次,成功率 96.3%;不开启时为 94 次,对应 87.0%。对比组里,FLUX 3 Action 成功率 45.4%,π0.5 为 27.8%。


大模型坐进驾驶舱

AMP1 的基本架构可以用四个词概括:观察、推理、执行、复查。

每一轮,模型从三个摄像头读取图像,获取深度信息和相机标定参数,然后写 Python 代码计算末端执行器的运动轨迹,先预览确认可达,再下发给机械臂,动作结束后再拍一次照,决定下一步。

论文统计了 AMP1 在仿真任务里反复发明的基本动作模式:约 61% 的任务里它会先用点云对齐抓握轴,66% 的任务会先测量容器尺寸,40% 的任务里会在动作被系统拒绝后自行修复计划,39% 的任务会在动作失败后先诊断原因再重规划。


同一套框架下,各模型在仿真基准上的表现差距相当明显。Opus 5.5 在仿真基准里的成功率是 82.8%,Haiku 5.5 是 51.6%,更旧的 Opus 4.5 只有 35.2%。

从感知角度看,去掉深度信息后,Opus 5.5 的成功率几乎没差,只从 82.8% 降到 81.1%。代价是它需要更努力地「想」,这表现为每个任务平均调用模型的次数从 34.8 次增加到 46.3 次。

但弱模型就不行了。去掉深度和标定信息后,Haiku 5.5 的成功率从 51.6% 直接掉到 10.7%。就算再多给它推理计算量,也无济于事。


论文还测试了把图像替换成文字描述的方案,结果与此前部分工作的建议相反:Opus 5.5 在只收到文字描述时,成功率大致减半。视觉里包含夹爪与物体的几何对齐细节难以通过语言准确传达。

给 AMP1 加上跨回合持久记忆之后,在双臂操控基准 RoboDojo 的表现变化更明显。零样本成功率从 26.4% 升至 84.1%,超过了当时排行榜首位的 68.9%。

连续学习实验里,把 42 个任务按随机顺序各走一次,整体成功率从 26.4% 升到 57.6%,更早任务积累的经验对后续没见过的任务也有迁移效果。

AMP1 也让我联想到 VIA(Visual Interface Agent)与 CaP-X(Code-as-Policy)。

VIA 就试图绕过传统机器人必须依赖大量动作数据训练的路线,让 Claude Code、Codex 这样的 AI Agent 直接操纵现实世界中的机器人。CaP-X 探索了用 Gemini-3-Pro 和 Claude Opus 4.5 完成长程操控任务,同样不需要后训练。


图源:VIA: Visual Interface Agent for Robot Control https://via.hengyuanhu.com/?utm_source=chatgpt.com

国内从业者的一些梳理指出,机器人示教数据的采集成本高、泛化差的问题始终存在。

AMP1,某种意义上是对这个困境的一种绕路。

慢,是个大问题吗

真机测试里,AMP1 完成一次成功任务平均需要 280 秒,其中推理时间约 211 秒。对比组的 FLUX 3 Action 平均用 44 秒,π0.5 是 62 秒。

机械臂大部分时间在等模型「想」,而且 AMP1 目前无法在轨迹执行中途重新决策。我们也可以看到,论文里的测试场景基本上是准静态的,物体不会移动,也不需要毫秒级反应。

所以,AMP1 目前还不能用于时间敏感的任务。

论文里提到了几种加速路径:把每次任务写好的代码留存,下次直接复用;在本地运行快速反馈控制器,减少对云端模型的调用;在当前轨迹执行的同时规划下一段;用 AMP 产生的运动数据去蒸馏更小的本地模型。记忆实验的结果印证了这个方向。

在过去几年里,给定能力水平的推理成本每年约降低一个数量级,如果这个趋势延续, 今天的速度劣势会慢慢被时间消耗掉。

对行业来说,AMP1 或许在于它改变了竞争层的位置。机器人制造商不一定需要开发自己的通用认知模型,可以直接购买或部署其他公司的模型能力。

11 月 4 日,苹果研究团队同期提交了人形机器人论文 HALO,部署在宇树 G1 上,在 6 个未预先扫描的真实房间完成 360 次单任务测试,平均成功率超 90%。规划模型运行在机器人背上的 Mac mini M4 Pro 里,调用的是千问系列模型,同样不是苹果自家模型。


图源:Perceptive Humanoid Motion from Simulation https://arxiv.org/html/2611.06908

两天后,AMP1 出现。从这两篇论文看,苹果在把机器人从硬件设计推向软件能力,而且不打算依赖自己的模型。Mark Gurman 此前报道过苹果正在研发带机械臂的桌面设备,台灯机器人的原型视频也早已公开。


台灯机器人

对硬件厂商来讲,机器人的软件研发门槛可能下降,应用场景可能增加,硬件厂商的潜在客户也会增加。

但反过来,如果大家都用差不多的通用模型,机器人本身的差异化就可能回到机械设计、执行器、传感器、可靠性和成本。

那对只会组装标准化机械臂、却没有部署渠道和工程优势的公司来说,未必是好消息。

未来的机器人硬件企业,可以宣称自己拥有最强 AI 模型,但也要试着让任何主流模型都能够安全、稳定、低成本地控制自家机器人。

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

老夳古装影视解说
2026-11-11 16:48:41
美国把委内瑞拉总统强行带走,中国没动;掉头又去轰炸伊朗,中国还是没动。华盛顿情报圈开始坐不住了:中国在等什么?

美国把委内瑞拉总统强行带走,中国没动;掉头又去轰炸伊朗,中国还是没动。华盛顿情报圈开始坐不住了:中国在等什么?

扶苏聊历史
2026-11-11 16:29:46
成龙给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

成龙给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

LULU生活家
2026-11-12 19:30:35
40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

代军哥哥谈娱乐
2026-11-11 10:21:11
全军覆没!中国队意外无缘男单8强,几名主力被淘汰出局

全军覆没!中国队意外无缘男单8强,几名主力被淘汰出局

罗掌柜体育
2026-11-12 13:45:08
马斯克是一个什么人?两点证明十恶不赦!

马斯克是一个什么人?两点证明十恶不赦!

维美丽心甜
2026-11-09 19:30:08
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
足球报:美国U17退出世少赛,可能影响中国队出线形势

足球报:美国U17退出世少赛,可能影响中国队出线形势

懂球帝
2026-11-12 15:08:15
离婚后黄圣依给娃做饭,看了她做的菜,就懂安迪能成功减肥50斤了

离婚后黄圣依给娃做饭,看了她做的菜,就懂安迪能成功减肥50斤了

椰黄娱乐
2026-11-12 11:10:59
故事:云南女黑老大林秋红,横行昆明十年,因惹到一男子最终覆灭

故事:云南女黑老大林秋红,横行昆明十年,因惹到一男子最终覆灭

一根香烟的少女
2025-04-18 11:22:59
冯忠华任广东省委副书记

冯忠华任广东省委副书记

澎湃新闻
2026-11-12 13:49:02
形势严重!这5个行业,发不下工资来了!

形势严重!这5个行业,发不下工资来了!

职场资深秘书
2026-10-31 10:37:03
"妲己"终入霍家门!43岁中国香港足总主席霍启山,将迎娶29岁女星

"妲己"终入霍家门!43岁中国香港足总主席霍启山,将迎娶29岁女星

秋姐居
2026-11-12 11:50:56
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
不是危言耸听!英国极有可能会成为俄乌战争中,第1个倒下的国家

不是危言耸听!英国极有可能会成为俄乌战争中,第1个倒下的国家

福建睿平
2026-11-05 06:44:02
1958年,蒋介石与张学良最后一次单独见面,张向蒋敬礼后泪水夺眶而出,谈起西安事变,蒋介石一句话彻底断绝张重获自由的念想

1958年,蒋介石与张学良最后一次单独见面,张向蒋敬礼后泪水夺眶而出,谈起西安事变,蒋介石一句话彻底断绝张重获自由的念想

磊子讲史
2026-08-27 15:33:29
APEC 在即,中方只放行一批人,高市早苗的盘算当场落空

APEC 在即,中方只放行一批人,高市早苗的盘算当场落空

小陆搞笑日常
2026-11-12 08:33:57
1978年罗瑞卿客死异乡,邓公马上定下规定,中央领导必须严格遵守!

1978年罗瑞卿客死异乡,邓公马上定下规定,中央领导必须严格遵守!

大运河时空
2026-11-12 08:10:05
大势已定!日方紧盯峰会礼宾排位,结果没意外,红线半分不容触碰

大势已定!日方紧盯峰会礼宾排位,结果没意外,红线半分不容触碰

古书奇谈
2026-11-11 17:26:20
“协和4+4”博士恢复招生,国内仅清北复交浙本科毕业生可报名,专业限定理工农,以挽回董某莹影响

“协和4+4”博士恢复招生,国内仅清北复交浙本科毕业生可报名,专业限定理工农,以挽回董某莹影响

东东趣谈
2026-11-11 19:20:10
2026-11-12 19:59:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7049文章数 26944关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

体育要闻

西部狂飙!湖刺勇集体暴走 连胜到何时?

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

手机
艺术
房产
公开课
军事航空

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

艺术要闻

17位 国外画家笔下的女子

房产要闻

4.1亿起拍!停了7年,亚龙湾终于要卖地了!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

恢复战前一半生产能力 伊朗"仍能战斗"

无障碍浏览 进入关怀版