网易首页 > 网易号 > 正文 申请入驻

苹果给Claude、Gemini装上机械臂,没人教也会拿勺子干活,还能自己纠错

0
分享至

桌面上放着一只芥末瓶,机械臂伸过去,够不到。按照惯常的逻辑,任务失败,或者请求人类干预。

但这次它没有停。

它在周围扫了一眼,找到一把木勺,伸手把芥末瓶拨倒,然后换了个角度,抓住了瓶盖,把它放进碗里。


苹果 11 月 6 日发布的机器人操控论文 AMP1(Agentic Manipulation Policies 1)记录了上述片段。没有人在提示词里告诉它可以借助工具,也没有人为它编写对应的子程序。

从拍照到写 Python,再到计算末端轨迹、执行、复查,全程只有一个通用大模型在控制。

论文传送:https://arxiv.org/abs/2611.09892

类似的场景还有:目标物体被遮挡时,它会主动搬走挡路的东西,然后重新扫视;一颗石榴太宽,标准平行夹爪抓不起,它把石榴顶在重物上固定,再用夹爪从下面兜起来,像铲车一样;真机上动作出现偏移,它比对图像和指令位置,诊断出是相机标定误差,自行修正参数后继续;下完一盘国际象棋,把棋子放回对应的抽屉里关好。



AMP1 的思路不是近两年机器人领域的主流思路。

视觉-语言-动作模型(VLA)和世界动作模型(WAM)的核心逻辑是数据驱动:用大量机器人示教录像训练一个专用策略,把观察直接映射到动作。而 AMP1 让通用大模型实时看图、写代码、下发轨迹,每次都从零开始,不依赖任何预设技能或专项训练数据。

论文把这类方案统称为 「Agentic Manipulation Policies」 。

在 RoboLab-120 仿真基准的 120 个任务里, Gemini 4 Argon 搭配 AMP1 框架成功率是 85.6%,Claude Opus 5.5 配套时为 82.8%; 当时排行榜上最强的 VLA 和 WAM 分别是 49.2% 和 42.9%。

真机测试(Franka 机械臂,12 个任务,共 108 次试验)中,AMP1 开启错误恢复功能后成功 104 次,成功率 96.3%;不开启时为 94 次,对应 87.0%。对比组里,FLUX 3 Action 成功率 45.4%,π0.5 为 27.8%。


大模型坐进驾驶舱

AMP1 的基本架构可以用四个词概括:观察、推理、执行、复查。

每一轮,模型从三个摄像头读取图像,获取深度信息和相机标定参数,然后写 Python 代码计算末端执行器的运动轨迹,先预览确认可达,再下发给机械臂,动作结束后再拍一次照,决定下一步。

论文统计了 AMP1 在仿真任务里反复发明的基本动作模式:约 61% 的任务里它会先用点云对齐抓握轴,66% 的任务会先测量容器尺寸,40% 的任务里会在动作被系统拒绝后自行修复计划,39% 的任务会在动作失败后先诊断原因再重规划。


同一套框架下,各模型在仿真基准上的表现差距相当明显。Opus 5.5 在仿真基准里的成功率是 82.8%,Haiku 5.5 是 51.6%,更旧的 Opus 4.5 只有 35.2%。

从感知角度看,去掉深度信息后,Opus 5.5 的成功率几乎没差,只从 82.8% 降到 81.1%。代价是它需要更努力地「想」,这表现为每个任务平均调用模型的次数从 34.8 次增加到 46.3 次。

但弱模型就不行了。去掉深度和标定信息后,Haiku 5.5 的成功率从 51.6% 直接掉到 10.7%。就算再多给它推理计算量,也无济于事。


论文还测试了把图像替换成文字描述的方案,结果与此前部分工作的建议相反:Opus 5.5 在只收到文字描述时,成功率大致减半。视觉里包含夹爪与物体的几何对齐细节难以通过语言准确传达。

给 AMP1 加上跨回合持久记忆之后,在双臂操控基准 RoboDojo 的表现变化更明显。零样本成功率从 26.4% 升至 84.1%,超过了当时排行榜首位的 68.9%。

连续学习实验里,把 42 个任务按随机顺序各走一次,整体成功率从 26.4% 升到 57.6%,更早任务积累的经验对后续没见过的任务也有迁移效果。

AMP1 也让我联想到 VIA(Visual Interface Agent)与 CaP-X(Code-as-Policy)。

VIA 就试图绕过传统机器人必须依赖大量动作数据训练的路线,让 Claude Code、Codex 这样的 AI Agent 直接操纵现实世界中的机器人。CaP-X 探索了用 Gemini-3-Pro 和 Claude Opus 4.5 完成长程操控任务,同样不需要后训练。


图源:VIA: Visual Interface Agent for Robot Control https://via.hengyuanhu.com/?utm_source=chatgpt.com

国内从业者的一些梳理指出,机器人示教数据的采集成本高、泛化差的问题始终存在。

AMP1,某种意义上是对这个困境的一种绕路。

慢,是个大问题吗

真机测试里,AMP1 完成一次成功任务平均需要 280 秒,其中推理时间约 211 秒。对比组的 FLUX 3 Action 平均用 44 秒,π0.5 是 62 秒。

机械臂大部分时间在等模型「想」,而且 AMP1 目前无法在轨迹执行中途重新决策。我们也可以看到,论文里的测试场景基本上是准静态的,物体不会移动,也不需要毫秒级反应。

所以,AMP1 目前还不能用于时间敏感的任务。

论文里提到了几种加速路径:把每次任务写好的代码留存,下次直接复用;在本地运行快速反馈控制器,减少对云端模型的调用;在当前轨迹执行的同时规划下一段;用 AMP 产生的运动数据去蒸馏更小的本地模型。记忆实验的结果印证了这个方向。

在过去几年里,给定能力水平的推理成本每年约降低一个数量级,如果这个趋势延续, 今天的速度劣势会慢慢被时间消耗掉。

对行业来说,AMP1 或许在于它改变了竞争层的位置。机器人制造商不一定需要开发自己的通用认知模型,可以直接购买或部署其他公司的模型能力。

11 月 4 日,苹果研究团队同期提交了人形机器人论文 HALO,部署在宇树 G1 上,在 6 个未预先扫描的真实房间完成 360 次单任务测试,平均成功率超 90%。规划模型运行在机器人背上的 Mac mini M4 Pro 里,调用的是千问系列模型,同样不是苹果自家模型。


图源:Perceptive Humanoid Motion from Simulation https://arxiv.org/html/2611.06908

两天后,AMP1 出现。从这两篇论文看,苹果在把机器人从硬件设计推向软件能力,而且不打算依赖自己的模型。Mark Gurman 此前报道过苹果正在研发带机械臂的桌面设备,台灯机器人的原型视频也早已公开。


台灯机器人

对硬件厂商来讲,机器人的软件研发门槛可能下降,应用场景可能增加,硬件厂商的潜在客户也会增加。

但反过来,如果大家都用差不多的通用模型,机器人本身的差异化就可能回到机械设计、执行器、传感器、可靠性和成本。

那对只会组装标准化机械臂、却没有部署渠道和工程优势的公司来说,未必是好消息。

未来的机器人硬件企业,可以宣称自己拥有最强 AI 模型,但也要试着让任何主流模型都能够安全、稳定、低成本地控制自家机器人。

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
震惊!央视原编导“哑巴”证实:与黄仁勋传绯闻的黄乐,就是曾经和她一个办公室的黄乐

震惊!央视原编导“哑巴”证实:与黄仁勋传绯闻的黄乐,就是曾经和她一个办公室的黄乐

火山詩话
2026-11-10 11:06:57
三星杯16强战上半区中国棋手3胜2负,时越党毅飞夏晨琨晋级八强

三星杯16强战上半区中国棋手3胜2负,时越党毅飞夏晨琨晋级八强

野狐围棋
2026-11-12 17:15:10
江西省委常委、赣州市委书记黄喜忠任副省长,任珠峰卸任

江西省委常委、赣州市委书记黄喜忠任副省长,任珠峰卸任

澎湃新闻
2026-11-12 10:22:26
离异带着九岁儿子征婚,只要一个条件,过来人的回帖让多少母亲沉默了

离异带着九岁儿子征婚,只要一个条件,过来人的回帖让多少母亲沉默了

蝴蝶花雨话教育
2026-11-10 00:05:11
连输11局!28岁萨巴伦卡情绪失控当众怒吼 主持人吐槽:疯了?

连输11局!28岁萨巴伦卡情绪失控当众怒吼 主持人吐槽:疯了?

风过乡
2026-11-12 08:23:31
国务院任免国家工作人员 任命荣海楼为国家税务总局副局长

国务院任免国家工作人员 任命荣海楼为国家税务总局副局长

证券时报
2026-11-12 16:49:03
突发!黄仁勋婚外情又来一个,董事会启动罢免,英伟达暴跌 8%!

突发!黄仁勋婚外情又来一个,董事会启动罢免,英伟达暴跌 8%!

起点财经
2026-11-12 08:49:04
进口暴跌72%!日媒给出大胆判断:中国军工正在打一场静默战争

进口暴跌72%!日媒给出大胆判断:中国军工正在打一场静默战争

福禄表嫂
2026-11-10 19:34:28
云南景洪一丛林飞跃项目发生高坠事故,9名游客坠落,其中6人九级伤残,调查报告公布:安全钢索自固定端脱落,项目负责人被建议行政处罚

云南景洪一丛林飞跃项目发生高坠事故,9名游客坠落,其中6人九级伤残,调查报告公布:安全钢索自固定端脱落,项目负责人被建议行政处罚

91.6陕西交通广播
2026-11-12 07:05:43
转会了?中国U17队FIFA官方名单中,显示梁仕宇效力上海海港

转会了?中国U17队FIFA官方名单中,显示梁仕宇效力上海海港

懂球帝
2026-11-12 16:12:19
想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

想钱想疯了!记者把燃气灶里的电池换成没电的,然后通过啄木鸟平台下单报修,结果5个师傅只有2个说了实话

扶苏聊历史
2026-11-12 16:31:35
11月11日,双11当天,人社部、财政部关于2020年上调退休人员基本养老金的通知文件会正式公布吗?

11月11日,双11当天,人社部、财政部关于2020年上调退休人员基本养老金的通知文件会正式公布吗?

骑驴追光者
2026-11-11 12:53:27
40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

代军哥哥谈娱乐
2026-11-11 10:21:11
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
直降1300元!苹果突然官宣,iPhone 18 Pro Max,开启降价!

直降1300元!苹果突然官宣,iPhone 18 Pro Max,开启降价!

科技堡垒
2026-11-11 08:00:51
火箭对阵爵士前瞻 面对全联盟进攻最差的球队 火箭会阴沟里翻船吗

火箭对阵爵士前瞻 面对全联盟进攻最差的球队 火箭会阴沟里翻船吗

大话火箭队
2026-11-12 18:36:20
借灾造势、误读政策、蹭炒热点,多部门联动治理谣言乱象

借灾造势、误读政策、蹭炒热点,多部门联动治理谣言乱象

澎湃新闻
2026-11-11 18:19:04
黄仁勋为了业绩都跟客户睡觉了,我们为什么不可以?

黄仁勋为了业绩都跟客户睡觉了,我们为什么不可以?

News脑洞
2026-11-09 15:22:46
霍启山娜然12月12日香港举行婚礼,喜帖曝光,霍震霆朱玲玲联合署名

霍启山娜然12月12日香港举行婚礼,喜帖曝光,霍震霆朱玲玲联合署名

开开森森
2026-11-11 16:26:34
2026-11-12 19:51:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7049文章数 26944关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

体育要闻

西部狂飙!湖刺勇集体暴走 连胜到何时?

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

手机
亲子
本地
游戏
健康

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

亲子要闻

幼儿园3年减少5.73万所

本地新闻

乌兰察布:以前种土豆,现在种Token

《光环:战役进化》移植Dreamcast !双模式可运行

痘痘长到25岁还没完?查查内分泌

无障碍浏览 进入关怀版