桌面上放着一只芥末瓶,机械臂伸过去,够不到。按照惯常的逻辑,任务失败,或者请求人类干预。
但这次它没有停。
它在周围扫了一眼,找到一把木勺,伸手把芥末瓶拨倒,然后换了个角度,抓住了瓶盖,把它放进碗里。
![]()
苹果 11 月 6 日发布的机器人操控论文 AMP1(Agentic Manipulation Policies 1)记录了上述片段。没有人在提示词里告诉它可以借助工具,也没有人为它编写对应的子程序。
从拍照到写 Python,再到计算末端轨迹、执行、复查,全程只有一个通用大模型在控制。
论文传送:https://arxiv.org/abs/2611.09892
类似的场景还有:目标物体被遮挡时,它会主动搬走挡路的东西,然后重新扫视;一颗石榴太宽,标准平行夹爪抓不起,它把石榴顶在重物上固定,再用夹爪从下面兜起来,像铲车一样;真机上动作出现偏移,它比对图像和指令位置,诊断出是相机标定误差,自行修正参数后继续;下完一盘国际象棋,把棋子放回对应的抽屉里关好。
![]()
![]()
AMP1 的思路不是近两年机器人领域的主流思路。
视觉-语言-动作模型(VLA)和世界动作模型(WAM)的核心逻辑是数据驱动:用大量机器人示教录像训练一个专用策略,把观察直接映射到动作。而 AMP1 让通用大模型实时看图、写代码、下发轨迹,每次都从零开始,不依赖任何预设技能或专项训练数据。
论文把这类方案统称为 「Agentic Manipulation Policies」 。
在 RoboLab-120 仿真基准的 120 个任务里, Gemini 4 Argon 搭配 AMP1 框架成功率是 85.6%,Claude Opus 5.5 配套时为 82.8%; 当时排行榜上最强的 VLA 和 WAM 分别是 49.2% 和 42.9%。
真机测试(Franka 机械臂,12 个任务,共 108 次试验)中,AMP1 开启错误恢复功能后成功 104 次,成功率 96.3%;不开启时为 94 次,对应 87.0%。对比组里,FLUX 3 Action 成功率 45.4%,π0.5 为 27.8%。
![]()
大模型坐进驾驶舱
AMP1 的基本架构可以用四个词概括:观察、推理、执行、复查。
每一轮,模型从三个摄像头读取图像,获取深度信息和相机标定参数,然后写 Python 代码计算末端执行器的运动轨迹,先预览确认可达,再下发给机械臂,动作结束后再拍一次照,决定下一步。
论文统计了 AMP1 在仿真任务里反复发明的基本动作模式:约 61% 的任务里它会先用点云对齐抓握轴,66% 的任务会先测量容器尺寸,40% 的任务里会在动作被系统拒绝后自行修复计划,39% 的任务会在动作失败后先诊断原因再重规划。
![]()
同一套框架下,各模型在仿真基准上的表现差距相当明显。Opus 5.5 在仿真基准里的成功率是 82.8%,Haiku 5.5 是 51.6%,更旧的 Opus 4.5 只有 35.2%。
从感知角度看,去掉深度信息后,Opus 5.5 的成功率几乎没差,只从 82.8% 降到 81.1%。代价是它需要更努力地「想」,这表现为每个任务平均调用模型的次数从 34.8 次增加到 46.3 次。
但弱模型就不行了。去掉深度和标定信息后,Haiku 5.5 的成功率从 51.6% 直接掉到 10.7%。就算再多给它推理计算量,也无济于事。
![]()
论文还测试了把图像替换成文字描述的方案,结果与此前部分工作的建议相反:Opus 5.5 在只收到文字描述时,成功率大致减半。视觉里包含夹爪与物体的几何对齐细节难以通过语言准确传达。
给 AMP1 加上跨回合持久记忆之后,在双臂操控基准 RoboDojo 的表现变化更明显。零样本成功率从 26.4% 升至 84.1%,超过了当时排行榜首位的 68.9%。
连续学习实验里,把 42 个任务按随机顺序各走一次,整体成功率从 26.4% 升到 57.6%,更早任务积累的经验对后续没见过的任务也有迁移效果。
AMP1 也让我联想到 VIA(Visual Interface Agent)与 CaP-X(Code-as-Policy)。
VIA 就试图绕过传统机器人必须依赖大量动作数据训练的路线,让 Claude Code、Codex 这样的 AI Agent 直接操纵现实世界中的机器人。CaP-X 探索了用 Gemini-3-Pro 和 Claude Opus 4.5 完成长程操控任务,同样不需要后训练。
![]()
图源:VIA: Visual Interface Agent for Robot Control https://via.hengyuanhu.com/?utm_source=chatgpt.com
国内从业者的一些梳理指出,机器人示教数据的采集成本高、泛化差的问题始终存在。
AMP1,某种意义上是对这个困境的一种绕路。
慢,是个大问题吗
真机测试里,AMP1 完成一次成功任务平均需要 280 秒,其中推理时间约 211 秒。对比组的 FLUX 3 Action 平均用 44 秒,π0.5 是 62 秒。
机械臂大部分时间在等模型「想」,而且 AMP1 目前无法在轨迹执行中途重新决策。我们也可以看到,论文里的测试场景基本上是准静态的,物体不会移动,也不需要毫秒级反应。
所以,AMP1 目前还不能用于时间敏感的任务。
论文里提到了几种加速路径:把每次任务写好的代码留存,下次直接复用;在本地运行快速反馈控制器,减少对云端模型的调用;在当前轨迹执行的同时规划下一段;用 AMP 产生的运动数据去蒸馏更小的本地模型。记忆实验的结果印证了这个方向。
在过去几年里,给定能力水平的推理成本每年约降低一个数量级,如果这个趋势延续, 今天的速度劣势会慢慢被时间消耗掉。
对行业来说,AMP1 或许在于它改变了竞争层的位置。机器人制造商不一定需要开发自己的通用认知模型,可以直接购买或部署其他公司的模型能力。
11 月 4 日,苹果研究团队同期提交了人形机器人论文 HALO,部署在宇树 G1 上,在 6 个未预先扫描的真实房间完成 360 次单任务测试,平均成功率超 90%。规划模型运行在机器人背上的 Mac mini M4 Pro 里,调用的是千问系列模型,同样不是苹果自家模型。
![]()
图源:Perceptive Humanoid Motion from Simulation https://arxiv.org/html/2611.06908
两天后,AMP1 出现。从这两篇论文看,苹果在把机器人从硬件设计推向软件能力,而且不打算依赖自己的模型。Mark Gurman 此前报道过苹果正在研发带机械臂的桌面设备,台灯机器人的原型视频也早已公开。
![]()
台灯机器人
对硬件厂商来讲,机器人的软件研发门槛可能下降,应用场景可能增加,硬件厂商的潜在客户也会增加。
但反过来,如果大家都用差不多的通用模型,机器人本身的差异化就可能回到机械设计、执行器、传感器、可靠性和成本。
那对只会组装标准化机械臂、却没有部署渠道和工程优势的公司来说,未必是好消息。
未来的机器人硬件企业,可以宣称自己拥有最强 AI 模型,但也要试着让任何主流模型都能够安全、稳定、低成本地控制自家机器人。
我们正在招募伙伴
简历投递邮箱hr@ifanr.com
✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.