网易首页 > 网易号 > 正文 申请入驻

Natura-1发布:从百万小时人类经验中学会零样本泛化与灵巧操作

0
分享至

编辑|Panda

包馄饨,对大多数人来说很简单:一手托皮,一手挑馅,对折,捏边,收口。很少有人意识到,这个过程里手掌始终在承托一张随时会变形的面皮,手指在不断感受馅料和面皮的回弹,两只手还要在恰当的时机交接。

这类为人手而生的日常动作,对机器人来说,非常困难。但现在,这些困难正在被攻克。如今,在一段 1 分 12 秒、一镜到底的原速视频里,一双机器人灵巧手先成功完成了这一过程。


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


驱动这双手的是北京具身智能公司自然意志(Nature Will)刚发布的Natura-1。这是一个 50B 参数的混合专家(MoE)模型,在 100 万小时的第一人称视角人类经验数据上完成预训练,以语言和视觉为输入,在 100 毫秒的控制回路里驱动 20 自由度的灵巧手。



包馄饨回答的是「能不能做好」。Natura-1 更想回答的,是另一个更难的问题:换一个从没练过的任务,它还能不能直接上手?

灵巧与通用,难以兼得

先看灵巧操作。人手有二十多个自由度,日常物体又常常柔软、易变形、会回弹,每一次接触都会改变物体的状态,机器人只能边做边调;但困难也很明显:复杂度会随自由度指数级增长。平行夹爪可大大简化控制,代价是许多承托、捻转和双手配合的动作难以完成。



在 Nature Will 团队看来,过去的工作因此大多各守一端:要么是面向夹爪的通用策略,要么是为单个任务打造的灵巧操作系统。

而在通用这一端,已经有 π0.7 等一些重要进展,但要在灵巧手上实现这种通用性,首先卡在数据。泛化依赖大规模、多样化的训练数据,而真机数据本就昂贵,灵巧手的遥操作采集更是又慢又难。

Nature Will 团队还点出了一个更根本的循环:机器人只能在它已经会干活的地方采集数据,而它又只能在已有数据的地方干活。要打破这个循环,数据就得来自机器人之外。

于是,越来越多团队把目光投向一个现成的数据源:人类自己。

今年 2 月,英伟达等机构发布的 EgoScale 用 20,854 小时第一视角人类操作视频预训练 VLA 模型,观察到数据规模与验证损失之间的对数线性关系;部署到 22 自由度的灵巧手上后,平均成功率比不做人类数据预训练的基线高出 54%。



人类预训练的 Scaling 行为,收敛时的最优验证损失随人类数据规模变化的函数关系,揭示了近乎完美的对数线性 Scaling Law,arXiv:2602.16710

人类预训练的 Scaling 行为,收敛时的最优验证损失随人类数据规模变化的函数关系,揭示了近乎完美的对数线性 Scaling Law,arXiv:2602.16710

半年之后,这个量级被推高了约 50 倍。8 月 10 日,美国机器人公司 Dyna Robotics 发布世界—动作模型 DYNA-2,预训练使用了超过 100 万小时的第一视角人类视频,且预训练阶段不含任何机器人数据;据 Dyna 报告,数据从 1000 小时逐级放大到 100 万小时,模型在 14 个机器人任务上的平均归一化得分从 20% 升至 53%。



Dyna-2 世界-动作模型的 Scaling Law,基于从 1000 小时到 100 万小时的人类视频数据阶梯进行训练。
https://www.dyna.co/dyna-2

不过,这两项工作都没有绕开同一个环节:把人类经验落到具体任务上,仍需要额外适配。EgoScale 依赖少量人—机对齐数据做中间训练,DYNA-2 在每个评测任务上都用了最多 10 小时的机器人数据做后训练。

人类经验已被证明可以成规模地喂给机器人,下一个问题是:在一双高自由度的灵巧手上,这些经验能否不经逐任务适配,直接迁移到新任务上?

Natura-1

一个模型,两种能力

自然意志成立于 2026 年 1 月,由清华大学电子工程系助理教授丁宁创立,是一家以物理世界基础模型为核心的研究型公司。它给自己定下的目标是通用物理智能(Physical AGI):训练能在真实世界中完成感知、预测、推理与动作闭环的通用基础模型。

Nature Will 团队告诉机器之心,这源于两个判断:

  1. 通用的物理世界基础模型有可能成立;
  2. 人类第一视角数据已经具备了规模化采集的条件。

这两个判断背后的方法论延续自 LLM 研究,即模型、数据和基础设施需要一起发展。Nature Will 团队告诉机器之心:「我们沿用了大语言模型研究中模型规模和数据规模配合增长的思路。早期先用较小的模型和数据快速验证架构,确认方向后再逐步扩大,而不是一开始就确定必须做一个 50B 模型。」

Natura-1 是自然意志的第一个物理世界通用基础模型。它的训练分两步:先在 100 万小时人类经验数据上预训练,再用有限的机器人数据做一轮高效的后训练,把预训练中学到的世界知识适配到灵巧操作上。

不同于许多把「看懂指令」「预测世界」「生成动作」拆成不同模块的系统,Natura-1 是单一的 MoE Transformer,在语言、图像、视频和动作上联合训练。它瞄准两项能力:

  • 灵巧操作,依托灵巧手完成多指协同、物体姿态调整和复杂接触;
  • 零样本指令遵循,面对未见过的场景和任务,直接依据自然语言指令完成操作,包括处理空间约束、多物体关系和否定条件。

Natura-1 能做什么?

Nature Will 团队从三个层面考验了 Natura-1:

  • 长程任务考察一项技能经过训练后,能做得多精细、多持久?
  • 零样本测试考察模型面对没练过的任务,能否直接上手?
  • 最后一部分记录的则可称为涌现能力,即任务不顺利时,模型能否自己想出办法?

灵巧:六段一镜到底的长程任务

除包馄饨外,Nature Will 团队还另外放出了五个 demo:泡茶、做酸奶碗、打包快递、贴手机膜和写毛笔字,最长的一段超过 3 分钟,均为原速、一镜到底、无人工干预。每段都包含多个子任务,机器人要在同一流程里连续处理液体、颗粒、柔软工具和柔性部件。

以 3 分钟的贴手机膜为例,Natura-1 先擦拭屏幕,再把预装保护膜的对位框套上手机,双手对齐压实;随后一只手把手机和对位框抵在夹具上,另一只手连贯地抽出离型膜,最后用指尖沿边角推压赶走气泡。


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


打包快递时,它要在拉菲草、毛绒玩具和笔记本之间切换抓法,一只手压住会回弹的箱盖,另一只手推动胶带器封箱,最后贴标签、扫条码。


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


这些动作一边执行,一边改变着物体的形状和接触条件,模型必须依据实时反馈不断修正,而不是照着固定轨迹走完。更多 demo 可访问 Nature Will 官方文章《行动的意志|Natura-1 物理通用基础模型》。

需要强调的是,这六段演示展示的是任务微调后的操作深度。能否把能力带到没练过的任务上,要看零样本测试。

零样本:没练过的任务

什么才算零样本?Nature Will 团队告诉机器之心:「我们这里说的 Zero-shot,是指模型完成预训练和真机后训练后,不再针对测试任务专门采集数据、追加训练,就直接接受指令并执行。」

团队搭建了一套覆盖 12 个能力维度的基准测试,测试任务及其场景和动作组合都未出现在后训练数据中;每段测试视频旁,还并排放出训练集中最相近的示范,供外界判断差异。例如一项任务要求把苹果放进碗、把瓶子放上托盘,再把托盘端走,而训练集里只有「拿起水果」和「端起已装好的托盘」这样的分立动作。Natura-1 把它们组合了起来,端托盘时也没碰到旁边的另一只托盘。


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


在这套基准上,π0.5 和 OpenAI 的 GPT-6 Astra(以编写代码的方式充当控制策略)在灵巧手平台上都未能得分;换到夹爪平台后,二者分别得到 13.5 分和 16.7 分,Natura-1 在灵巧手上得到53.4分(Base)和59.1分(Agentic)。



不仅如此,Natura-1 在执行时间上也优势明显。



团队还用研究员日常临时想到的开放指令做了测试,不少题目故意出得刁钻。例如同样是把牙刷盒和水瓶放进筐里,指令分别要求双手同时放、先左后右、先右后左,Natura-1 都按要求执行了。


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


对于「没见过」,团队给出了限定:「预训练数据覆盖很广,其中可能已经包含相关物品和操作经验,因此这里的『未见过』,主要是相对于真机后训练而言。」他们举的例子是按下笔记本电脑的空格键:机器人后训练数据里没有这个任务,但人类视频里很可能出现过类似的动作。



这点出了零样本在这条路线上的含义:人类视频里的经验,能否在没有对应机器人数据时,被直接调用到真机上。用团队的话说:「我们关注的,不只是换一个物体还能不能抓取,也包括面对没有专门训练过的任务要求,能否把已有能力组织起来、完成任务。」

意料之外的涌现

团队还观察到一些不在测试计划内的行为。

在一个故意布置的场景里,装着毛线的篮子放在够不到的高台上,提手里穿着一根长杆,指令只有一句「试试拿到毛线(Try to grasp the yarn)」。Natura-1 抓住长杆把篮子拉近,再一只手稳住长杆,另一只手取出毛线。另一次,它没能从边缘捏起一张扑克牌,便改为把牌推到盒子边缘、让一部分悬空,再双手配合拿起。据团队介绍,这些中间步骤在机器人示范数据里都没有对应。





团队回忆,数据规模较小时,模型没抓住,手却照着原计划继续移动;规模扩大后,它开始能及时调整、重新尝试。Nature Will 团队告诉机器之心:「我们在真机后训练中并没有刻意采集这类失败恢复示范,但模型仍然表现出了恢复能力。我们的判断是,大规模人类预训练数据包含了丰富的调整和重试经验,模型从中学到了如何应对操作中的变化。」


视频链接:https://mp.weixin.qq.com/s/C0ZEZPRBPdA7f9T8_4pGSQ


团队也坦承:「这是我们在扩大训练规模时观察到的现象;具体能力来源和机制,还需要进一步研究。」

能力从哪里来?

在 Nature Will 团队看来,长程灵巧操作和零样本泛化「不会偶然发生」。人类经验数量充足,但只是原料,要把它变成机器人的动作,需要数据、模型和基础设施一起设计:

  • 数据负责给每段录像配上语言和动作监督
  • 模型负责从每条轨迹里学到尽可能多的东西
  • 基础设施则既要撑起大规模训练,又要在 100 毫秒内完成推理

数据

Natura-1 的训练数据是筛选后的 100 万小时第一视角人类经验,包含约 6170 万个片段、31.8 万个任务和 1.4 万个场景,以受控采集为主,辅以互联网第一视角视频。



团队用结构化的任务分类体系和智能体工作流分析覆盖缺口,把采集优先级调向稀缺区域。原始录像要经过清洗去重、动作重建和分层语言标注,才能变成「视频—语言—动作」轨迹;在内部基准上,其自研动作重建管线的关节位置误差比现有开源方法低 41%。



Natura-1 数据系统示意图

选择人类数据和选择灵巧手是同一个决定。Nature Will 团队告诉机器之心:「家庭和工业场景中的很多工具、操作方式都是围绕人手设计的,我们希望机器人能够适应这些工具,而不是每进入一个场景都重新改造工具和流程。」另一方面,人类第一视角数据更容易规模化采集,而「使用灵巧手,能够保留其中更丰富的手部动作信息,减少把人手动作压缩成夹爪开合时的信息损失」。

基础设施

「Make everything scalable」是 Nature Will 团队的技术理念:

  • 数据侧,数据湖仓管理着数十 PB 数据,基于 Kubernetes 的并行管线每周能产出 35 万小时,吞吐随算力近似线性增长。团队介绍,这套管线的设计目标是:「当数据量增加十倍时,通过相应增加约十倍资源,仍能在接近原来的时间内完成处理,而不必重新搭建整套系统。」
  • 训练侧,自研框架在数百张 GPU 上实现超过 50% 的模型算力利用率,自研注意力算子的吞吐是调优后 FlexAttention 的 6 倍以上。
  • 推理侧,用 Rust 重写的服务框架把端到端延迟压进 100 毫秒,满足真机实时控制。



Nature Will 团队表示:「这背后的思路与大语言模型的基础设施建设是一致的:数据和模型规模会持续增长,系统需要提前为这种增长做好准备。」

模型

Natura-1 把整个任务片段按语言、图像、视频和动作 token 排成一条序列,自回归建模,骨干是标准的 MoE Transformer。

它的核心思路是把视频和动作看作同一物理状态的两种投影:动作标签稀缺,视频却很丰富,模型以过去的视频作为记忆、预测未来的视频,用流匹配同时训练视频与动作,从每条轨迹里获得更多监督。为了防止模型只看画面、忽略指令,预训练还借助细粒度描述让语言「承重」,使不同的意图对应不同的预测结果。



Scaling 曲线显示,训练经验从约 4.4 万小时增至 100 万小时,模型在人类留出数据上的动作预测误差(MSE)下降 47.7%;同一套权重在真机留出数据上,误差下降 67.7%。这两项是 Teacher Forcing 下的预测误差,而非任务成功率,但说明人类经验的增长确实能传导到机器人身上。



Natura-1 Scaling 曲线

结语

Natura-1 已经给出了灵巧与通用可以共存的早期证据。至于下一阶段,Nature Will 团队告诉机器之心:「我们最核心的目标,是继续提升模型在不同任务和场景中的泛化能力,并让它更可靠地完成真实世界里的复杂任务。」

团队表示,目标是从「能够完成部分步骤」走向「稳定、高效地完成整件事情」。为此,他们计划把触觉信息加入数据和模型,在更大规模的数据上预训练,降低迁移到机器人时的适配成本,并让模型能在更便宜的硬件上运行。团队预计,这将是一项长期投入。

放到更大的行业背景里看,Natura-1 所在的这条路线,正在从少数团队的押注变成越来越多人的共识。今年 6 月,一项名为 HumanScale 的研究在相同数据规模下对比了两种预训练数据,发现第一视角人类视频的效果可以超过遥操作采集的真机数据,在分布外泛化上优势最明显。8 月发布 DYNA-2 的 Dyna Robotics 则表示,下一步要把训练规模扩大到 1000 万小时。

当百万小时不再稀缺,比拼的重点也在转移:同样的人类视频,能否被更准确地重建成动作、标注成语言;模型落到机器人身上,需要多少适配;以及选择什么样的本体去承接这些经验。Natura-1 押注的是其中难度最高的一种组合,用一双高自由度的灵巧手去承接人类经验,并让同一个模型直接面对没练过的任务。这条路能走多远,既取决于灵巧手的稳定性和成本能否跟上,也取决于人类经验的 Scaling 曲线能否继续延伸。



在一个由人手塑造、供人手取用的世界里,向人手学习能让机器人走多远?Natura Will 交出了第一份可以检验的答卷。

官方博客:
https://www.naturewill.com/blog/natura-1

官方推文:
https://x.com/naturewill/status/2109858475333570565

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
苏联解体后,俄罗斯在34年几乎错过了所有技术革命,究竟在忙什么

苏联解体后,俄罗斯在34年几乎错过了所有技术革命,究竟在忙什么

清沐执笔
2026-10-13 21:31:22
欧冠4-1逆转!19岁天才3分钟2助 13亿豪门征服魔鬼主场10战全胜狂轰43球

欧冠4-1逆转!19岁天才3分钟2助 13亿豪门征服魔鬼主场10战全胜狂轰43球

狍子歪解体坛
2026-10-14 05:08:15
中国将出台更多刺激经济措施

中国将出台更多刺激经济措施

俄罗斯卫星通讯社
2026-10-14 15:13:53
闲鱼惊现9台米格-29发动机,55万包邮,卖家说适合教学改装

闲鱼惊现9台米格-29发动机,55万包邮,卖家说适合教学改装

止戈军是我
2026-10-13 12:10:10
删了Cookie换了VPN,网站为什么还认得你?

删了Cookie换了VPN,网站为什么还认得你?

野生运营
2026-10-13 15:31:24
10月14日提醒所有退休人员:十月份养老金到账,一定要核对三样内容

10月14日提醒所有退休人员:十月份养老金到账,一定要核对三样内容

老孙说
2026-10-14 09:25:49
指责直播镜头拍郑钦文隐私部位,心态猥琐

指责直播镜头拍郑钦文隐私部位,心态猥琐

李清的一杯好酒
2026-10-13 17:49:12
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

In风尚
2026-10-14 06:03:45
日本网友集体破大防!看中国孩子吃香蕉不可置信,自己吃难民食物

日本网友集体破大防!看中国孩子吃香蕉不可置信,自己吃难民食物

史智文道
2026-10-13 14:28:50
002080,跌停!葛卫东刚7亿元重仓

002080,跌停!葛卫东刚7亿元重仓

证券时报
2026-10-14 14:18:03
油价大降!一夜崩落,10月12日全国92,95汽油“大涨0.69元/升”,近2个月“失控”上涨后恢复下降,10月15日调价,预跌230元/吨!

油价大降!一夜崩落,10月12日全国92,95汽油“大涨0.69元/升”,近2个月“失控”上涨后恢复下降,10月15日调价,预跌230元/吨!

猪友巴巴
2026-10-12 15:00:06
蔡国庆妻子秦娟曝光,家境优渥低调隐身,用心教子两儿皆出彩

蔡国庆妻子秦娟曝光,家境优渥低调隐身,用心教子两儿皆出彩

老娱记啊
2026-10-14 15:41:16
谁能想到!郑钦文本以为中网夺冠已是最大幸福,谁知赛后惊喜连连,幸福直接再升级

谁能想到!郑钦文本以为中网夺冠已是最大幸福,谁知赛后惊喜连连,幸福直接再升级

惊鸿照影b
2026-10-14 04:25:27
单位欠缴社保,最高罚3倍!11月1日起施行!社保断缴,远不止“几个月没交钱”那么简单!

单位欠缴社保,最高罚3倍!11月1日起施行!社保断缴,远不止“几个月没交钱”那么简单!

本账号停运
2026-10-13 20:47:41
张靓颖演唱会造型大翻车!胸下垂胯宽,又壮又胖,腰间赘肉明显

张靓颖演唱会造型大翻车!胸下垂胯宽,又壮又胖,腰间赘肉明显

孤城落日
2026-10-13 16:23:06
不服输!连发三条,特朗普发死亡威胁!

不服输!连发三条,特朗普发死亡威胁!

李荣茂
2026-10-14 09:04:14
尊界测试刹车踏板的速度,比蜗牛还慢5倍

尊界测试刹车踏板的速度,比蜗牛还慢5倍

基本常识
2026-10-13 21:37:31
他突然离世!确诊才一年,太可惜了……

他突然离世!确诊才一年,太可惜了……

黎兜兜
2026-10-14 14:09:17
美国没提供导弹预警?“我们要把俄罗斯炼油厂和港口都烧成灰烬!”

美国没提供导弹预警?“我们要把俄罗斯炼油厂和港口都烧成灰烬!”

鹰眼Defence
2026-10-14 16:53:21
被严重低估的长寿运动!每周2次,比跑步更养身体

被严重低估的长寿运动!每周2次,比跑步更养身体

解说阿洎
2026-10-12 15:46:55
2026-10-14 19:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14200文章数 142748关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

12岁女孩打工10天后右臂卷入机器受伤 鉴定为六级伤残

头条要闻

12岁女孩打工10天后右臂卷入机器受伤 鉴定为六级伤残

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

时尚
旅游
亲子
健康
游戏

今年秋冬最火搭配:毛衣+阔腿裤,怎么穿都时髦!

旅游要闻

越南对中国游客试行免签,为何只选中庆和省?

亲子要闻

不打针不促排!华南首例免促排助孕方案在深圳实现妊娠

孩子运动莫名晕倒?当心这类疾病

又一款PS4游戏摆脱模拟器!RTX 2060S跑出67帧

无障碍浏览 进入关怀版