网易首页 > 网易号 > 正文 申请入驻

刚刚,宇树通用人形“大脑”来了!能干64种活,多项空间能力超GPT-6

0
分享至


机器人前瞻(公众号:robot_pro)
作者 江宇
编辑 漠影

机器人前瞻9月10日报道,刚刚,宇树公开了新一代通用人形机器人基础模型UnifoLM-WLA-1.0

这是一款参数量为60亿的具身智能模型。宇树称,其使用约2500小时高质量真机数据训练,一套模型即可驱动机器人完成64项桌面操作和全身操作任务,并能够同时适配平行夹爪以及两类灵巧手

从官方展示来看,这64项任务包括10项全身操作任务和54项桌面操作任务。

▲倒垃圾(前半部分)

▲倒垃圾(后半部分)

前者涵盖倒垃圾、把衣服放进洗衣机、整理鞋子、收拾浴室和厨房、铺床、取蔬菜、整理沙发等场景;

桌面任务则包括叠毛巾、叠衣服、收纳餐盘、电池充电等。

值得注意的是,宇树为UnifoLM-WLA-1.0加入了一套“具身推理+未来变化预测+动作学习”体系:机器人既要理解当前看到的空间和物体,也要预测一次交互可能让场景中的什么地方发生变化,随后再生成具体动作。

宇树将其概括为:Understand the World, Connect with Action——理解世界,并将理解连接到行动

目前,宇树官网中的Code、Models和Datasets均显示为Coming soon,相关代码、模型权重及数据集尚未正式开放下载。

项目主页:
https://unigen-x.github.io/unifolm-wla.github.io/

一、一套模型干64种活,还要同时控制手和身体

UnifoLM-WLA-1.0被称之为“通用人形基础模型”,核心在于把双臂协作和全身操作放进了同一套模型。

以往不少机器人操作模型主要关注机械臂和末端执行器,比如抓取、放置、整理物品。但当任务从桌面走向真实家庭环境,机器人经常需要同时移动身体、调整姿态,再配合双臂和末端执行器完成操作。

在宇树给出的案例中,搭载该模型的机器人可以同时调动双臂、末端执行器和下半身,完成多项需要全身协同的操作任务。

比如机器人整理鞋子、厨房、浴室时,涉及在更大空间范围内移动和连续操作;

▲浴室

铺床等任务中,双臂动作也需要和身体姿态进行配合。


▲铺床(前半部分)

▲铺床(后半部分)

宇树称,UnifoLM-WLA-1.0目前可以由同一套模型完成10项全身操作和54项桌面操作任务。同时,这套模型没有绑定单一末端执行器,可以支持平行夹爪和两种灵巧手。

宇树为此建立了一套统一动作空间,将机器人动作拆成末端执行器位姿、末端执行器关节和下半身关节三部分,再分别通过RVQ,也就是残差向量量化模型,将连续动作转化为离散Token。


▲离散动作学习

简单来说,机器人原本连续变化的手臂、手指和身体运动,被转换成了模型可以统一学习和预测的“动作词元”。这些不同身体部分的Token还会按照共享时间步对齐,一起送入模型,从而学习手、末端执行器和下半身之间的协同关系。

二、先预测“哪里会变”,再让机器人动手

UnifoLM-WLA-1.0另一个比较特别的地方,在于宇树把交互后的场景变化也放进了模型训练。

在真正动手之前,机器人通常能够大致判断自己的动作会带来什么结果。

比如叠毛巾时,手移动以后毛巾会发生形变;拿起餐盘后,餐盘原来的位置会变空;推动或者拿取一个物体时,真正发生变化的区域通常只占整个画面的一部分。


▲包装手机

宇树把这类信息称为Dynamic Region,也就是动态区域。

具体来看,其首先利用光流从前后视频帧中提取发生变化的区域,再通过VQ-VAE把这些连续变化压缩成固定长度的离散Token。此后,模型只需要看到当前图像+任务描述或动作条件,就可以预测未来哪些区域可能发生变化。

这样一来,模型学习的内容不再局限于“现在画面里有什么”,还包括“如果执行这个动作,接下来哪里可能发生变化”。这构成了宇树所谓的interaction-centric world modeling,即以交互为中心的世界建模

在这一基础上,宇树又把视觉、语言、动态区域Token和动作Token放进统一的多模态模型中,形成UnifoLM-ER-Flow。

最终的UnifoLM-WLA-1.0则进一步在这套多模态骨干上增加MMDiT Action Expert动作专家模块,用于生成连续机器人动作。

三、500万份具身推理数据,7项开源评测拿下第一

在训练机器人真正“动手”之前,宇树还单独强化了模型的空间理解和具身推理能力。

其具身推理模型UnifoLM-ER-1-4B基于Qwen3-VL-4B训练,使用了超过500万份具身推理样本。这些数据覆盖图像点预测、物体检测、多图推理、2D轨迹预测、3D物体检测以及多图空间问答等任务,同时与通用图文数据共同训练,以尽量保留基础视觉语言能力。


▲模型架构

此次,宇树便公布了16项多模态感知和理解Benchmark结果。

UnifoLM-ER-1-4B在RefSpatial-Bench、Where2Place、PixMo-Point、BLINK、EmbSpatial、RoboSpatial和VSR共7项测试中取得参评开源模型最高成绩


例如,其在Where2Place上取得82.0分,PixMo-Point为73.8分,EmbSpatial为88.9分,RoboSpatial为73.1分。

这组测评的参评模型中,也不乏GPT-6 Astra、GPT-5.6 Sol等顶尖闭源模型。在双方均参与的测试中,UnifoLM-ER-1-4B在多项空间理解任务上的成绩超过GPT-6 Astra。

其中,Where2Place达到82.0分,比GPT-6 Astra高13分;BLINK达到93.4分,高3分;CV-Bench达到88.6分,高1.3分;EmbSpatial达到88.9分,高5.6分。

结语:宇树继续补齐人形机器人“大脑”

从这次UnifoLM-WLA-1.0来看,宇树在人形机器人模型上的布局正在进一步完整:围绕人形机器人“大脑”的探索,已经逐步串起感知理解、交互预测到动作生成这条链路。

目前,宇树已经公开UnifoLM-WLA-1.0项目主页,并预告后续将开放模型、代码和数据集。

如果这三部分后续全部落地,开发者将能够更直接地验证其在64项任务之外的泛化能力,也能看到宇树这套路线在不同机器人和真实任务上的表现。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马斯克重磅预言:只剩5年!人类千年的吃苦内卷规则彻底终结

马斯克重磅预言:只剩5年!人类千年的吃苦内卷规则彻底终结

岸卡卡
2026-09-11 10:52:51
23岁女子太漂亮,丈夫的好友想睡一下,2010年女子拒绝他被杀死了

23岁女子太漂亮,丈夫的好友想睡一下,2010年女子拒绝他被杀死了

汉史趣闻
2026-09-12 14:23:18
吃相难看!被摸臀女生已认怂,恶心一幕却发生了,她的同类人真不少

吃相难看!被摸臀女生已认怂,恶心一幕却发生了,她的同类人真不少

小鋭有话说
2026-09-11 23:47:10
彻底撕破脸!蒋丽莎怒怼陈浩民:千万房产送前任,却骂我贪得无厌

彻底撕破脸!蒋丽莎怒怼陈浩民:千万房产送前任,却骂我贪得无厌

手工制作阿歼
2026-09-12 12:48:22
养老金涨停是真的?官方终于说透了!

养老金涨停是真的?官方终于说透了!

牛锅巴小钒
2026-09-12 13:06:55
日本爆发大规模性病,魔幻景象让人头皮发麻

日本爆发大规模性病,魔幻景象让人头皮发麻

鸣金网
2026-09-11 12:25:34
52岁知名女演员,直播卖韭菜盒子;此前曾自曝被前夫骗到破产、负债600万,现在其名下财产全部清零,称“我的字典里面没有崩溃这两个字”

52岁知名女演员,直播卖韭菜盒子;此前曾自曝被前夫骗到破产、负债600万,现在其名下财产全部清零,称“我的字典里面没有崩溃这两个字”

扬子晚报
2026-09-12 10:16:19
杨幂给奢侈品活动站台,裙子短到露臀型,在台上不停拽底裤太尴尬

杨幂给奢侈品活动站台,裙子短到露臀型,在台上不停拽底裤太尴尬

铜臭的历史味
2026-09-12 04:21:59
iPhone 18 Pro,今年可能要卖疯了

iPhone 18 Pro,今年可能要卖疯了

搞机小帝
2026-09-12 01:07:08
9月1日,埃及向达索发出再购24架"阵风"的意向;五天后,中国国防部官宣,歼-16、空警-500等刚结束中埃联训的军机原班转场

9月1日,埃及向达索发出再购24架"阵风"的意向;五天后,中国国防部官宣,歼-16、空警-500等刚结束中埃联训的军机原班转场

回京历史梦
2026-09-12 09:26:09
人社部正式定调!全民普涨彻底落幕,未来五年增收逻辑全面改写

人社部正式定调!全民普涨彻底落幕,未来五年增收逻辑全面改写

白昼说故事
2026-09-12 09:23:01
大摩突然预警:明后年楼市跌 17%-35%,这次玩笑开大了

大摩突然预警:明后年楼市跌 17%-35%,这次玩笑开大了

专业聊房君
2026-09-12 13:44:57
单价便宜97%分数还反超,DeepSeek新模型把GPT-5.6按在地上摩擦

单价便宜97%分数还反超,DeepSeek新模型把GPT-5.6按在地上摩擦

不掉线电波
2026-09-12 13:30:12
这个女人可不是什么平凡的阿姨,她是藤原纪香,一代日本国民女神

这个女人可不是什么平凡的阿姨,她是藤原纪香,一代日本国民女神

娱你同欢
2026-09-10 17:43:45
在华首店开业在即,日企却选“918”这天联名辱华IP

在华首店开业在即,日企却选“918”这天联名辱华IP

观察者网
2026-09-11 19:00:15
“这个鼻子太优越了”,家长晒无美颜大一女儿哭鼻子,网友被震撼

“这个鼻子太优越了”,家长晒无美颜大一女儿哭鼻子,网友被震撼

熙熙说教
2026-09-12 13:20:24
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
库克承认:是看到华为才决定做 iPhone Duo

库克承认:是看到华为才决定做 iPhone Duo

简科技
2026-09-11 18:02:46
WTT澳门冠军赛:4人率先进4强!莫雷加德4:2大逆转,迎战张本智和

WTT澳门冠军赛:4人率先进4强!莫雷加德4:2大逆转,迎战张本智和

国乒二三事
2026-09-12 14:24:32
李强任辽宁省委常委、大连市委书记

李强任辽宁省委常委、大连市委书记

界面新闻
2026-09-12 12:27:53
2026-09-12 17:43:00
机器人前瞻
机器人前瞻
智东西AI媒体矩阵品牌。机器人前瞻,机器人产业新媒体,专注报道全球机器人创新。
900文章数 17关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

中国姐弟在智利被勒索213万元 假警局还挂特朗普画像

头条要闻

中国姐弟在智利被勒索213万元 假警局还挂特朗普画像

体育要闻

老鹰真正的底气来自于什么?

娱乐要闻

港媒曝钟丽淇疑患渐冻症,本人发文

财经要闻

继房子茅台后 中产的第3个"神话"破灭了

汽车要闻

全新配色和新样式轮毂 乐道L80星光设计套装限时惊喜价10080元

态度原创

房产
本地
手机
教育
公开课

房产要闻

别再等了!广州改善好房,正在进入“卖一套少一套”时代

本地新闻

Onestage x 乐华娱乐暑期巡回选拔2026

手机要闻

vivo首发「百度地图双端同步显示」功能

教育要闻

太难了吧,是题目错了吗?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版