网易首页 > 网易号 > 正文 申请入驻

霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

0
分享至

三大基准全榜登顶Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名,刷新行业成绩:

WorldOlympiad:

Thinker‑WM 取得综合得分 0.740 位列榜首。该基准基于大量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型跨机器人形态、跨视角的泛化能力。模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标位居全部参评模型首位,体现模型对三维几何结构与机器人交互过程的精准建模能力。



EWMBench:

Thinker‑WM 取得综合总分4.66,超过 Qwen‑RobotWorld、Sora2 等主流模型。EWMBench 完整考核场景一致性、机器人末端运动正确性、指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker‑WM 在反映机器人轨迹时空匹配的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上实现领先。



WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track‑1,Thinker‑WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度整体领先,兼顾仿真环境下视觉生成质量与物理交互可信度。

Thinker‑WM 以表征层统一的Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度、机器人动作纳入同一套共享动态表征联合演化,实现视频‑动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力合一,为具身智能提供新一代基础世界模型底座。



Thinker-WM技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地干活,最难的不是识别眼前物体,而是预判环境下一步变化。这也是世界模型存在的价值与意义,而过往世界模型普遍采用 “拼接式” 方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,模块独立计算,再通过接口拼接输出。

但这套技术模型的问题在于,动作改变环境、环境约束动作,几何结构同时影响两者,物理上紧密耦合的信号被拆分到不同模块,丢失其内在因果关联。

举个例子,“一个杯子被推下桌子”这件事情,在语言里是一句话描述,在动作里是一串关节命令,在视频里是一段穿越画面的物体运动,在深度里是一组连续变化的距离场。四种表述指向的是同一个事件,而不是四个不同的对象。所以,要求模型生成其中任何一种,本质上都是在追问同一个过程。

但这种重叠又是不完全的。动作既不携带外观,也不携带上下文,同样的关节命令,放在空桌子上和放在杂乱的桌子上,含义完全不同。语言也不携带时空细节,“杯子被推下桌子”这句话,既没有规定从哪一侧推、用多大力、以什么速度推,也没有规定手的具体轨迹、杯子翻转几圈、最终落在哪里。视频不携带显式几何和度量,其仅使用一系列像素表示,既不知道杯子的尺寸,也不知道杯子的距离。深度也不携带外观、命名语义和意图,它给出表面在哪里、如何遮挡、如何接触,却不告诉你那是杯子还是桌布,更不告诉你为什么要推它。

针对这个问题,优必选 Thinker 团队给出全新解法:不在接口处做简单合并,而是在表征层面实现多模态统一。Thinker-WM(Thinker World Model)作为优必选自研统一多模态世界模型,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间,依靠一组共享参数联合演化。外观、几何、动作不再是三条独立流水线,而是同一个世界演化过程的三种表达形态。也就是说,Thinker-WM 的底层设计逻辑可以概括为:不同模态是同一过程的不同表述;模型将它们对齐到共享表征空间,并在这一共享表征上进行推理,而不是在模态接口上做条件组合。



Thinker-WM:视觉、几何与动作的统一建模框架

具体来看,RGB图像、深度信息、机器人动作分别通过各自的编码器映射到统一潜在空间,送入共享的统一动态Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图、机器人可执行动作。这就意味着多模态的交互发生在Transformer内部,视觉token、几何token和动作token通过同一个注意力机制直接交换信息,而不是在输入或输出层做浅层拼接。

几何信息也不再只是辅助监督信号。Thinker-WM 把深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,让物理空间结构成为世界模型的 “母语”,而非后期外挂补充模块,从而也能帮助人形机器人更准确地理解物理空间。统一建模的价值,也体现在机器人的实际执行效果上。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点,说明空间几何信息不仅有助于模型理解场景,也能改善动作生成与任务执行。

3万小时异构数据让一个模型,解锁六种能力

依托多模态统一表征,所有模态共享同一组参数,Thinker-WM 可以通过灵活切换条件模态与生成模态,支持六大能力模式。



同一份权重,既能预判、想象未来画面,也能反向推演机器人执行轨迹,还能从视频中提取动作信息,这正是统一表征带来的核心技术红利。



3万小时异构数据撑起通用世界模型底座

统一表征能力的背后,是优必选规模丰富、类型多元的训练数据支撑。Thinker-WM 训练语料在具身智能领域具备可观体量:

· 约2万小时第一人称人类视频:覆盖家庭、商业零售、工业等场景,补足机器人遥操作难以低成本获取的任务、物体与场景多样性,同时配套约 1 千小时的对齐深度数据。

· 约1万小时真实机器人数据:来自多款不同形态机器人,提供视觉观测与可执行动作的配对监督,其中约 3 千小时配套对齐深度标注。

· 约1千小时仿真数据:提供高精度几何、物理监督信号

不同机器人动作空间、坐标系、控制协议差异巨大。Thinker-WM 的统一思想不仅应用于模型框架上,也应用于数据选择中。该模型统一使用末端位姿表示所有机器人动作,同时为不同机器人在token中嵌入专属标签。这样不同形态的机器人可以共享同一个生成空间,又能够保留精准的本体控制能力。

数据 Infra:让海量异构数据高效支撑统一模型训练

海量数据要转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注上的差异,优必选 Thinker 团队构建了 Data Factory,将数据管理与训练采样解耦,让多源数据按模型需求灵活组合。



Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三个关键环节支撑训练:统一组织视频、状态、动作与语言信息,按需生成不同训练模式所需的样本;通过分层质检过滤异常片段,检查深度与视频对齐,确保训练信号可靠;通过异步预取与编码复用提前准备训练数据,减少等待与重复计算。

这套数据基础设施,让多源异构数据能够被可靠组织、灵活调用、高效供给,为 Thinker-WM 六种能力模式的联合训练与持续迭代提供工程支撑。

通过Motion Probe实验设计轻量化实验:验证跨模态表征真实耦合

表征层面统一多模态,听起来是架构设计上的创新,但有一个核心疑问:模型究竟是真的在共享空间学到视觉、几何、动作之间的耦合关联,还是只是并行处理多路信息,把不同模态简单放在一起?

为回答这个问题,优必选Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究团队在冻结的UDT视觉表征上接一个极小的运动预测头,只训练这个头,看能否从纯视觉表征中恢复出末端执行器的位移。



Motion Probe示意图

实验结果证实猜想:探针预测误差很低。即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息。这一结果直接证明,表征层面的多模态统一真实生效,视觉感知和动作规划不是两条相互独立的链路,而是在共享潜在空间里实现深度耦合。

这意味着什么

这也进一步说明,Thinker-WM本次技术的突破的,价值远不止一次刷榜成果。它指明具身世界模型的底层新范式:

具身智能的世界模型不应该是 “视频生成器 + 策略头” 的简单组合,而是一套完整统一的生成过程——视觉观测、空间结构、动作规划,是同一个物理世界过程的不同表达。

当机器人能够在同一表征空间内同步推演画面变化、空间结构、动作轨迹,它对物理世界因果逻辑的理解便向前迈进一大步。这也是机器人从“可以执行任务干活”,迈向“能够理解真实世界”的关键跃迁。

Thinker-WM 现已完成在优必选机器人平台上部署验证,相关技术将持续赋能下一代具身智能系统。

来源:优必选科技

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
佩洛西质问:特朗普有何把柄抓在俄国人手里?

佩洛西质问:特朗普有何把柄抓在俄国人手里?

名人苟或
2026-10-19 16:02:41
商家称53万元直播合作成交3672.8元 交个朋友回应:未违约,愿补播协商

商家称53万元直播合作成交3672.8元 交个朋友回应:未违约,愿补播协商

封面新闻
2026-10-19 17:41:43
也门一军事基地遭导弹袭击致53死200余伤

也门一军事基地遭导弹袭击致53死200余伤

新华社
2026-10-19 22:11:32
五常就剩下中国了

五常就剩下中国了

凤眼论
2026-10-19 16:41:44
麻豆停运,原来是为了入驻抖音?

麻豆停运,原来是为了入驻抖音?

吃瓜党二号头目
2026-10-19 19:15:36
内塔尼亚胡:我已决心推翻伊朗政权,绝不会与拥有核武器的伊朗共存;如果我当选,下一届政府不会允许巴勒斯坦建国

内塔尼亚胡:我已决心推翻伊朗政权,绝不会与拥有核武器的伊朗共存;如果我当选,下一届政府不会允许巴勒斯坦建国

扬子晚报
2026-10-18 20:08:01
上海大胜北控:张镇麟28分屡秀暴扣 廖三宁34+5+4创生涯纪录

上海大胜北控:张镇麟28分屡秀暴扣 廖三宁34+5+4创生涯纪录

醉卧浮生
2026-10-19 21:26:25
重磅:问界与懂车帝重启合作!三部门联合调查此前刚开始

重磅:问界与懂车帝重启合作!三部门联合调查此前刚开始

南财社V
2026-10-19 15:58:37
大瓜!邯郸篮球直播忘关麦事件

大瓜!邯郸篮球直播忘关麦事件

新动察
2026-10-19 15:09:35
网传社保新规11月1日实施,自愿放弃社保无效,网络炸锅...

网传社保新规11月1日实施,自愿放弃社保无效,网络炸锅...

慧翔百科
2026-10-19 08:43:01
实测 Lovart 2.0 ,设计 AI 进入个人助理时代

实测 Lovart 2.0 ,设计 AI 进入个人助理时代

爱范儿
2026-10-19 10:57:35
曾豪言来皇马拿金球奖!28岁巨星遭穆帅废弃 拿32万周薪连场坐穿板凳

曾豪言来皇马拿金球奖!28岁巨星遭穆帅废弃 拿32万周薪连场坐穿板凳

我爱英超
2026-10-19 16:51:39
男子在四川稻城高反去世,独自在帐篷里躺卧三天,当地:系非法穿越,曾组织力量去救援

男子在四川稻城高反去世,独自在帐篷里躺卧三天,当地:系非法穿越,曾组织力量去救援

潇湘晨报
2026-10-19 19:32:12
山东打响第一枪:“个人是养老第一责任人”

山东打响第一枪:“个人是养老第一责任人”

毒哥的毒鸡汤
2026-10-19 16:38:18
菲佐:若欧盟向基辅拨款5271亿元,斯洛伐克和匈牙利将不会加入欧盟这一揽子计划

菲佐:若欧盟向基辅拨款5271亿元,斯洛伐克和匈牙利将不会加入欧盟这一揽子计划

阿尔卑斯瞭望
2026-10-18 17:25:03
日本网友:福原爱穿透视装出镜看着真让人难受 她以前可是国民妹妹

日本网友:福原爱穿透视装出镜看着真让人难受 她以前可是国民妹妹

劲爆体坛
2026-10-18 07:59:06
泽连斯基下令袭击普京家乡,此前鲁比奥说乌未获“星盾”使用权打击俄本土

泽连斯基下令袭击普京家乡,此前鲁比奥说乌未获“星盾”使用权打击俄本土

新民周刊
2026-10-19 13:12:33
破解 AI 推理效率困局,详解华为 OceanStor M900 AI记忆存储新基建 | 前沿在线

破解 AI 推理效率困局,详解华为 OceanStor M900 AI记忆存储新基建 | 前沿在线

前沿在线
2026-10-08 21:34:14
驴友在4500米亚丁高反离世,期间姐姐全网求免费直升机,牧民报价1万被她拉黑

驴友在4500米亚丁高反离世,期间姐姐全网求免费直升机,牧民报价1万被她拉黑

可达鸭面面观
2026-10-19 21:43:29
破防了!一位美女妈妈在家长会上出圈,被吐槽“这是孩子的班会,不是选美大赛”,评论区吵翻

破防了!一位美女妈妈在家长会上出圈,被吐槽“这是孩子的班会,不是选美大赛”,评论区吵翻

火山詩话
2026-10-19 08:27:01
2026-10-20 00:39:00
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5803文章数 4916关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国驻菲大使:菲反华势力送5口棺材时有没有显示尊重

头条要闻

中国驻菲大使:菲反华势力送5口棺材时有没有显示尊重

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

房产
艺术
本地
手机
公开课

房产要闻

最新房价:海口,三亚齐跌!

艺术要闻

俄罗斯当代画家 叶夫根尼·戈洛洛博夫风景油画选

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

手机要闻

荣耀WIN2系列参数规格曝光,价格也公布了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版