网易首页 > 网易号 > 正文 申请入驻

独家|刚刚,启元PrimeSim世界模型,登顶两大机器人权威榜单

0
分享至

来源:市场资讯

(来源:机器之心)

机器之心发布

训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。

今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。


在 EWMBench 基准上,PrimeSim 拿下 6.09 的综合得分,位列榜首;在 WorldSimProbe 的五项评测维度中,斩获三项第一。




PrimeSim generated demos

为什么机器人需要「从数据中学出来的仿真器」

理想的机器人仿真器,应当满足几个核心特质:能够并行调度上万条轨迹 rollout、支持场景精确重置且无硬件损耗、无需针对不同场景大量工程定制,同时尽可能缩小现实鸿沟(sim-to-real gap)。

但只用视频生成模型做这件事,「视觉逼真」远远不够。作为仿真底座,它必须同时守住三重约束:

严格服从策略输出的动作指令;

多相机视角之间保持几何、语义一致;

在远长于训练上下文窗口的长时间推演中维持状态连贯。

在团队看来,现有的通用世界模型大多只能满足其中一到两项,很难同时兼顾三者。


技术路径:先中训练,再后训练

PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。

第一阶段:中训练|从视频生成模型到机器人世界模型

模型训练基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,混合真实采集数据与传统仿真数据;其中人形机器人样本占比 54.8%,真实世界数据占比 84%。核心设计包含三点:

  • 统一动作表征:将头部、躯干、腰部、末端执行器、夹爪、底盘的控制信号编码至同一动作向量,实现跨本体兼容;

  • 帧对齐双路径条件注入:结合时序对齐注意力机制与直接动作注入,强绑定控制指令与生成运动;

  • 视角感知交错注意力:引入显式相机标识完成跨视角信息交互,保证多视图一致性,避免不同视角画面互相坍缩。

第二阶段:后训练|高速生成 + 长时序记忆

自回归仿真的难点在于,模型需要基于自身上一步不完全精确的预测继续推演,而原生视频生成模型仅在固定长度真值上下文上训练。团队针对性设计三项机制:

  • 高速生成链路:分块因果适配 + 四步一致性蒸馏,支撑长序列连续仿真;

  • 自条件稳定性:以冻结双向教师模型作为参照,开展 Self-Rollout 的世界模型仿真器训练与非对称分布匹配,缓解误差累积;

  • 分层时序记忆:在有界 KV Cache 内分层存储初始场景、稀疏长程历史、稠密近期运动,支撑超长推演。

这套方案最终把双向生成模型改造为因果、Self-Rollout 的世界模型仿真器:超过固定的训练上下文窗口后依旧可以稳定推演,最长支持两分钟以上连续 rollout。

在 RoboTwin 2.0 留出集、单张 A100 环境下,50 步去噪的因果自回归扩散基线速度仅 1.12 FPS,PSNR 26.15;CD 将去噪步数压缩至 4 步,速度提升至 10.04 FPS,PSNR 回落至 24.40;叠加 DMD 后,保持 4 步去噪,PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176,相较 50 步教师模型整体提速约 9 倍。

实验结果

EWMBench:综合得分第一

PrimeSim 在 EWMBench 拿到 6.09 综合分,高于 GE-Sim(LTX,5.82)、GE-Sim(COSMOS2,5.79),同时领先 Thinker-WM、EnerVerse-FT、Qwen-RobotWorld、Sora2。分项上,HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。

WorldSimProbe:五项指标三冠

WorldSimProbe 基于 LIBERO 设计五套评测套件,刻意剥离视觉观感、任务成功率的干扰,聚焦仿真器本身的动态保真度。PrimeSim 在全局轨迹覆盖(T2,67.9)、动作来源行为保持(T3,72.3)、交互动态(T5,37.1)三项登顶。

作为策略仿真底座:和传统仿真器高度对齐

实验选取 8 个 OpenVLA-OFT 策略,基线仿真器成功率区间 29.3%–85.0%,在 300 个共享初始状态的设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数 r = 0.99,MMRV = 0.000,平均绝对误差 |Δ| = 2.8。作为对照,Wan2.2-FT 对应指标为 r = 0.91、MMRV = 0.041、|Δ| = 8.3。

团队更进一步,直接在 PrimeSim 内部对 OpenVLA-OFT 做 GRPO 强化学习,每轮采样 512 条 episode,共计 200 轮更新。策略在原生仿真器上的成功率提升了 11.5%,在 PrimeSim 内的评估指标上涨了 11.8%。这证明:在该神经仿真器中得到的策略增益,可以有效迁移到传统物理仿真环境。


counterfactual action following demos

少样本本体迁移:新本体仅需 100–200 步微调

中训练赋予模型很强的跨本体迁移能力。适配 xArm 7、ViperX 300、UMI 夹爪分别只需要 200、100、200 步梯度更新;而仅经过通用预训练的模型,在 2000 步更新后仍无法产出可用效果。在 AgileX Piper 的 XVLA 场景中,布料、相机位姿、场景均未出现在训练集内:零样本推演时密集接触的布料形变会快速漂移;在单卡 A100,仅需不到 3 分钟,200 步微调后,布料形变跟随动作指令,多视角状态保持一致。


PrimeSim unseen embodiment few-shot demos. Left side is PrimeSim, right side is Wan2.2 5B


unseen camera and environment zero-shot demos

推理性能:单卡 A100 可达 10.12 FPS

单张 A100-80GB,三视角、单图分辨率 288×384、一次预测 32 帧未来画面、4 步去噪配置下,PrimeSim 实现 10.12 TempFPS、30.35 ViewFPS;吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。

消融实验:各模块设计均带来明确收益

多视角机制消融显示:仅做帧拼接时 PSNR 仅 16.30;加入视角 token 条件后提升至 23.78;叠加视角内交错注意力后达到 24.56,LPIPS 由 0.58 降至 0.15。

工作小结

团队基于实验得出四点核心结论:

这是一套可复现的工程配方,而非单点模型:「中训练 + 后训练」渐进式流水线,能够把通用视频生成模型改造为可交互机器人世界模型仿真器;

动作保真度可以通过数据规模习得:统一动作表征搭配双路径条件注入,在 22 种异构本体上实现控制信号与运动生成的强绑定;

世界模型具备替代传统仿真器的潜力:和原生仿真策略成功率相关性高达 0.99,在模型内部做强化学习的收益可迁移;

兼顾精度与工程实用性:10.1 FPS 推理速度、超两分钟长时序推演、新本体仅需百级步数微调。

据机器之心了解,PrimeSim 的权重、推理代码、训练代码即将开源。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
村霸霸占我的鱼塘泡澡,我没跟他吵,悄悄往水里倒了十多斤蜂蜜,第二天天刚亮,全村老少都围在鱼塘边看热闹

村霸霸占我的鱼塘泡澡,我没跟他吵,悄悄往水里倒了十多斤蜂蜜,第二天天刚亮,全村老少都围在鱼塘边看热闹

晓艾故事汇
2026-10-30 08:31:02
美媒最新预测:民主党拿下众议院概率69%、拿下参议院概率57%

美媒最新预测:民主党拿下众议院概率69%、拿下参议院概率57%

忧郁天空
2026-10-30 16:34:46
12345便民热线不能成为许愿池!有地方明确不再接这几类诉求

12345便民热线不能成为许愿池!有地方明确不再接这几类诉求

澎湃新闻
2026-10-30 21:19:11
“环保博主举报非法掩埋上万吨垃圾,遭村支书死亡威胁”,官方通报

“环保博主举报非法掩埋上万吨垃圾,遭村支书死亡威胁”,官方通报

观察者网
2026-10-31 15:57:19
丰田新车官宣:11月5日,正式发布!

丰田新车官宣:11月5日,正式发布!

科技堡垒
2026-10-29 10:52:16
中方没给对等待遇?美投票通过涉华决定,禁止中国实验室对美测试

中方没给对等待遇?美投票通过涉华决定,禁止中国实验室对美测试

麓谷隐士
2026-11-01 00:10:04
央企总部疏解离京第三批名单越来越清晰了!中国五矿拿地!

央企总部疏解离京第三批名单越来越清晰了!中国五矿拿地!

环球通信
2026-10-31 12:05:17
80斤董洁带火了一种新穿搭:牛仔外套+半身裙+短靴,高级又减龄

80斤董洁带火了一种新穿搭:牛仔外套+半身裙+短靴,高级又减龄

蓓小西
2026-10-05 09:35:14
刚刚,DeepSeek重磅开源:Agent底座架构!

刚刚,DeepSeek重磅开源:Agent底座架构!

量子位
2026-10-31 21:51:55
塔山开打前夜,他把主力从山上撤下来塞进村子:这一步走错,辽沈战役就是另一个结局

塔山开打前夜,他把主力从山上撤下来塞进村子:这一步走错,辽沈战役就是另一个结局

纪史行者
2026-10-30 00:25:03
卢则灵、刘宇豪破门,无锡2-1击败常州,夺2026苏超冠军

卢则灵、刘宇豪破门,无锡2-1击败常州,夺2026苏超冠军

侧身凌空斩
2026-10-31 22:08:53
希拉里预测:若输得很惨,特朗普可能变得更加失控、更加危险

希拉里预测:若输得很惨,特朗普可能变得更加失控、更加危险

麓谷隐士
2026-11-01 00:05:08
两大辩论高手特训,蒋万安一战反转重新被看好,沈伯洋被打回熊样

两大辩论高手特训,蒋万安一战反转重新被看好,沈伯洋被打回熊样

海峡导报社
2026-10-31 20:13:02
随着勒沃库森2-4,莱比锡2-0,不莱梅2-0,德甲最新积分榜出炉

随着勒沃库森2-4,莱比锡2-0,不莱梅2-0,德甲最新积分榜出炉

侧身凌空斩
2026-11-01 00:28:10
多地车管所发布公告:大批70岁以上老人驾照被注销

多地车管所发布公告:大批70岁以上老人驾照被注销

娱乐圈见解说
2026-10-31 01:46:29
告别32℃!新冷空气马上到,东莞持续降温!

告别32℃!新冷空气马上到,东莞持续降温!

东莞纪实
2026-10-31 17:23:41
448万年薪、缴税近180万!上海私募高管薪资截图流出,老总感慨“心酸”,各路网友观点集中爆发

448万年薪、缴税近180万!上海私募高管薪资截图流出,老总感慨“心酸”,各路网友观点集中爆发

火山詩话
2026-10-31 10:46:32
十四届全国人大常委会第二十五次会议11月2日至6日举行

十四届全国人大常委会第二十五次会议11月2日至6日举行

新京报
2026-10-30 17:27:14
特朗普召开紧急会议,通告多国做好准备,一场更猛烈的战争即将打响

特朗普召开紧急会议,通告多国做好准备,一场更猛烈的战争即将打响

爱吃醋的猫咪
2026-10-31 16:38:56
人社部重点严查五类退休人员!

人社部重点严查五类退休人员!

逍遥论经
2026-10-17 17:39:47
2026-11-01 00:52:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5291401文章数 9889关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

好开更好坐 马自达EZ-60激光版补齐最后短板

态度原创

本地
教育
房产
健康
游戏

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

教育要闻

子女最大的福报就是有一对积德行善的父母!

房产要闻

单月杀进全省前十!崖州卖最火的盘,产品真能打

查不出猝死风险?可能是项目没做对

《使命召唤:现代战争4》制作组访谈:不要越线

无障碍浏览 进入关怀版