网易首页 > 网易号 > 正文 申请入驻

独家|刚刚,启元PrimeSim世界模型,登顶两大机器人权威榜单

0
分享至

来源:市场资讯

(来源:机器之心)

机器之心发布

训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。

今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。


在 EWMBench 基准上,PrimeSim 拿下 6.09 的综合得分,位列榜首;在 WorldSimProbe 的五项评测维度中,斩获三项第一。




PrimeSim generated demos

为什么机器人需要「从数据中学出来的仿真器」

理想的机器人仿真器,应当满足几个核心特质:能够并行调度上万条轨迹 rollout、支持场景精确重置且无硬件损耗、无需针对不同场景大量工程定制,同时尽可能缩小现实鸿沟(sim-to-real gap)。

但只用视频生成模型做这件事,「视觉逼真」远远不够。作为仿真底座,它必须同时守住三重约束:

严格服从策略输出的动作指令;

多相机视角之间保持几何、语义一致;

在远长于训练上下文窗口的长时间推演中维持状态连贯。

在团队看来,现有的通用世界模型大多只能满足其中一到两项,很难同时兼顾三者。


技术路径:先中训练,再后训练

PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。

第一阶段:中训练|从视频生成模型到机器人世界模型

模型训练基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,混合真实采集数据与传统仿真数据;其中人形机器人样本占比 54.8%,真实世界数据占比 84%。核心设计包含三点:

  • 统一动作表征:将头部、躯干、腰部、末端执行器、夹爪、底盘的控制信号编码至同一动作向量,实现跨本体兼容;

  • 帧对齐双路径条件注入:结合时序对齐注意力机制与直接动作注入,强绑定控制指令与生成运动;

  • 视角感知交错注意力:引入显式相机标识完成跨视角信息交互,保证多视图一致性,避免不同视角画面互相坍缩。

第二阶段:后训练|高速生成 + 长时序记忆

自回归仿真的难点在于,模型需要基于自身上一步不完全精确的预测继续推演,而原生视频生成模型仅在固定长度真值上下文上训练。团队针对性设计三项机制:

  • 高速生成链路:分块因果适配 + 四步一致性蒸馏,支撑长序列连续仿真;

  • 自条件稳定性:以冻结双向教师模型作为参照,开展 Self-Rollout 的世界模型仿真器训练与非对称分布匹配,缓解误差累积;

  • 分层时序记忆:在有界 KV Cache 内分层存储初始场景、稀疏长程历史、稠密近期运动,支撑超长推演。

这套方案最终把双向生成模型改造为因果、Self-Rollout 的世界模型仿真器:超过固定的训练上下文窗口后依旧可以稳定推演,最长支持两分钟以上连续 rollout。

在 RoboTwin 2.0 留出集、单张 A100 环境下,50 步去噪的因果自回归扩散基线速度仅 1.12 FPS,PSNR 26.15;CD 将去噪步数压缩至 4 步,速度提升至 10.04 FPS,PSNR 回落至 24.40;叠加 DMD 后,保持 4 步去噪,PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176,相较 50 步教师模型整体提速约 9 倍。

实验结果

EWMBench:综合得分第一

PrimeSim 在 EWMBench 拿到 6.09 综合分,高于 GE-Sim(LTX,5.82)、GE-Sim(COSMOS2,5.79),同时领先 Thinker-WM、EnerVerse-FT、Qwen-RobotWorld、Sora2。分项上,HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。

WorldSimProbe:五项指标三冠

WorldSimProbe 基于 LIBERO 设计五套评测套件,刻意剥离视觉观感、任务成功率的干扰,聚焦仿真器本身的动态保真度。PrimeSim 在全局轨迹覆盖(T2,67.9)、动作来源行为保持(T3,72.3)、交互动态(T5,37.1)三项登顶。

作为策略仿真底座:和传统仿真器高度对齐

实验选取 8 个 OpenVLA-OFT 策略,基线仿真器成功率区间 29.3%–85.0%,在 300 个共享初始状态的设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数 r = 0.99,MMRV = 0.000,平均绝对误差 |Δ| = 2.8。作为对照,Wan2.2-FT 对应指标为 r = 0.91、MMRV = 0.041、|Δ| = 8.3。

团队更进一步,直接在 PrimeSim 内部对 OpenVLA-OFT 做 GRPO 强化学习,每轮采样 512 条 episode,共计 200 轮更新。策略在原生仿真器上的成功率提升了 11.5%,在 PrimeSim 内的评估指标上涨了 11.8%。这证明:在该神经仿真器中得到的策略增益,可以有效迁移到传统物理仿真环境。


counterfactual action following demos

少样本本体迁移:新本体仅需 100–200 步微调

中训练赋予模型很强的跨本体迁移能力。适配 xArm 7、ViperX 300、UMI 夹爪分别只需要 200、100、200 步梯度更新;而仅经过通用预训练的模型,在 2000 步更新后仍无法产出可用效果。在 AgileX Piper 的 XVLA 场景中,布料、相机位姿、场景均未出现在训练集内:零样本推演时密集接触的布料形变会快速漂移;在单卡 A100,仅需不到 3 分钟,200 步微调后,布料形变跟随动作指令,多视角状态保持一致。


PrimeSim unseen embodiment few-shot demos. Left side is PrimeSim, right side is Wan2.2 5B


unseen camera and environment zero-shot demos

推理性能:单卡 A100 可达 10.12 FPS

单张 A100-80GB,三视角、单图分辨率 288×384、一次预测 32 帧未来画面、4 步去噪配置下,PrimeSim 实现 10.12 TempFPS、30.35 ViewFPS;吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。

消融实验:各模块设计均带来明确收益

多视角机制消融显示:仅做帧拼接时 PSNR 仅 16.30;加入视角 token 条件后提升至 23.78;叠加视角内交错注意力后达到 24.56,LPIPS 由 0.58 降至 0.15。

工作小结

团队基于实验得出四点核心结论:

这是一套可复现的工程配方,而非单点模型:「中训练 + 后训练」渐进式流水线,能够把通用视频生成模型改造为可交互机器人世界模型仿真器;

动作保真度可以通过数据规模习得:统一动作表征搭配双路径条件注入,在 22 种异构本体上实现控制信号与运动生成的强绑定;

世界模型具备替代传统仿真器的潜力:和原生仿真策略成功率相关性高达 0.99,在模型内部做强化学习的收益可迁移;

兼顾精度与工程实用性:10.1 FPS 推理速度、超两分钟长时序推演、新本体仅需百级步数微调。

据机器之心了解,PrimeSim 的权重、推理代码、训练代码即将开源。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
15胜,曼城是英格兰联赛史上在万圣夜赢球最多的球队

15胜,曼城是英格兰联赛史上在万圣夜赢球最多的球队

懂球帝
2026-10-31 23:04:29
我舅是市委二把手,我隐瞒身份赴女友家庆岳父升官

我舅是市委二把手,我隐瞒身份赴女友家庆岳父升官

敏娃子故事会
2026-10-30 15:36:49
为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

柚子新媒
2026-10-30 12:09:37
3.99万开走 Model3/Y!特斯拉“特从容”金融方案,算账给你看

3.99万开走 Model3/Y!特斯拉“特从容”金融方案,算账给你看

车圈小隆哥
2026-10-30 16:36:09
重庆一父亲外出遛狗,两岁儿子从家中坠亡,最新进展:孩子父亲怕妻子轻生事后装防护网,澄清“对狗更好,回家先抱狗”

重庆一父亲外出遛狗,两岁儿子从家中坠亡,最新进展:孩子父亲怕妻子轻生事后装防护网,澄清“对狗更好,回家先抱狗”

三湘都市报
2026-10-31 23:02:27
日媒:河村勇辉拒欧洲篮球联赛邀约,加盟圣迭戈快船

日媒:河村勇辉拒欧洲篮球联赛邀约,加盟圣迭戈快船

懂球帝
2026-10-31 14:59:54
一个中央委员,管着四个政治局委员,毛泽东这道任命把东北死棋走活了

一个中央委员,管着四个政治局委员,毛泽东这道任命把东北死棋走活了

纪史行者
2026-10-31 10:13:03
结束大选后的塞尔维亚——开始驱魔

结束大选后的塞尔维亚——开始驱魔

百味朱砂
2026-10-30 11:53:21
距离申花今年最后一场比赛 还有1个月 特谢拉能否续约还是没有消息

距离申花今年最后一场比赛 还有1个月 特谢拉能否续约还是没有消息

80后体育大蜀黍
2026-10-31 22:36:54
《玉簟秋》最虐宿命!他为护妻儿一世安稳,却亲手葬送所有余生

《玉簟秋》最虐宿命!他为护妻儿一世安稳,却亲手葬送所有余生

野路乐熊
2026-10-31 19:01:41
660公里“没商量”:普京在乌东四州之外,又划了一条会自己往前爬的线

660公里“没商量”:普京在乌东四州之外,又划了一条会自己往前爬的线

纪史行者
2026-10-30 05:15:03
前三季度净利润1320亿!长鑫科技:已与多家头部客户协商长期供货协议

前三季度净利润1320亿!长鑫科技:已与多家头部客户协商长期供货协议

快科技
2026-10-31 19:31:05
湖人后悔吗?2场16次失误,防守端成针对,有他在东契奇难夺冠

湖人后悔吗?2场16次失误,防守端成针对,有他在东契奇难夺冠

后仰跳投绝杀
2026-10-31 18:18:32
重映第7天票房834块,仅24位观众,我感慨:明星云集仍扑街

重映第7天票房834块,仅24位观众,我感慨:明星云集仍扑街

小椰的奶奶
2026-10-31 12:03:20
马卡:西蒙尼距西甲主帅胜场纪录仅差1场,将超阿拉贡内斯

马卡:西蒙尼距西甲主帅胜场纪录仅差1场,将超阿拉贡内斯

懂球帝
2026-10-31 19:20:49
WTT1/4决赛对阵出炉,国乒女单锁定4强席位,林诗栋梁靖崑遇劲敌

WTT1/4决赛对阵出炉,国乒女单锁定4强席位,林诗栋梁靖崑遇劲敌

墨印斋
2026-10-31 10:29:06
英超|输球又丢人!曼联创40年最差联赛开局

英超|输球又丢人!曼联创40年最差联赛开局

北青网-北京青年报
2026-10-31 23:08:08
45岁朱丹打网球,胖的好明显成H型身材,目测得有130斤了

45岁朱丹打网球,胖的好明显成H型身材,目测得有130斤了

八怪娱
2026-10-30 20:31:03
王宝强演技炸裂的6部高分电影,最后一部可惜被禁了

王宝强演技炸裂的6部高分电影,最后一部可惜被禁了

小Q侃电影
2026-10-31 22:54:30
随着佐藤瞳3-1,蒯曼3-2,WTT蒙彼利埃冠军赛女单8强全部诞生:5大国乒悍将在列

随着佐藤瞳3-1,蒯曼3-2,WTT蒙彼利埃冠军赛女单8强全部诞生:5大国乒悍将在列

侧身凌空斩
2026-10-31 05:35:27
2026-10-31 23:40:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5291401文章数 9890关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

好开更好坐 马自达EZ-60激光版补齐最后短板

态度原创

艺术
家居
旅游
教育
公开课

艺术要闻

宝能退场,国资站台,沈阳“烂尾第一高楼”,换新出发!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

县域康养旅居受热捧 入境游银发客源增多

教育要闻

绝望的英专生有什么出路?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版