网易首页 > 网易号 > 正文 申请入驻

物理AI的「原生」时刻:原力灵机发布具身大模型DM0

0
分享至



当前,大语言模型(LLMs)和视觉语言模型(VLMs)在语义领域的成功未能直接迁移至物理机器人,归根结底在于其互联网原生的基因。主流的 “预训练 - 后适配”(Pretrain-then-Adapt)的范式依赖互联网静态数据,导致模型先天缺失物理基础(Physical Grounding),在落地时往往顾此失彼:要么导致操作与导航的模块割裂,要么引发灾难性遗忘,在追求控制精度的过程中丢失了核心的通用推理能力。



图 1:DM0 在异构语料库上进行预训练 —— 无缝整合互联网、自动驾驶和具身操作数据。

为了打破这一局限,原力灵机联合阶跃星辰提出一种名为 DM0 的具身原生(Embodied-Native) VLA 模型,其工作核心在于「从 0 开始」:从训练的最初阶段,就采用统一的视角,将具身传感器与运动数据视为与语言、视觉数据同等重要的一等公民。

作为一个端到端模型,DM0 可以无缝统一机器人的精细操作(Manipulation)与移动导航(Navigation)。在 RoboChallenge 真实世界基准测试 Table 30 中,DM0 在单任务(Specialist)和多任务(Generalist)两种设置下均以显著优势领先现有 SOTA 模型,展现出极其强大的物理世界泛化与执行能力。



  • 论文名称: DM0: An Embodied-Native Vision-Language-Action Model towards Physical AI
  • 论文链接:https://arxiv.org/html/2602.14974v1
  • DM0 GitHub : https://github.com/Dexmal/dexbotic
  • DM0 Hugging Face: https://huggingface.co/collections/Dexmal/dm0

方法与架构:多源混合训练与空间脚手架

真正的通用机器人需要一个具身原生模型,这要求模型必须调和异构数据源 —— 涵盖互联网语料、自动驾驶日志以及机器人操作轨迹,学习既具有丰富语义又具备物理可执行性的表征。为此,DM0 并未采用简单的端到端多层感知机映射,而是设计了一套精妙的多源混合训练与具身空间脚手架(Embodied Spatial Scaffolding)架构。

整体模型架构



图 2:DM0 架构图,包含 VLM 主干和基于流匹配(Flow Matching)的动作专家。

DM0 的核心架构由两个主要组件构成:

1.VLM 主干网络: 基于 Qwen3-1.7B 大语言模型构建,并增加了一个强大的感知编码器 PE,负责多模态感知、语义理解以及在机器人环境中的具身推理。输入的多视角图像会被调整为 728×728 的高分辨率,经过感知编码器处理后,提取出细粒度的视觉特征。

2. 动作专家: 这是一个基于流匹配的连续控制模块。它不直接从图像提取特征,而是接收来自 VLM 主干网络提取的键值(KV)缓存作为条件输入,从而生成平滑、精确的连续控制动作。

在推理时,DM0 支持两种模式:既可以直接从多模态观察和指令中预测连续动作;也可以先通过 VLM 生成文本形式的具身推理过程,随后将这些推理文本作为条件,引导动作专家输出动作。

多源混合训练

联合优化语言目标与连续控制目标往往会破坏预训练 VLM 中保存的语义表征。为了解决这个问题,DM0 采用了一种受知识隔离(Knowledge Insulation)启发的混合梯度策略。

具体而言,在针对具身机器人数据进行训练时,动作专家的梯度不会回传给 VLM 主干网络。这种解耦操作有效防止机器人动作数据对 VLM 通用常识的侵蚀。与此同时,VLM 仍然会继续使用非具身数据进行更新,不断优化其通用语言和视觉理解能力。此外,VLM 还被监督预测离散的动作 Token,促使它编码出有利于下游连续动作预测的动作相关语义。

具身空间脚手架

为进一步弥合高级语言推理与低级动作控制之间的鸿沟,本文创新性提出一套分层预测框架 —— 具身空间脚手架。在训练中,模型被要求顺序执行以下辅助任务,构建出空间维度的思维链(Spatial CoT):

1. 子任务预测: 将复杂的总指令分解为一系列可解释、易管理的子步骤。

2. 目标边界框预测: 在视觉观察中预测出目标物体或目标区域的 2D 边界框。

3. 末端执行器轨迹预测: 预测机器臂末端在主摄像机视图下的未来 2D 轨迹。

4. 离散动作预测: 预测代表机器人控制命令的离散 Token。

这种设计如同为模型搭建一层层脚手架,引导其从抽象的语义意图,逐步过渡到以物体为中心的空间定位,再到动作相关的几何轨迹,最终落地为底层控制。这种信息瓶颈机制不仅过滤了任务无关的噪声,还极大地限制了动作策略的解空间。

三阶段训练配方:从互联网原生走向具身原生



图 4:预训练、中期训练、后期训练的数据混合比例。

DM0 的强大不仅源于架构,更归功于其精心设计的三阶段训练 pipeline,总计消耗了高达 1.2T Token 的数据。预训练阶段在大规模的互联网、自动驾驶和具身数据上建立强大的多模态感知;中训练阶段加入动作预测,并在跨多种机器人平台的具身数据上把模型锚定为可执行的控制,同时保留通用对话能力;后训练阶段则收窄所使用的本体与数据范围,以便在少数目标平台上稳定视觉 - 运动对齐。

Pretraining

这个阶段,模型在一套极其丰富的异构语料库上进行联合优化,参数全部解冻。数据不仅包含传统的网页文本、教育文献、OCR 数据和通用 VQA,还极具前瞻性地引入 GUI 界面数据、自动驾驶深度检测数据以及大量的具身数据。通过 1.13T Token 的大规模洗礼,模型在获得语义知识的同时,隐式地掌握了物理先验(如空间关系、深度结构、物理动力学)。

Mid-Training

中期训练阶段引入了动作预测模块,数据规模约为 200M 样本。此时,混合梯度策略(知识隔离)开始生效。数据混合了跨形态的单臂 / 双臂机器人轨迹(如 Franka、UR5、ALOHA)、仿真环境数据以及视觉 - 语言指令微调数据(如 Cambrian-10M、LLaVA-OV)。为了增强模型的长程规划能力,本文还专门构建了具身推理(ER)数据集,包含任务分解、进度估计等训练项。

Post-Training

后期训练阶段旨在将模型对齐到实际部署的硬件上。使用约 50M 样本,将目标缩小至少数特定的真实机器人平台。减少不同形态机器人的分布方差,使得模型能在目标机械臂上建立极其稳定的视觉 - 运动映射。

实验结果:在 RoboChallenge 上的碾压级表现

为全面验证 DM0 的物理世界交互能力,DM0 在极具挑战性的 RoboChallenge 真实世界基准 Table30 上进行评估。该基准包含 30 个需要多步推理和精确连续控制的长视野桌面操作任务。

单任务(Specialist)评估



表 1:RoboChallenge Table30 上 SOTA 开源 VLA 模型的对比结果。

如表 1 所示,DM0-Specialist 模型在仅有 2.4B 参数量的情况下,在 UR5、Franka、ARX5、ALOHA 等多个机器人平台上,全面超越参数量更大的 Spirit-v1.5 (4B)、GigaBrain-0.1 (3B) 、pi0.5 (3B) 等 SOTA 开源模型,取得了 62.00% 的平均成功率。

值得注意的是,在诸如 “在篮子中整理水果”、“插网线” 和 “扫垃圾” 这类长时序、强交互的复杂任务中,DM0 甚至取得了 100% 或 80% 这样接近完美的成绩,而其他基准模型在这些任务上经常彻底失败(0%)。

多任务(Generalist)评估



表 2:RoboChallenge Table30 上当前最佳的开源 VLA 多任务模型的对比结果。

在更考验模型跨任务适应能力的多任务中(一个模型同时掌握某平台下的所有任务),DM0-Generalist 同样展现出压倒性优势,取得了 37.3% 的平均成功率和 49.08 的任务得分,大幅超越了之前最强的 pi0.5 模型的 17.67% 和 31.27;特别是在 “堆叠彩色方块”、“将鞋子放在鞋架上” 等需要高精度空间理解的任务中,DM0 依然能够打出满分。



表 5:DM0 具备在具身场景中预测子任务的思维链(CoT)能力。

除了卓越的动作执行能力,由于实施了知识隔离,处于 Mid-Training 阶段的 DM0 依然完美保留了多模态对话能力。在具身场景的物体检测、复杂图表 OCR 识别、甚至是作为手机智能体(Mobile Agent)识别外卖按钮的任务中,它也能对答如流。

结论与未来展望

DM0 从根本上重新思考了通用机器人策略的开发路径。它证明了与其让纯语义的大语言模型在事后去适应机器人身体,不如在预训练的萌芽期,就将物理世界的感知与多源数据相融合,构建一个真正意义上的具身原生 VLA 模型;其独创的混合梯度训练保护了认知不退化,而具身空间脚手架则赋予了模型三维空间的推理直觉。

尽管 DM0 已经树立了一个强大的基准,但这仅仅是 Physical AI 迈出的一小步。论文的最后,作者团队也指出了几个极具潜力的演进方向:

1. 具身原生的 Scaling Laws: DM0 目前依然是一个 2B 级别的轻量化模型。未来,团队计划将其扩展至 7B 甚至 30B 规模,并吞吐更为庞大的仿真 + 真实的混合数据集,以期观察到在物理推理层面的涌现能力。

2. 更广阔的多模态感知: 现实世界的物理交互绝不仅限于看和说。DM0 的预训练阶段未来有望直接整合触觉反馈、音频以及纯深度信息,让机器人即便在视野受限的动态环境中依然游刃有余。

3. 长程推理与世界模型: 现有的空间脚手架虽然解决了部分规划问题,但跨越超长时间维度的任务仍是业界难题。未来,若能将世界模型整合进 DM0 ,赋予机器人在脑海中预演动作后果并进行长期规划的能力,真正的全能型 Physical AI 将不再遥远。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4打3不传球,克雷桑红牌本可避免,王大雷场下起作用,泰山队差在外援

4打3不传球,克雷桑红牌本可避免,王大雷场下起作用,泰山队差在外援

替补席看球
2026-09-05 22:20:23
现在都这么卷了吗 ?广州24小时大型商场将开业

现在都这么卷了吗 ?广州24小时大型商场将开业

楼主说楼市
2026-09-05 22:23:46
突发!广东一知名连锁餐饮店出大事了!

突发!广东一知名连锁餐饮店出大事了!

东莞好生活
2026-09-05 17:22:17
0-0!热刺耻辱0射正 开局3轮不胜仅1分 夏窗3.7亿签10位强援仍0球

0-0!热刺耻辱0射正 开局3轮不胜仅1分 夏窗3.7亿签10位强援仍0球

我爱英超
2026-09-05 23:59:44
别再喊收复台湾了

别再喊收复台湾了

乌克兰小静
2026-09-05 08:26:20
DDR5太贵买不起!厂商推出0GB假内存:插满插槽还能亮RGB

DDR5太贵买不起!厂商推出0GB假内存:插满插槽还能亮RGB

快科技
2026-09-05 10:15:04
心酸!大二女生对着镜头哭得通红,一个月光吃饭就是1080,爸妈能不能再给点

心酸!大二女生对着镜头哭得通红,一个月光吃饭就是1080,爸妈能不能再给点

蝴蝶花雨话教育
2026-09-04 00:05:18
张天爱里面不穿,有点辣啊

张天爱里面不穿,有点辣啊

吃瓜党二号头目
2026-09-05 12:10:46
扔掉12斤水果,赔掉10万元,中国式自我感动有多可怕!

扔掉12斤水果,赔掉10万元,中国式自我感动有多可怕!

夜深爱杂谈
2026-09-05 21:28:52
一场1-2让越南球迷梦碎!两战全败提前出局,下轮不胜将降级!

一场1-2让越南球迷梦碎!两战全败提前出局,下轮不胜将降级!

绿茵舞着
2026-09-05 21:51:53
开幕前撤展?首尔连夜切割,得罪自己人,也不能落得高市的下场

开幕前撤展?首尔连夜切割,得罪自己人,也不能落得高市的下场

墨子翟的日记y
2026-09-05 14:20:42
热刺积1分暂离降级区,九月剩余联赛将战埃弗顿与维拉

热刺积1分暂离降级区,九月剩余联赛将战埃弗顿与维拉

懂球帝
2026-09-06 00:23:38
法学界陈枫发声:建议取消英语主课地位,教育该回归本土文化根基了

法学界陈枫发声:建议取消英语主课地位,教育该回归本土文化根基了

小徐讲八卦
2026-09-04 15:56:54
南大博士汤家凤呼吁取消英语核心课程地位,称没一个国家像我们这么重视英语,被骂目光短浅

南大博士汤家凤呼吁取消英语核心课程地位,称没一个国家像我们这么重视英语,被骂目光短浅

Mr王的饭后茶
2026-09-05 11:36:50
日本人有个不好预感,继续激怒中方,大陆可能在收台前先收拾日本

日本人有个不好预感,继续激怒中方,大陆可能在收台前先收拾日本

莫地方
2026-09-05 23:10:15
韩媒放狠话!汉字并非中国独有,它是亚洲瑰宝,韩国也将实施全民汉字教育

韩媒放狠话!汉字并非中国独有,它是亚洲瑰宝,韩国也将实施全民汉字教育

小徐讲八卦
2026-09-04 13:48:19
终于理解老辈子送米面粮油的含金量了,网友:简直夯爆了!

终于理解老辈子送米面粮油的含金量了,网友:简直夯爆了!

夜深爱杂谈
2026-09-05 20:42:16
美国女篮高兴早了,国际篮联官宣,中国女篮收获意外惊喜,球迷沸腾

美国女篮高兴早了,国际篮联官宣,中国女篮收获意外惊喜,球迷沸腾

日常万物志
2026-09-05 17:11:51
张馨予夫妇看车,老公何捷英俊帅气,夫妻超恩爱!

张馨予夫妇看车,老公何捷英俊帅气,夫妻超恩爱!

小小一米月儿
2026-09-06 00:10:09
彩票出现断崖式暴跌,暴跌1700亿!“2元中500万”为什么没人信了?

彩票出现断崖式暴跌,暴跌1700亿!“2元中500万”为什么没人信了?

青眼财经
2026-09-03 19:32:22
2026-09-06 00:44:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13924文章数 142729关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

患者疑将刀藏锦旗中连捅医生多刀 官方回应

头条要闻

患者疑将刀藏锦旗中连捅医生多刀 官方回应

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

阿Sa蔡卓妍首度求婚细节,感动落泪

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

千里浩瀚H5/30英寸大屏 星越L PLUS让你看到油车越级的一面

态度原创

游戏
健康
艺术
公开课
军事航空

发售时间迎来新线索!《龙珠》新作或明年初就能玩到

脑梗取栓成功≠活下来,还有这三关

艺术要闻

14岁种下画家梦,51岁才拿起笔。她笔下的加拿大乡村,治愈了无数疲惫的灵魂!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄罗斯建"粉碎大日本帝国"纪念碑 日本急了

无障碍浏览 进入关怀版