网易首页 > 网易号 > 正文 申请入驻

自动驾驶和具身智能共用一套模型,这事可行吗?

0
分享至

[首发于智驾最前沿微信公众号]2026年CVPR大会上,特斯拉AI软件副总裁Ashok Elluswamy说,他们不是在造一个驾驶产品,而是在为所有机器人构建一个统一的基础模型。

同一套模型,今天开车,明天就在工厂里搬箱子。

其实具身智能与自动驾驶在技术上有很多相似性,共用同一套模型这个想法,也有很多企业在尝试,那这事可行吗?

01

统一模型的技术基础是什么?

在具身智能概念刚出来的时候,很多人将自动驾驶作为具身智能的一种形态。

但相较于我们所熟悉的类人具身智能,自动驾驶与其在任务层面有着显著差异。

自动驾驶的使用场景主要是在结构化的道路上,自由度低,但安全性要求极高。

具身智能强调的是在非结构化的环境中工作,自由度动辄几十个,需要处理物理接触的场景。

从使用场景看,自动驾驶与具身智能的差异还是很大的,那他们共用模型的基础在哪里?

其实无论是汽车还是机器人,都需要感知三维空间、理解物体之间的关系、预测环境变化、规划行动路径。

这些能力听上去各自独立,但本质上都指向同一个问题,那就是系统如何在自己的内部表征中构建对外部物理世界的认知。

这种跨形态的共性需求,正是探索统一模型架构的起点。



图片源自:网络

ACE-Brain系列工作在这方面就提出了很有代表性的观点。

ACE-Brain是由大晓机器人联合上海交通大学、南洋理工大学、香港中文大学、香港大学等机构共同推出的具身智能基础模型。

其核心思路是以空间智能作为跨不同硬件形态的通用语言。

ACE-Brain-0的论文中指出,虽然车辆、机器人和无人机在形态上差异巨大,但它们共享一个共同需求。

也就是对三维心智空间的建模,空间认知能力可以作为跨形态迁移的通用基础。

从模型架构来看,当前自动驾驶和具身智能都涉及VLA框架。

VLA模型可以将视觉感知、语言理解和动作生成统一到同一个模型里。

理想汽车2026年3月发布的MindVLA-o1,以原生多模态MoE Transformer为核心架构。

其通过3D空间理解、多模态思考、统一行为生成、闭环强化学习、软硬件协同设计5大技术创新,将视觉、语言和行动统一到了一个模型中。

理想基座模型负责人詹锟在GTC 2026上则表示,当我们把视觉、语言和行动统一到一个模型中时,它已不再只是自动驾驶模型,而是在逐渐演化为面向物理世界的通用智能体。

基于同一套VLA模型,不仅可以控制车辆,也能够扩展到机器人。

世界模型的加入进一步拓展了统一模型的边界。

世界模型可以让系统在内部模拟环境演化,预测行动之后世界会如何变化。

小鹏在CVPR 2026上展示了其世界模型完整技术图谱,与第二代VLA共同构成物理世界基座模型。

刘先明则将二者关系概括为一体两面,即VLA学习如何行动,世界模型学习行动之后世界会如何变化,两者通过不同训练信号相互增强。

这套基座模型的适用范围不限于自动驾驶,按照小鹏的规划,将从汽车延伸至人形机器人IRON、飞行汽车等具身智能场景。

小米的技术路线也很值得聊一聊。

2026年5月,小米正式发布并开源了Xiaomi OneVL一步式潜空间语言视觉推理框架,将VLA、世界模型以及潜空间推理三大技术路线统一到同一套框架中。

这套框架同时服务于小米汽车和具身机器人两条产品线,其HAD辅助驾驶系统已经融入了自研的MiMo-Embodied具身基座模型,雷军本人也在社交媒体同步宣布了这一消息。

这种跨产品线的统一架构思路,反映的是行业对通用物理世界模型能力边界的持续拓展。

从这些企业的实践也可以看出,自动驾驶积累的海量真实道路数据,为统一模型的训练提供了其他领域难以比拟的规模优势,自动驾驶可以说是通往具身智能的第一块试验田。

02

模型统一的挑战在哪里?

虽然很多企业都在推动统一的大模型用于自动驾驶与具身智能,但这中间存在很多的问题。

自动驾驶与具身智能在数据层的需求就有很大不同,自动驾驶的数据是亿英里级别的,但机器人的操作数据稀缺得多。

它石智航创始人兼CEO陈亦伦在2026WAIC主论坛上指出,工业级自动驾驶系统训练需要约100万小时视频数据,而具身操作需要刻画更复杂的接触式物理规律,至少需要1000万小时合格数据。

数据规模的巨大差距意味着,即便共用模型架构,两个领域的训练也不在同一量级上。

两者对于延迟的要求也不一样,当前VLA模型的推理延迟普遍在100到300毫秒,但具体到不同的应用场景,对延迟的容忍度差异很大。

自动驾驶面临的是高速移动的物理环境。

一辆车以120公里时速行驶时,每秒钟会前进约33米,感知到决策之间的任何延迟都会直接转化为安全隐患。

因此业内一般要求端到端延迟稳定在100毫秒以内。



图片源自:网络

机器人场景则因任务类型不同而差别很大,在仓储物流、家庭服务这类任务中,每次操作之间的间隔可以是几秒甚至更长。

VLA模型几百毫秒的推理延迟完全在可接受范围内;而在高速动态交互的场景中,对延迟会有更苛刻的要求。

小米Xiaomi OneVL就将推理延迟压到了0.24秒,换算成频率大约是4.16Hz,相比传统VLA模型已有大幅提升,仅为自回归推理延迟的5.4%。

这个延迟水平对于多数机器人操作场景已经够用,在量产车端实时部署也有可行性,但面向高速自动驾驶场景仍有优化空间。

除此之外,自动驾驶与具身智能两者任务的差异同样不可忽视。

自动驾驶的交互以不发生接触为前提,而机器人的核心任务恰恰是如抓取、装配、操作等物理接触。

这两种任务对模型的要求不同,一个在驾驶场景中表现良好的模型,切换到机器人操作时可能需要完全不同的输出空间和约束条件。

03

作者观点

智驾最前沿以为,自动驾驶和具身智能共用一套模型在技术上是可行的。

但这并不意味着自动驾驶和具身智能会使用完全相同的模型权重,更可行的路径是在共用架构加上分别微调。

可以让同一个基础模型在大量物理世界数据上完成预训练,然后针对驾驶和操作两个领域分别进行适配。

汽车在路上行驶时采集的视觉数据,对于训练机器人的场景理解能力同样有用。

机器人在操作中积累的物理交互数据,也可帮助自动驾驶系统更好地理解动态障碍物的行为。

这种跨场景的数据复用,将是统一模型带来的真正价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
云南这则新闻,难道代价就只能落到老百姓头上?

云南这则新闻,难道代价就只能落到老百姓头上?

胖胖说他不胖
2026-09-29 10:00:34
“还好统一校服了,不然别的女孩多自卑”,中学女生背影,诠释了天生主角

“还好统一校服了,不然别的女孩多自卑”,中学女生背影,诠释了天生主角

泽泽先生
2026-10-30 13:18:39
一句“娶你养老吗?要不你加我爸吧”!杭州相亲角,36岁女硕士70万年薪择偶要求,引热议

一句“娶你养老吗?要不你加我爸吧”!杭州相亲角,36岁女硕士70万年薪择偶要求,引热议

火山詩话
2026-10-28 12:07:52
中国潜水教练在马尔代夫遭外籍潜水员拉拽,对方试图摘呼吸器,当事人:现在回想仍后怕;船宿方称已提交调查

中国潜水教练在马尔代夫遭外籍潜水员拉拽,对方试图摘呼吸器,当事人:现在回想仍后怕;船宿方称已提交调查

三湘都市报
2026-10-31 02:28:26
郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

先锋新闻
2026-10-31 13:05:07
高校又出新规:评上副教授重签合同,六年内应满足评教授的职称指标,否则降回讲师,无限循环!不签甚至不让参评!

高校又出新规:评上副教授重签合同,六年内应满足评教授的职称指标,否则降回讲师,无限循环!不签甚至不让参评!

学术眺望
2026-10-31 08:35:03
51年洪学智妻子寻女无果老乡家休息老乡惊呼:你要找的就是我!

51年洪学智妻子寻女无果老乡家休息老乡惊呼:你要找的就是我!

历史甄有趣
2026-10-30 06:00:18
皎平渡的37名船工:帮红军渡江之后,他们后来怎么样了?

皎平渡的37名船工:帮红军渡江之后,他们后来怎么样了?

小莜读史
2026-10-30 12:15:55
签到30天得8800额度,豆包这波比标准套餐还多

签到30天得8800额度,豆包这波比标准套餐还多

摸鱼算法
2026-10-30 17:25:33
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
李想打出今年最后一张王牌!新i6限时23.98万开卖,APP都被挤崩了……

李想打出今年最后一张王牌!新i6限时23.98万开卖,APP都被挤崩了……

车东西
2026-10-28 22:23:49
两名大学生登山失联!帐篷被大雪压塌,60人搜救数日,最终在深山发现两人遗体

两名大学生登山失联!帐篷被大雪压塌,60人搜救数日,最终在深山发现两人遗体

华人生活网
2026-10-31 06:07:18
大衣哥事件升级!警察现已介入,与于文华有私生子早已水落石出

大衣哥事件升级!警察现已介入,与于文华有私生子早已水落石出

松林侃世界
2026-10-31 16:32:55
马卡:穆帅耐心改造B席,逐渐成为教练计划中的重要一员

马卡:穆帅耐心改造B席,逐渐成为教练计划中的重要一员

懂球帝
2026-10-31 16:55:21
多地车管所发布公告:大批70岁以上老人驾照被注销

多地车管所发布公告:大批70岁以上老人驾照被注销

娱乐圈见解说
2026-10-31 01:46:29
不打了!再见莫兰特!NBA伤病潮史诗级离谱

不打了!再见莫兰特!NBA伤病潮史诗级离谱

篮球实战宝典
2026-10-31 16:14:28
“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

妍妍教育日记
2026-10-29 17:24:39
大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

夜深爱杂谈
2026-10-20 20:22:43
同一天办婚宴境遇天差地别,唐云雄邀网友吃全猪宴无人来,小小徐一呼却百人赴宴,流量偏向谁?

同一天办婚宴境遇天差地别,唐云雄邀网友吃全猪宴无人来,小小徐一呼却百人赴宴,流量偏向谁?

秋风妃
2026-10-31 14:24:20
又一大佬暴雷!老婆是知名大明星,如今遭员工集体发声讨薪

又一大佬暴雷!老婆是知名大明星,如今遭员工集体发声讨薪

李橑在北漂
2026-10-31 00:21:19
2026-10-31 19:07:00
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

手机
游戏
时尚
艺术
军事航空

手机要闻

消息称某厂子系阔直板2027见,预计为小米REDMI旗下

《致命躯壳2》推送更新!战斗崩溃地牢与闪退一锅端

别再穿马蹄鞋、小棕鞋了,这双鞋才是秋冬穿搭的“顶流”

艺术要闻

日本发现董其昌书法,与以往风格大不相同,这字体现了他的真实水平!

军事要闻

美国批准向乌克兰出售500枚爱国者导弹

无障碍浏览 进入关怀版