网易首页 > 网易号 > 正文 申请入驻

自动驾驶VLA中的语言起到什么作用?

0
分享至

本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。

VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?

其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。

在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。

01

从看见像素到理解场景

传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。

通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。

例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。



图片源自:网络

想要实现这种理解能力,关键在于多模态信息的融合。

语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。

正是这种融合,让VLA模型具备了处理长尾场景的能力。

像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。

而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。

02

语言如何驱动规划

语言对驾驶最深远的影响,其实体现在决策与规划环节。

VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。

被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。

该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。

在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。



图片源自:网络

而在简单场景中则采用快思考模式以提升效率。

VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。

香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。

实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。

也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。

03

可解释性与人机信任的桥梁

自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。

VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。

英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。

该模型创新性地将思维链AI推理与路径规划技术深度融合。

在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。



图片源自:网络

AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。

魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。

04

最后的话

语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。

VLA被推向量产,意味着行业已经认可了这条路径。

接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
云南这则新闻,难道代价就只能落到老百姓头上?

云南这则新闻,难道代价就只能落到老百姓头上?

胖胖说他不胖
2026-09-29 10:00:34
“还好统一校服了,不然别的女孩多自卑”,中学女生背影,诠释了天生主角

“还好统一校服了,不然别的女孩多自卑”,中学女生背影,诠释了天生主角

泽泽先生
2026-10-30 13:18:39
一句“娶你养老吗?要不你加我爸吧”!杭州相亲角,36岁女硕士70万年薪择偶要求,引热议

一句“娶你养老吗?要不你加我爸吧”!杭州相亲角,36岁女硕士70万年薪择偶要求,引热议

火山詩话
2026-10-28 12:07:52
中国潜水教练在马尔代夫遭外籍潜水员拉拽,对方试图摘呼吸器,当事人:现在回想仍后怕;船宿方称已提交调查

中国潜水教练在马尔代夫遭外籍潜水员拉拽,对方试图摘呼吸器,当事人:现在回想仍后怕;船宿方称已提交调查

三湘都市报
2026-10-31 02:28:26
郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

先锋新闻
2026-10-31 13:05:07
高校又出新规:评上副教授重签合同,六年内应满足评教授的职称指标,否则降回讲师,无限循环!不签甚至不让参评!

高校又出新规:评上副教授重签合同,六年内应满足评教授的职称指标,否则降回讲师,无限循环!不签甚至不让参评!

学术眺望
2026-10-31 08:35:03
51年洪学智妻子寻女无果老乡家休息老乡惊呼:你要找的就是我!

51年洪学智妻子寻女无果老乡家休息老乡惊呼:你要找的就是我!

历史甄有趣
2026-10-30 06:00:18
皎平渡的37名船工:帮红军渡江之后,他们后来怎么样了?

皎平渡的37名船工:帮红军渡江之后,他们后来怎么样了?

小莜读史
2026-10-30 12:15:55
签到30天得8800额度,豆包这波比标准套餐还多

签到30天得8800额度,豆包这波比标准套餐还多

摸鱼算法
2026-10-30 17:25:33
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
李想打出今年最后一张王牌!新i6限时23.98万开卖,APP都被挤崩了……

李想打出今年最后一张王牌!新i6限时23.98万开卖,APP都被挤崩了……

车东西
2026-10-28 22:23:49
两名大学生登山失联!帐篷被大雪压塌,60人搜救数日,最终在深山发现两人遗体

两名大学生登山失联!帐篷被大雪压塌,60人搜救数日,最终在深山发现两人遗体

华人生活网
2026-10-31 06:07:18
大衣哥事件升级!警察现已介入,与于文华有私生子早已水落石出

大衣哥事件升级!警察现已介入,与于文华有私生子早已水落石出

松林侃世界
2026-10-31 16:32:55
马卡:穆帅耐心改造B席,逐渐成为教练计划中的重要一员

马卡:穆帅耐心改造B席,逐渐成为教练计划中的重要一员

懂球帝
2026-10-31 16:55:21
多地车管所发布公告:大批70岁以上老人驾照被注销

多地车管所发布公告:大批70岁以上老人驾照被注销

娱乐圈见解说
2026-10-31 01:46:29
不打了!再见莫兰特!NBA伤病潮史诗级离谱

不打了!再见莫兰特!NBA伤病潮史诗级离谱

篮球实战宝典
2026-10-31 16:14:28
“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

妍妍教育日记
2026-10-29 17:24:39
大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

大家今年都“穷”到什么程度了?网友评论区堪比大型“比惨”现场

夜深爱杂谈
2026-10-20 20:22:43
同一天办婚宴境遇天差地别,唐云雄邀网友吃全猪宴无人来,小小徐一呼却百人赴宴,流量偏向谁?

同一天办婚宴境遇天差地别,唐云雄邀网友吃全猪宴无人来,小小徐一呼却百人赴宴,流量偏向谁?

秋风妃
2026-10-31 14:24:20
又一大佬暴雷!老婆是知名大明星,如今遭员工集体发声讨薪

又一大佬暴雷!老婆是知名大明星,如今遭员工集体发声讨薪

李橑在北漂
2026-10-31 00:21:19
2026-10-31 19:07:00
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

头条要闻

22岁小伙和17岁朋友登山双双坠亡:一人直接倒挂崖壁

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

旅游
时尚
亲子
本地
家居

旅游要闻

一路看尽扬州景,近3000名跑者徒步运河三湾“阅读”文化底蕴

别再穿马蹄鞋、小棕鞋了,这双鞋才是秋冬穿搭的“顶流”

亲子要闻

第8集 姐弟俩已经到了朋友高于一切的年纪

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版