网易首页 > 网易号 > 正文 申请入驻

自动驾驶VLA中的语言起到什么作用?

0
分享至

本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。

VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?

其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。

在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。

01

从看见像素到理解场景

传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。

通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。

例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。



图片源自:网络

想要实现这种理解能力,关键在于多模态信息的融合。

语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。

正是这种融合,让VLA模型具备了处理长尾场景的能力。

像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。

而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。

02

语言如何驱动规划

语言对驾驶最深远的影响,其实体现在决策与规划环节。

VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。

被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。

该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。

在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。



图片源自:网络

而在简单场景中则采用快思考模式以提升效率。

VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。

香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。

实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。

也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。

03

可解释性与人机信任的桥梁

自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。

VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。

英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。

该模型创新性地将思维链AI推理与路径规划技术深度融合。

在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。



图片源自:网络

AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。

魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。

04

最后的话

语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。

VLA被推向量产,意味着行业已经认可了这条路径。

接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伟大的绝杀!终结美国,力克日本,中国是冠军!人民日报发文赞誉

伟大的绝杀!终结美国,力克日本,中国是冠军!人民日报发文赞誉

粵語经典歌單
2026-10-24 10:48:58
夫妻俩因家庭纠纷到派出所调解,丈夫竟两次抢夺警枪,想要用枪击打妻子,获刑4年

夫妻俩因家庭纠纷到派出所调解,丈夫竟两次抢夺警枪,想要用枪击打妻子,获刑4年

扬子晚报
2026-10-31 13:31:12
蔡康永:未来不会再到大陆表演,欠粉丝太多,但这不是我造成的!

蔡康永:未来不会再到大陆表演,欠粉丝太多,但这不是我造成的!

你是我心中最美星空
2026-10-30 22:31:36
“十岁女孩长这样,天塌了”,家长晒低审美照片,刷新了网友认知

“十岁女孩长这样,天塌了”,家长晒低审美照片,刷新了网友认知

世界圈
2026-10-31 18:22:13
“你们这是想在水下杀了我!”中国潜水教练在马尔代夫18米水下遭3人拉拽、脚踢、抓手臂 潜水呼吸调节器和面镜差点被摘掉!

“你们这是想在水下杀了我!”中国潜水教练在马尔代夫18米水下遭3人拉拽、脚踢、抓手臂 潜水呼吸调节器和面镜差点被摘掉!

闪电新闻
2026-10-31 11:09:49
我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

我感觉其实不用再猜了,万斯大概率就是下一届美国总统。真要是他入主白宫,首当其冲的就是中国

扶苏聊历史
2026-10-26 17:56:12
姐的好身材,是我炫耀的资本

姐的好身材,是我炫耀的资本

疾跑的小蜗牛
2026-10-31 20:27:15
四强赛看孙颖莎!就在今晚20:30!如果莎莎能赢下26岁早田希娜,国乒将会收获3大利好!CCTV5直播,早田恐第22次被虐

四强赛看孙颖莎!就在今晚20:30!如果莎莎能赢下26岁早田希娜,国乒将会收获3大利好!CCTV5直播,早田恐第22次被虐

篮球热嗖
2026-10-31 19:15:36
对于后天周一A股,我只说3句话:第一,3574点很可能是个开始?

对于后天周一A股,我只说3句话:第一,3574点很可能是个开始?

股侠指北针
2026-10-31 09:29:35
特朗普:伊朗战事将“很快结束” 届时汽油、柴油以及其他各类商品的价格都会下降

特朗普:伊朗战事将“很快结束” 届时汽油、柴油以及其他各类商品的价格都会下降

闪电新闻
2026-10-31 11:34:21
新能源时代的悲哀:最低的油价、最好的发动机,但卖出了最差销量

新能源时代的悲哀:最低的油价、最好的发动机,但卖出了最差销量

兴趣知识
2026-10-31 11:19:52
安徽14岁初中女生突发脑梗,家属称其长期吃外卖、烧烤、喝奶茶,医生提醒

安徽14岁初中女生突发脑梗,家属称其长期吃外卖、烧烤、喝奶茶,医生提醒

齐鲁壹点
2026-10-31 10:07:12
河南郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

河南郑州一景区工作人员向人群中扔炸药包,被楼下NPC扔回后直接爆炸,景区客服:炸药包只是道具,真正爆炸装置在二楼

台州交通广播
2026-10-30 15:41:16
才知道,原来人民币只有在中国才叫人民币,在国外的叫法高大上

才知道,原来人民币只有在中国才叫人民币,在国外的叫法高大上

解锁世界风云
2026-10-31 04:45:32
网红小姐姐用她这身打扮证明了,穿运动装也可以很有魅力

网红小姐姐用她这身打扮证明了,穿运动装也可以很有魅力

美女穿搭分享
2026-10-27 21:06:35
不打了!再见莫兰特!NBA伤病潮史诗级离谱

不打了!再见莫兰特!NBA伤病潮史诗级离谱

篮球实战宝典
2026-10-31 16:14:28
德国总理默茨在日本,说到台海问题语出惊人,让高市早苗没话说了

德国总理默茨在日本,说到台海问题语出惊人,让高市早苗没话说了

北海史记
2026-10-31 10:11:04
“偷东西的全家死光”,中国店主货架贴标语被意大利市民举报犯威胁罪

“偷东西的全家死光”,中国店主货架贴标语被意大利市民举报犯威胁罪

观察者网
2026-10-31 08:31:23
离谱!辽宁一中学筛查肺结核时,多名学生共用一个针头,当地通报:涉及78名学生

离谱!辽宁一中学筛查肺结核时,多名学生共用一个针头,当地通报:涉及78名学生

聊斋新志
2026-10-29 19:02:48
56岁女子每天等孙子孙女睡着后关灯刷手机到凌晨,视力严重受损仅剩0.1,医生:若未及时处理,可致失明

56岁女子每天等孙子孙女睡着后关灯刷手机到凌晨,视力严重受损仅剩0.1,医生:若未及时处理,可致失明

都市快报橙柿互动
2026-10-31 03:46:38
2026-11-01 00:16:49
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
629文章数 11关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

头条要闻

媒体:美防长宣布启动"子午线计划" 马斯克"接管"军队

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

好开更好坐 马自达EZ-60激光版补齐最后短板

态度原创

本地
旅游
教育
健康
数码

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

旅游要闻

县域康养旅居受热捧 入境游银发客源增多

教育要闻

绝望的英专生有什么出路?

查不出猝死风险?可能是项目没做对

数码要闻

18A工艺下放真香!英特尔Wildcat Lake全面售罄:高管直言需求远超供应

无障碍浏览 进入关怀版