网易首页 > 网易号 > 正文 申请入驻

陈龙小米智驾收官之作!OneVL将单步轨迹预测延迟压至0.24秒

0
分享至

智猩猩AI整理

编辑:知知

小米智驾核心人物陈龙,正在开启职业生涯的新篇章。

2025年3月,陈龙加入小米,负责辅助驾驶 VLA 技术研发,随后担任小米汽车主任科学家,主导具身基座大模型 Xiaomi MiMo-Embodied 的研发,并推动 XLA 认知大模型落地量产。2026年3月,XLA 随新一代小米 SU7 正式发布,将大模型的语义理解与推理能力进一步引入辅助驾驶。

而在离开小米、奔赴创业之际,陈龙参与的一项研究也有了新进展:OneVL 已被 NeurIPS 2026 接收。



车辆面对行人过街、临时车道或拥挤路口时,需要及时给出轨迹。模型为什么选择让行、转弯或保持车道,也关系到后续分析与调试。完整推理文本容易检查,却会增加生成时间;直接预测轨迹更快,中间判断又不容易观察。

OneVL 将语言与未来画面用于训练紧凑的潜在表示,并允许在需要时恢复这两类解释。论文还探索了一个 MLP 轨迹预测版本,在 NAVSIM 上达到 0.24 秒延迟、86.83 的 PDM-score。这是一项面向低延迟预测的实验结果,语言解释和未来画面的按需生成属于另外的调用过程。

01

路线选择,需要和场景中

的对象对应起来

在一个转弯场景中,模型需要判断可行驶区域怎样延伸,车辆是否靠近道路边界,以及转向后会看到什么。只给出一个方向词,无法说明这些判断是否一致。

OneVL 的原论文将前视图、鸟瞰图、语言解释和预测后续画面放在同一个例子中。绿色与红色分别表示真实参考轨迹和模型预测轨迹,可以观察路线偏差发生在哪个位置。


项目主页的 NAVSIM 日志演示进一步展示了道路画面和鸟瞰预测随记录场景变化的情况。它们提供的是预测可视化,适合检查空间关系与轨迹变化。


02

临时道路条件,会增加

哪些判断要求?

施工路段可能用交通锥改变车道边界,临时标志也可能要求车辆偏离常规路线。模型需要把这些局部条件与规划结合,不能只依赖熟悉的道路外观。

论文的 ROADWork 评测专门覆盖施工区域。OneVL 的平均位移误差为12.49像素,显式思维链基线为13.18像素。定性例子还展示了预测画面与文字解释中的施工线索,帮助观察模型怎样理解临时可行驶区域。



这些例子适合用于分析:轨迹有没有进入不合适的位置,语言解释是否提到决定路线的条件,预测画面是否保留了相关对象。把几种输出放在一起,能够提出更具体的检查问题。

03

行人过街:解释应当能与

预测内容一起检查

Alpamayo-R1 的一个例子中,论文给出的语言解释指向前方行人过街的让行需求。对应画面展示了参考轨迹、模型轨迹和两幅预测后续视野。



“模型能够生成让行解释”与“系统已在真实交通中完成可靠让行”是不同层面的结果。这里的图像和语言输出用于理解、评估模型的预测,不足以单独证明实际驾驶系统的安全表现。

夜间复杂场景也提供了另一种检查条件。光照变化会影响目标和道路线索的可见性,语言中的驾驶意图是否与图像及轨迹一致,需要结合这些输出分析。


04

训练时学习解释,预测轨迹时

减少额外生成

OneVL 在视觉-语言-动作模型 (Vision-Language-Action Model, VLA) 中引入视觉与语言潜在位置。主模型读取当前图像、自车状态、导航命令和历史轨迹;视觉辅助解码器学习预测 0.5 秒、1.0 秒之后的画面,语言辅助解码器学习恢复推理文字。


标准推理路径可以不调用这两个辅助解码器。潜在 token 在预填充 (Prefill) 阶段并行处理,模型随后只生成轨迹答案。文字和视觉解释则可以在分析时按需生成。

这样,解释所提供的监督可以参与训练,而不必要求每次轨迹预测都先写完一段推理文本。需要说明的是,标准 OneVL 的轨迹仍是自回归 (Autoregressive, AR) 解码;减少了推理文本开销,并没有消除轨迹输出本身的顺序生成成本。


05

0.24 秒对应怎样的质量

与效率取舍?

为了进一步缩短轨迹输出时间,论文将一个多层感知机 (Multi-Layer Perceptron, MLP) 预测头接到最后一个潜在位置的隐藏状态上,直接回归未来轨迹。

在 NAVSIM 测试中,MLP 版本的 PDM-score 为 86.83,延迟为 0.24 秒;标准自回归版本分别为 88.84 和 4.46 秒。按论文报告的测量,MLP 版本约为 4.16 Hz,延迟约为自回归版本的 5.4%。


这张表给出的是具体的模型选择:一个版本保留更高的规划分数,另一个以较低分数换取更短的预测时间。0.24 秒与 88.84 不能作为同一版本的成绩。实际系统中的传感器、其他模型和控制执行还会影响整体延迟,因此车载表现需要结合系统条件验证。

PDM-score 也不等同于实际道路中的事故率。它是在 NAVSIM 的非反应式评测协议下形成的综合规划指标,与真实交通参与者交互的闭环测试仍有不同。

06

可读的解释,也有

自己的质量差距

OneVL 的语言解释评测基于 500 个 NAVSIM 测试样本,检查驾驶意图、语义相似性与模型裁判评分。三个维度的平均分为 76.13,高于 SIM-CoT 的74.06,低于显式思维链的78.27。


这个结果说明,压缩后的表示可以恢复具有参考价值的解释,但仍需要检查解释是否贴合当前场景。语言内容、未来画面与轨迹相互一致,是有用的诊断线索;它们并不自动构成经过验证的因果说明。

视觉解释的质量又与训练安排有关。OneVL先建立轨迹与潜在表示,再让辅助解码器适应稳定状态,最后联合优化。省略分阶段训练时,NAVSIM 的PDM-score从88.84降到67.13,说明形成有效表示需要相应的训练过程。


07

在日志中检查路线,也为

后续系统研究提供依据

狭窄街道、路边停放车辆与转弯路口,都可以通过前视画面和鸟瞰预测进一步分析。原论文附录中的例子保留了参考轨迹、模型轨迹、后续画面和语言输出,便于在同一场景中核对这些信息。



OneVL 展示了一种把规划效率与解释监督连接起来的方法:训练时让隐藏状态学习可读的语言内容和未来视觉变化,运行时根据需要选择轨迹输出方式与解释调用。它的研究价值既在于四项基准上的规划改进,也在于将表示质量、预测时间和解释能力放进同一个可以检查的框架。训练资源开销、复杂交互和实际系统验证,仍是继续推进这套方法时需要考虑的部分。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

每日经济新闻
2026-10-22 19:02:27
全球第二大经济体的人民币,为啥在美国花不出去?

全球第二大经济体的人民币,为啥在美国花不出去?

流苏晚晴
2026-08-06 20:03:21
国米10场比赛替补5球4助攻 功归意甲最顶尖的大师级掌舵

国米10场比赛替补5球4助攻 功归意甲最顶尖的大师级掌舵

国际足球冷雪
2026-10-23 10:07:09
马科斯抓捕行动失败后,老杜心腹埋下关键后手,莎拉顺势开始反击

马科斯抓捕行动失败后,老杜心腹埋下关键后手,莎拉顺势开始反击

瓦伦西亚月亮
2026-10-23 05:13:12
两红+点球+世界波!U16国足3-3巴林 球迷:教练连“护犊子”都不会

两红+点球+世界波!U16国足3-3巴林 球迷:教练连“护犊子”都不会

汪星人哟
2026-10-23 08:13:19
真实的大萧条:当时没人知道自己在萧条里

真实的大萧条:当时没人知道自己在萧条里

郑逻辑
2026-10-07 08:39:23
沙特首都利雅得多次传出爆炸声

沙特首都利雅得多次传出爆炸声

新华社
2026-10-23 08:23:02
太可怕!网曝武大杨景媛已变成了正面角色了,出现在某一本情感书籍中

太可怕!网曝武大杨景媛已变成了正面角色了,出现在某一本情感书籍中

小徐讲八卦
2026-10-23 09:10:20
22岁越南女兵战死丛林,美军扒裤踩胸拍照炫,她最后愿望让人泪崩

22岁越南女兵战死丛林,美军扒裤踩胸拍照炫,她最后愿望让人泪崩

小豫讲故事
2026-10-13 06:00:10
中美差距又拉开了!055与美军舰海上过招,才发现美海军早就虚了

中美差距又拉开了!055与美军舰海上过招,才发现美海军早就虚了

梦想的现实
2026-10-22 06:09:41
于东来也没想到,同样开公司的张雪,竟因一个“橘子”,口碑暴增

于东来也没想到,同样开公司的张雪,竟因一个“橘子”,口碑暴增

晓踏就是我
2026-10-23 05:27:20
儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

牛魔王与芭蕉扇
2025-04-03 11:06:16
“班里全是贫民窟王子和公主”,张老师的深夜聊天记录,评论区的同行都炸了

“班里全是贫民窟王子和公主”,张老师的深夜聊天记录,评论区的同行都炸了

妍妍教育日记
2026-10-01 09:15:17
何小鹏与余承东的AEB之争,底牌终于亮出来了

何小鹏与余承东的AEB之争,底牌终于亮出来了

三农老历
2026-10-23 11:30:09
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
不要歼10,不要苏35,伊朗空军想要国产重型战斗机,替换中美俄法

不要歼10,不要苏35,伊朗空军想要国产重型战斗机,替换中美俄法

花漾夜雨飘雪
2026-10-21 21:03:17
Here we go!罗马诺:居莱尔与皇马续约五年,新合同即将公布

Here we go!罗马诺:居莱尔与皇马续约五年,新合同即将公布

懂球帝
2026-10-23 01:11:14
一场2-0完胜,16岁孙心然夺总决赛2连胜,提前出线,夺冠=创历史

一场2-0完胜,16岁孙心然夺总决赛2连胜,提前出线,夺冠=创历史

侃球熊弟
2026-10-23 00:35:05
女朋友总是喜欢挑我毛病,一年后我才知,她是市委书记的女儿

女朋友总是喜欢挑我毛病,一年后我才知,她是市委书记的女儿

千秋文化
2026-07-25 19:54:28
2026年小学入学人数锐减640万,深圳家长还要为抢学位挤破头吗?

2026年小学入学人数锐减640万,深圳家长还要为抢学位挤破头吗?

手工制作阿爱
2026-10-23 06:06:48
2026-10-23 12:47:00
智猩猩
智猩猩
AI 技术内容与服务平台
265文章数 13关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

本地
手机
艺术
旅游
公开课

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

手机要闻

微信为适配iPhone Duo紧急更新 网友晒图直言有黑边不完美

艺术要闻

中国当代画家 谢郴安油画作品选

旅游要闻

衡阳上新免费打卡点 邂逅秋日田园童话

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版