网易首页 > 网易号 > 正文 申请入驻

陈龙小米智驾收官之作!OneVL将单步轨迹预测延迟压至0.24秒

0
分享至

智猩猩AI整理

编辑:知知

小米智驾核心人物陈龙,正在开启职业生涯的新篇章。

2025年3月,陈龙加入小米,负责辅助驾驶 VLA 技术研发,随后担任小米汽车主任科学家,主导具身基座大模型 Xiaomi MiMo-Embodied 的研发,并推动 XLA 认知大模型落地量产。2026年3月,XLA 随新一代小米 SU7 正式发布,将大模型的语义理解与推理能力进一步引入辅助驾驶。

而在离开小米、奔赴创业之际,陈龙参与的一项研究也有了新进展:OneVL 已被 NeurIPS 2026 接收。



车辆面对行人过街、临时车道或拥挤路口时,需要及时给出轨迹。模型为什么选择让行、转弯或保持车道,也关系到后续分析与调试。完整推理文本容易检查,却会增加生成时间;直接预测轨迹更快,中间判断又不容易观察。

OneVL 将语言与未来画面用于训练紧凑的潜在表示,并允许在需要时恢复这两类解释。论文还探索了一个 MLP 轨迹预测版本,在 NAVSIM 上达到 0.24 秒延迟、86.83 的 PDM-score。这是一项面向低延迟预测的实验结果,语言解释和未来画面的按需生成属于另外的调用过程。

01

路线选择,需要和场景中

的对象对应起来

在一个转弯场景中,模型需要判断可行驶区域怎样延伸,车辆是否靠近道路边界,以及转向后会看到什么。只给出一个方向词,无法说明这些判断是否一致。

OneVL 的原论文将前视图、鸟瞰图、语言解释和预测后续画面放在同一个例子中。绿色与红色分别表示真实参考轨迹和模型预测轨迹,可以观察路线偏差发生在哪个位置。


项目主页的 NAVSIM 日志演示进一步展示了道路画面和鸟瞰预测随记录场景变化的情况。它们提供的是预测可视化,适合检查空间关系与轨迹变化。


02

临时道路条件,会增加

哪些判断要求?

施工路段可能用交通锥改变车道边界,临时标志也可能要求车辆偏离常规路线。模型需要把这些局部条件与规划结合,不能只依赖熟悉的道路外观。

论文的 ROADWork 评测专门覆盖施工区域。OneVL 的平均位移误差为12.49像素,显式思维链基线为13.18像素。定性例子还展示了预测画面与文字解释中的施工线索,帮助观察模型怎样理解临时可行驶区域。



这些例子适合用于分析:轨迹有没有进入不合适的位置,语言解释是否提到决定路线的条件,预测画面是否保留了相关对象。把几种输出放在一起,能够提出更具体的检查问题。

03

行人过街:解释应当能与

预测内容一起检查

Alpamayo-R1 的一个例子中,论文给出的语言解释指向前方行人过街的让行需求。对应画面展示了参考轨迹、模型轨迹和两幅预测后续视野。



“模型能够生成让行解释”与“系统已在真实交通中完成可靠让行”是不同层面的结果。这里的图像和语言输出用于理解、评估模型的预测,不足以单独证明实际驾驶系统的安全表现。

夜间复杂场景也提供了另一种检查条件。光照变化会影响目标和道路线索的可见性,语言中的驾驶意图是否与图像及轨迹一致,需要结合这些输出分析。


04

训练时学习解释,预测轨迹时

减少额外生成

OneVL 在视觉-语言-动作模型 (Vision-Language-Action Model, VLA) 中引入视觉与语言潜在位置。主模型读取当前图像、自车状态、导航命令和历史轨迹;视觉辅助解码器学习预测 0.5 秒、1.0 秒之后的画面,语言辅助解码器学习恢复推理文字。


标准推理路径可以不调用这两个辅助解码器。潜在 token 在预填充 (Prefill) 阶段并行处理,模型随后只生成轨迹答案。文字和视觉解释则可以在分析时按需生成。

这样,解释所提供的监督可以参与训练,而不必要求每次轨迹预测都先写完一段推理文本。需要说明的是,标准 OneVL 的轨迹仍是自回归 (Autoregressive, AR) 解码;减少了推理文本开销,并没有消除轨迹输出本身的顺序生成成本。


05

0.24 秒对应怎样的质量

与效率取舍?

为了进一步缩短轨迹输出时间,论文将一个多层感知机 (Multi-Layer Perceptron, MLP) 预测头接到最后一个潜在位置的隐藏状态上,直接回归未来轨迹。

在 NAVSIM 测试中,MLP 版本的 PDM-score 为 86.83,延迟为 0.24 秒;标准自回归版本分别为 88.84 和 4.46 秒。按论文报告的测量,MLP 版本约为 4.16 Hz,延迟约为自回归版本的 5.4%。


这张表给出的是具体的模型选择:一个版本保留更高的规划分数,另一个以较低分数换取更短的预测时间。0.24 秒与 88.84 不能作为同一版本的成绩。实际系统中的传感器、其他模型和控制执行还会影响整体延迟,因此车载表现需要结合系统条件验证。

PDM-score 也不等同于实际道路中的事故率。它是在 NAVSIM 的非反应式评测协议下形成的综合规划指标,与真实交通参与者交互的闭环测试仍有不同。

06

可读的解释,也有

自己的质量差距

OneVL 的语言解释评测基于 500 个 NAVSIM 测试样本,检查驾驶意图、语义相似性与模型裁判评分。三个维度的平均分为 76.13,高于 SIM-CoT 的74.06,低于显式思维链的78.27。


这个结果说明,压缩后的表示可以恢复具有参考价值的解释,但仍需要检查解释是否贴合当前场景。语言内容、未来画面与轨迹相互一致,是有用的诊断线索;它们并不自动构成经过验证的因果说明。

视觉解释的质量又与训练安排有关。OneVL先建立轨迹与潜在表示,再让辅助解码器适应稳定状态,最后联合优化。省略分阶段训练时,NAVSIM 的PDM-score从88.84降到67.13,说明形成有效表示需要相应的训练过程。


07

在日志中检查路线,也为

后续系统研究提供依据

狭窄街道、路边停放车辆与转弯路口,都可以通过前视画面和鸟瞰预测进一步分析。原论文附录中的例子保留了参考轨迹、模型轨迹、后续画面和语言输出,便于在同一场景中核对这些信息。



OneVL 展示了一种把规划效率与解释监督连接起来的方法:训练时让隐藏状态学习可读的语言内容和未来视觉变化,运行时根据需要选择轨迹输出方式与解释调用。它的研究价值既在于四项基准上的规划改进,也在于将表示质量、预测时间和解释能力放进同一个可以检查的框架。训练资源开销、复杂交互和实际系统验证,仍是继续推进这套方法时需要考虑的部分。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京58分狂胜深圳创纪录:曾凡博19+7 贺希宁正负值-55沃特斯21分

北京58分狂胜深圳创纪录:曾凡博19+7 贺希宁正负值-55沃特斯21分

醉卧浮生
2026-10-22 21:22:43
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
肉肉的女生很漂亮,背部美的女生更漂亮

肉肉的女生很漂亮,背部美的女生更漂亮

疾跑的小蜗牛
2026-10-22 19:52:41
四渡赤水:国军悍将,一眼看明四渡赤水的绝佳妙计,为什么却迟迟不敢发电报上报

四渡赤水:国军悍将,一眼看明四渡赤水的绝佳妙计,为什么却迟迟不敢发电报上报

磊子讲史
2026-10-22 17:34:57
终于回归,全红婵重返跳水赛场仅3天,陈芋汐因一举动口碑飙升

终于回归,全红婵重返跳水赛场仅3天,陈芋汐因一举动口碑飙升

星娱叨叨社
2026-10-23 14:11:40
罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

谭谈社会
2026-10-02 16:39:44
消息称苹果iPhone Duo手机官方门店在售保护壳/钢化膜存在相互适配问题

消息称苹果iPhone Duo手机官方门店在售保护壳/钢化膜存在相互适配问题

IT之家
2026-10-23 15:29:12
第一个面临消失的职业,不是幼师,不是快递员,而是这三种工作?

第一个面临消失的职业,不是幼师,不是快递员,而是这三种工作?

白米饭怎么吃
2026-10-11 21:32:47
联合国机构:此次厄尔尼诺现象强度史无前例,超出了统计模型所能预测范围,强烈呼吁国际社会立即提供援助

联合国机构:此次厄尔尼诺现象强度史无前例,超出了统计模型所能预测范围,强烈呼吁国际社会立即提供援助

每日经济新闻
2026-10-22 16:25:59
末节13分救主,赛后落泪!苦等486天复出,熟悉的关键先生回来了

末节13分救主,赛后落泪!苦等486天复出,熟悉的关键先生回来了

锅子篮球
2026-10-22 16:30:57
重磅:乌克兰摧毁莫斯科南部关键的谢尔普霍夫军火库!

重磅:乌克兰摧毁莫斯科南部关键的谢尔普霍夫军火库!

项鹏飞
2026-10-22 19:47:42
65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

65岁宋丹丹被曝做财产公证,坐拥12亿资产,每月给儿孙80万生活费,却没给现任丈夫赵玉吉留一分。

背包旅行
2026-08-26 15:33:59
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
埃及总统:对沙特军事支持仅限该国领土

埃及总统:对沙特军事支持仅限该国领土

参考消息
2026-10-22 14:14:19
男子翻入一农户家中盗窃,搬走重达百斤的保险箱,里面装有57万元现金和300多克黄金,法院:判处有期徒刑十年六个月,并处罚金二十万元

男子翻入一农户家中盗窃,搬走重达百斤的保险箱,里面装有57万元现金和300多克黄金,法院:判处有期徒刑十年六个月,并处罚金二十万元

扬子晚报
2026-10-23 11:11:05
午评|彻底崩了!A股全线破位!怎么办?

午评|彻底崩了!A股全线破位!怎么办?

龙行天下虎
2026-10-23 11:44:50
8000 万水货现形!巴萨天价新援彻底崩盘!诺坎普这下亏大了

8000 万水货现形!巴萨天价新援彻底崩盘!诺坎普这下亏大了

奶盖熊本熊
2026-10-23 08:02:03
“三毛”扮演者孟智超采访中透露:“此前不喜欢被叫三毛,30岁之前一直想着要找一个角色超越他”

“三毛”扮演者孟智超采访中透露:“此前不喜欢被叫三毛,30岁之前一直想着要找一个角色超越他”

韩小娱
2026-10-23 10:44:50
小米王晓雁:友商近日发布新机后,REDMI K100手机的预约量猛增

小米王晓雁:友商近日发布新机后,REDMI K100手机的预约量猛增

IT之家
2026-10-23 13:42:54
皇马暖心一幕,正是穆帅想要看到的!皇马头号巨星姆巴佩带头团结队友

皇马暖心一幕,正是穆帅想要看到的!皇马头号巨星姆巴佩带头团结队友

福酱的小时光
2026-10-23 07:39:53
2026-10-23 16:04:50
智猩猩
智猩猩
AI 技术内容与服务平台
267文章数 13关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

比预售价降了近2万 家越07正式上市11.98万起

态度原创

亲子
手机
房产
公开课
军事航空

亲子要闻

宝宝的“闲置物品”别着急扔!换个思路用在别的地方,太好用了

手机要闻

苹果客服回应iPhone Duo磨砂膜可撕:不建议!纳米纹理表层损坏维修要398元

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版