像素级、隐空间和混合，比亚迪HyWorldVLA中的三种世界模型是个啥？

[首发于智驾最前沿微信公众号]最近，比亚迪汽车新技术研究院发布了一篇名为《HyWorldVLA》的学术论文，这是比亚迪首次在自动驾驶基础模型领域的公开亮相。

图片源自：比亚迪论文

这篇论文中提出了混合世界模型的概念，而这个混合模型，正是建立在像素级世界模型和隐空间世界模型之上。

这两种世界模型到底是什么？它们各自有什么作用？比亚迪为什么要做混合世界模型？

01

什么是像素级世界模型？

像素级世界模型，顾名思义，就是让AI像放电影一样，一帧一帧地预测未来几秒钟的路况画面。

比如前方有一辆车正在变道，模型会精确预测出这辆车在接下来每一帧画面中的位置、形状和运动轨迹。

在右转过程中，尽管前视摄像头输入中未见车道标线，模型仍能可靠地预测未来的车道标线

图片源自：比亚迪论文

它的作用是为自动驾驶提供密集的空间和动态训练约束。

什么意思呢？就是模型必须真正理解场景的几何布局和物体运动关系，才能准确预测出下一帧是什么。

这种高精度的预测能让AI保留车道线走向、车辆运动轨迹、遮挡关系等大量细节信息，这对于安全驾驶来说是至关重要的。

但也正因为是逐帧预测画面，像素级世界模型的短板也同样突出。

像素级世界模型的计算成本极高，每一帧画面都要精细计算，对算力的消耗巨大。

此外，现实世界中的雨、雾、传感器脏污、光照突然变化等外部干扰，会在预测过程中被不断放大，最终会让预测结果严重跑偏。

这就像戴着沾了水雾的眼镜看路，会越看越模糊。

02

什么是隐空间世界模型？

要理解隐空间世界模型，得先搞清楚隐空间是什么。

所谓隐空间，说白了就是将完整的视频素材压缩一下，丢掉像素级的画面细节，只抽象记录路上有什么、它们在怎么动等信息。

这就好比把一段行车记录仪的视频，浓缩成一篇文字笔记。

隐空间世界模型就是在这个压缩后的抽象空间里做预测，它不关心每一帧画面长什么样，只关心抽象层面的状态变化。

比如对向车道来了一辆车，隐空间模型不会去精细描绘这辆车的颜色和型号，只会抓住有一辆车正以什么速度、什么方向朝你驶来这样的信息。

隐空间模型的优势体现在两个方面。

一个是计算效率高，由于是在紧凑的特征空间里做预测，会比在像素空间里省力。

还有就是抗干扰能力强，因为跳过了具体的像素画面，雨雾、脏污这些视觉噪声对它的影响微乎其微。

视觉干扰示意图，图片源自：比亚迪论文

但隐空间模型的问题也很明显。

如果只靠抽象描述来训练，缺少足够的视觉监督信号，模型学到的可能只是空洞的统计规律，并且会丢掉车道线在哪、前车是加速还是减速这类对驾驶至关重要的细节信息。

毕竟纯靠抽象想象画面，终究不如亲眼所见那么真切。

03

比亚迪的混合世界模型做了什么？

像素级模型看得清但怕干扰、算得慢；隐空间模型跑得快、抗干扰但看不清细节。

两条路各有所长，也各有各的问题。

世界模型范式的对比。（a）像素的世界模型；（b）隐空间世界模型；（c）混合世界模型

图片源自：比亚迪论文

比亚迪的HyWorldVLA给出了一个解法，即预训练阶段让两条路结合，实际推理时只用一条。

在预训练阶段，像素级世界模型和隐空间世界模型同时工作。

隐空间的抽象分析可以帮像素级模型稳住方向，即不让雨雾、光照这些外部干扰把画面带偏。

像素级的高精度画面又可以反过来帮隐空间模型校准精度，以确保抽象表征没有丢失关键细节。

两个信号一紧一松、一密一疏，共同将模型训练到既富含信息又不过度敏感。

而到了真正上路推理的时候，模型只使用隐空间模型来做预测。这样既保证了预测的准确性（因为训练阶段已经被像素级模型调教过），又保证了实际运行的效率（因为只用轻量的隐空间模型）。

HyWorldVLA的整体架构，图片源自：比亚迪论文

这套方案在自动驾驶公开测试平台NAVSIM上跑出了亮眼成绩，NAVSIM v1综合得分90.59分，刷新了公开榜单的最好成绩；在指标更全面的NAVSIM v2上也拿到了89.71分。

测试采用的综合指标EPDMS不是简单地比谁看得准，而是综合评估车辆是否会发生碰撞、是否保持在可行驶区域、是否保持安全距离、能否完成驾驶目标、行驶是否平顺舒适。

04

比亚迪做这件事，到底有什么意义？

其实很长一段时间，外界对比亚迪的刻板印象一直是重制造、轻研发。

这篇论文由比亚迪汽车新技术研究院独立完成，证明比亚迪不仅在做AI研发，还具备从0到1的基础模型研发能力。

这篇论文其实也是比亚迪为L3级自动驾驶做的关键技术储备。

就在论文发布前不久，比亚迪推出了自研的4nm高阶智驾芯片璇玑A3，单颗算力约700TOPS。从自研算法到自研芯片，比亚迪正在构建完整的智驾技术闭环。

此外，世界模型一直是自动驾驶的前沿方向，其可以让AI从识别道路走向理解世界。

这也是特斯拉FSD、Waymo、英伟达等顶尖玩家正在探索的方向，比亚迪选择在这个时间点切入，说明它不想在下一阶段的智驾竞赛中掉队。

05

最后的话

先前在智驾最前沿的评论区有人提及了这篇论文，小编也花了些时间学习了这篇论文。

坦白说，这篇论文确实让人对比亚迪刮目相看。

过去提到比亚迪的智能化，大家更多想到的是供应链整合和规模化落地。

图片源自：网络

但这篇HyWorldVLA至少在技术研发层面，证明了比亚迪有能力站在自动驾驶技术的前沿。

不过这只是一篇论文，还是要冷静看待，论文成果和实际量产之间必然还有很长的路要走。

在仿真测试里拿高分，不等于在真实道路上就能开得好。真实道路的复杂程度和极端场景都不是仿真平台能完全模拟的。

但话说回来，比亚迪手里有一张其他车企没有的王牌，那就是巨大的销量带来的海量真实驾驶数据。

对于自动驾驶大模型来说，数据是训练世界模型最好的燃料，比亚迪的保有量优势一旦被有效激活，将成为它在智驾赛道上的护城河。

这篇HyWorldVLA论文，大概就是比亚迪往技术鱼池里放的一条鱼苗，至于这条鱼能不能长成巨鲸，还是拭目以待吧。