为什么自动驾驶测试必须从开环走向闭环？

本文首发于智驾最前沿微信公众号，一段真实驾驶视频，可以告诉我们车辆当时看到了什么、做了什么，却无法回答另一个问题，那就是如果当时换一种决策，接下来会发生什么？

这正是自动驾驶测试正在面对的问题。

对于越来越多直接从传感器输入学习驾驶决策的端到端模型来说，只看模型在既有数据上的预测是否接近真实轨迹，很难完整评价它参与真实驾驶闭环后的行为。

01

开环测试

为什么看不见另一个未来？

开环测试，指的是模型在固定的真实路采数据上做预测，它的输出不会改变后面的输入数据。

自动驾驶模型的开发和评测长期大量使用真实路采数据。

车辆将摄像头、激光雷达等传感器数据记录下来，再让模型重新读取这些数据，判断它能不能理解道路环境，或者能不能给出合理的驾驶决策。

这种方式的价值固然很大，因为数据直接来自真实道路。但它有一个天然限制，那就是未来已经被记录下来了。

举个例子，一辆车接近路口时，真实车辆最终向右转。如果模型在开环测试中预测了一条向左的轨迹，后面的观测数据并不会因为这条预测而改变，下一帧依然来自原始车辆向右转之后记录下来的道路。

也就是说，模型的动作没有真正改变环境。

这正是开环与闭环之间的核心区别。

开环评测可以在固定数据上高效比较模型的预测能力，但模型不会因为自己的动作而获得一个不同的下一时刻观测。

CVPR 2025论文《DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation》就明确指出，许多自动驾驶评测方法是在公开数据集的固定路线中预测waypoints，这类开环方法缺少动态反馈，因此难以评价模型面对环境变化时的决策能力。

《Pseudo-Simulation for Autonomous Driving》也从另一个角度指出，开环评测效率高、数据来源真实，但其评价指标通常无法充分反映连续决策产生的误差累积。

这也正说明，如果模型做出了与原始驾驶轨迹不同的动作，真实数据里并不存在对应的后续观测。

而这恰是自动驾驶最需要验证的地方。

02

闭环真正改变的

是动作之后的世界

闭环测试，指的是模型输出的动作会改变环境状态，环境再产生新的观测反馈给模型，形成动作—环境—新观测—新动作的循环。

闭环测试并不是简单地将一段视频做得更逼真，而是让模型的动作真正参与环境演化。

这个过程可以理解为，当模型看到当前道路，决定向左打方向；仿真环境接收到这个动作，车辆状态发生变化；环境根据新的车辆状态继续演化，并生成下一时刻的传感器观测；模型再根据新的观测做下一次决策。

于是，测试的问题就从模型能不能复现原来的答案变成模型做出这个决定以后，世界会发生什么？

在具备场景控制能力的闭环环境中，还可以固定大部分条件，只改变一个变量。

例如，让旁车突然向本车所在车道靠近，再观察模型如何处理。模型刹车，环境继续演化；模型不刹车，环境也继续演化。

图片源自：网络

这样测试的就不再只是某一个动作是否接近数据中的标准答案，而是这个动作进入驾驶闭环之后，会不会产生新的风险。

CVPR 2025收录的一篇论文《DrivingSphere》中就构建了包含静态环境和动态交通参与者的4D世界，并通过视觉场景合成产生多视角视频，使驾驶策略能够在环境反馈下进行闭环交互。

同样发表于ICCV 2025的《DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving》，则将交通仿真器与生成式世界模型结合，让能够处理真实图像的驾驶智能体在生成环境中进行闭环驾驶。

这些研究说明，闭环仿真正在解决的并不是多生成一些驾驶视频，而是让驾驶策略真正进入环境反馈过程。

当然，闭环并不是要取代开环。

开环测试仍然适合进行大规模、可重复的模型比较和问题定位；闭环则进一步评价策略与环境交互之后的连续行为。二者解决的是不同问题。

03

闭环仿真为什么还需要世界模型？

既然闭环如此重要，传统仿真器能不能完成这件事？

答案是可以。基于规则、物理引擎或者交通模型的仿真环境，同样能够让车辆与虚拟交通参与者进行闭环交互。

但这类仿真器反馈给模型的多是抽象的状态信息（如位置、速度、车道线），而不是与真实车载摄像头一致的数据。

对于直接使用摄像头等原始传感器输入的端到端模型来说，传统仿真器就不够用了。

这类模型看到的不是一个简单的三维坐标，而是特定摄像头在特定位置、特定视场角和特定成像条件下得到的图像。

如果仿真环境只提供抽象的道路和车辆状态，模型实际接收到的输入与真实车辆之间仍然可能存在差异。

DrivingSphere在论文中就把这一问题作为闭环仿真的重要挑战。

现有部分闭环方法能够提供反馈，但无法直接处理真实视觉传感器输入；而基于游戏引擎的仿真器虽然能够构建可交互的环境，其生成结果又可能与真实传感器数据存在差异。

图片源自：网络

这也解释了为什么近年来世界模型开始进入自动驾驶仿真。

世界模型其实提供了一条不同的思路，其不是只搭建一个可以让车辆运动的虚拟场景，而是根据当前世界状态和驾驶动作，持续生成下一时刻与真实传感器输入对应的观测。

因此，世界模型同时解决了两个问题。

一个是像不像，即生成的画面是否足够接近真实车辆看到的内容。

另一个是动起来以后对不对，即车辆改变方向、速度和轨迹之后，后续画面是否会按照新的状态合理变化。

后者才是闭环世界模型真正有挑战的地方。

CVPR 2025的《DriveDreamer4D》中就指出，传统NeRF、3D Gaussian Splatting等传感器模拟方法在复杂驾驶动作方面存在限制，而世界模型可以被用于构建4D驾驶场景表示。

卓驭科技在2026年9月公开的论文《ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation》，则进一步把问题推进到实时闭环。

论文针对端到端和VLA驾驶策略，提出实时、可控的世界模型，并针对量产车辆的混合摄像头配置进行建模。其方案原生生成4路鱼眼和3路针孔视角，其中鱼眼视场角超过180°。

对于真实车辆来说，这并不只是画面外观上的差异。不同摄像头具有不同的投影方式、内外参和视场范围。如果世界模型最终作为驾驶模型的输入，就需要尽可能保持这些传感器特征。

04

从回放过去到验证另一个未来

闭环仿真的另一个重要价值，是让自动驾驶测试开始具备反事实能力。

真实道路记录的是已经发生过的世界，而自动驾驶面对的情况并不只有一种结果。

前车可以刹车，也可以继续行驶；旁车可以保持车道，也可能突然并线；车辆可以提前减速，也可以继续前进。

现实道路不可能为了验证一个模型，将同一个高风险场景重复几十万次。但在具备控制能力的仿真环境中，可以在保持其他条件不变的情况下，对特定变量进行干预。

于是，测试就可以从这个场景当时发生了什么？进一步变成如果车辆当时做了另一种选择，接下来会发生什么？

这就是反事实场景对于自动驾驶测试的价值。

不过，这里也存在一个重要前提，那就是仿真世界生成的另一个未来必须足够可信。

如果模型为了响应车辆动作而生成了一个看似真实、实际上违反交通规律或空间关系的场景，那么闭环本身并不能保证测试结果有效。

驾驶策略一旦进入错误的环境，后续的所有评价都可能失去意义。

因此，闭环世界模型真正困难的地方，不只是生成一张逼真的图像，而是让连续生成的世界在时间、空间和因果关系上保持一致。

ZYT-World针对这一问题设计了因果一致性蒸馏、自回滚分布匹配蒸馏、RigCritic以及记忆模块等机制，用于处理实时生成、多摄像头一致性和场景重访等问题。

ZYT-World蒸馏流程图，图片源自：卓驭

论文用自己构建的多视角测试集做了评测，结果显示，一步生成模型保留了教师模型90%以上的PSNR和SSIM；在论文限定的仅生成器计时条件下，生成器速度是40步双向教师模型的107.7倍。

需要说明的是，这个数字对应的是特定生成器环节和测试条件，不能理解为整个自动驾驶仿真流程都获得了107.7倍加速。

这也说明，闭环世界模型目前更适合被理解为正在快速发展的仿真技术路线，而不是已经完全解决了自动驾驶测试问题。

05

最后的话

过去，我们更多是在问模型看过这些数据之后，能不能做出与真实驾驶相近的判断？

闭环测试则开始追问如果把驾驶决策真正交给这个模型，它做出的每一个决定，会把接下来的世界带向哪里？

这也是自动驾驶测试逐渐从开环走向闭环的原因。

开环数据不会消失，真实道路测试也不会因为仿真发展而消失。

真正发生变化的，是测试能力的边界。那些现实中难以重复、无法穷举，又必须验证连续决策后果的场景，可以开始在可控的闭环环境中被反复尝试。

闭环不是把现实世界搬进电脑，而是让自动驾驶模型在现实世界之外，拥有一个可以反复试错、可以改变未来、也可以被重新验证的测试空间。