理想汽车借助 NVIDIA Omniverse NuRec 将 ADAS 仿真覆盖范围扩大一倍

理想汽车拥有全栈自研的高级辅助驾驶系统 (ADAS) 平台。其研发流程的核心在于一套自主构建的闭环仿真环境，用于基于真实道路数据开展算法评估、训练和回归验证。该平台将真实的驾驶记录重构为 3D 仿真场景，并反复回放这些场景，以便在算法更新推送至车队之前评估其响应表现。验证覆盖范围直接取决于场景重构的数量，因此，重构成本与吞吐量成为了决定车队数据中有多少能被转化为算法测试可用数据的关键制约因素。

为控制重建成本，将闭环 ADAS 仿真扩展到生产规模，理想汽车正在将 NVIDIA Omniverse NuRec 集成到该平台中。NuRec 可将真实驾驶日志转化为高保真 3D 场景，从而实现可复现的闭环验证，且无需成比例增加算力消耗。

NVIDIA Omniverse NuRec 如何实现生产级神经重建

理想汽车通过将 NVIDIA Omniverse NuRec 的功能集成到自研闭环仿真平台中，开发出了内部场景重建解决方案。NuRec 可将原始行驶日志转化为重建后的 3D 场景，并生成高保真的摄像头与激光雷达传感器渲染画面。该流程集成了以下四项 NuRec 功能：

3DGUT：统一激光雷达与摄像头表征

NuRec 中的 3D Gaussian with Unscented Transforms (3DGUT) 表示方式，可用同一组高斯粒子同时建模并渲染激光雷达点云与图像帧。这样无需分别构建摄像头和激光雷达两套流程，既降低工程复杂度，也提升了跨模态仿真的一致性。

混合多 GPU 训练

通过结合 DDP 与 FSDP 的并行训练策略，理想汽车可以将 3D 高斯粒子分布到多张 GPU 上进行训练，从而加速大规模 ADAS 行驶场景重建，并支持动态和可变形对象处理。在 8 卡 GPU 配置下，相比单 GPU 基准可实现约 4 倍加速。

TokenGS 资产生成 (Asset Harvester 工作流)

Asset Harvester 流程可将真实行驶日志中较为稀疏的对象观测转化为更完整的 3D 资产，从而提升新视角下的画面质量和场景完整性。理想汽车训练并部署了自研 TokenGS 模型，基于内部数据集支撑这一资产生成工作流。

Harmonizer 视觉协调技术

NuRec 基于扩散技术的 Harmonizer 模型可修正新视角合成中的伪影，并提升插入资产与 NuRec 重建场景在外观、色彩和阴影方面的连贯性。由此生成的闭环仿真场景视觉一致性更好，可用于 ADAS 算法训练与评估。

NVIDIA Omniverse NuRec 如何构建稳固的 ADAS 仿真基础设施

理想汽车的实践表明，NVIDIA Omniverse NuRec 的作用远不止提升单场景重建效率，更在于构建了一项具有长效价值的基础设施投资。随着 NuRec 能力持续融入理想汽车的闭环流程，该平台将助力企业在无需同步增加物理算力资源投入的前提下，加快 ADAS 开发速度、提升仿真保真度并扩大测试覆盖范围。

作为量产级 ADAS 开发的积极参与者，理想汽车正在通过更高效、更可扩展的仿真基础设施，加快其车队的算法验证与训练工作。NuRec 能力的持续集成，为提升辅助驾驶系统的迭代速度和质量奠定了基础。

NVIDIA Omniverse NuRec 采用模块化软件架构，支持灵活集成。企业既可以将其作为端到端神经重建解决方案使用，也可以根据自身工作流选择重建框架、渲染引擎或生成式模型等单项组件。NuRec 的开源发布，也使开发团队能够根据需求的变化采用和扩展相关能力。

理想汽车基础模型负责人詹锟表示：“闭环世界模型仿真是理想汽车辅助驾驶研发的基础能力之一。我们持续建设自有仿真平台，使其更好地匹配自身技术架构。在这一过程中，我们与 NVIDIA 围绕神经重建、多 GPU 并行训练、资产生成和视觉一致性等方向开展了紧密合作。将 NuRec 相关能力集成到关键研发流程后，我们提升了场景重建效率和多模态仿真质量，加快了相关技术的工程化验证与部署，也进一步完善了自主、可扩展的闭环仿真基础设施。 ”

以上为摘要内容，点击链接阅读完整内容：理想汽车借助 NVIDIA Omniverse NuRec 加速 ADAS 仿真