利用NVIDIA Omniverse NuRec跨车型平台扩展自动驾驶感知能力

感知软件栈的性能表现与搭载它的车辆密切相关。将同一套软件迁移至新车型——例如从SUV迁移至轿车或其他车型变体——其对周围环境的感知能力将随之发生变化。传感器位置、标定参数、视野范围、遮挡情况、车身几何结构、时序同步以及覆盖范围都会产生差异。交通信号灯可能出现在画面的不同位置，路缘石变得更难识别，处于覆盖边缘的行人可能产生歧义。随着自动驾驶软件栈向更多车型和变体扩展，即便底层感知软件保持不变，开发者也必须充分考虑这些差异。

为每个车型单独采集并标注真实世界数据集，成本高昂，且在车辆研发早期往往难以实现。新车队可能尚不可用，稀有场景也无法总是被捕获。真实驾驶数据对于系统性能的验证至关重要，但合成数据可以帮助团队在目标车型完整数据集形成之前提前适配模型。

车型适配面临的核心挑战在于：如何为一辆尚未量产的车辆准备好感知软件，并在无需为每个变体单独采集大规模数据集的前提下，实现软件跨平台扩展。

NVIDIA Omniverse NuRec使这一过程更具可行性。它以真实世界的录制驾驶数据为起点，对场景进行三维重建，并为目标车辆配置渲染新的摄像头视角。

开发者可以复用真实数据来解答以下问题：

该场景从目标传感器装置的视角看起来是什么样的？

哪些现有驾驶数据能够充分覆盖新车型？

车身几何结构的变化会在哪些区域产生感知盲区？

哪些覆盖缺口必须通过真实采集来弥补？

本文将介绍如何利用现有驾驶数据，按照以下四个步骤将感知软件栈适配至新传感器装置：

将重建的驾驶场景与目标传感器装置配置进行配对；

渲染目标视角；

使用NVIDIA Harmonizer对图像帧进行精修；

基于输出结果训练感知模型。

本教程使用来自NVIDIA Physical AI NuRec数据集的重建场景完成上述步骤。

NuRec技术概述

NuRec采用三维高斯溅射（3D Gaussian Splatting）技术，从传感器数据中重建真实环境并将其渲染用于仿真。在车型适配场景中，NuRec首先对现有车辆采集的真实驾驶数据进行重建，再从目标车辆的摄像头视角渲染新的数据流。

NuRec有两项能力对车型适配尤为关键：

新视角合成：NuRec可通过gsplat渲染场景，将高斯基元投影到指定摄像头模型中。该能力支持用户修改摄像头的外参、内参、视野范围和镜头模型，包括针孔、鱼眼和f-theta等配置。

可复用场景数据与标注：重建的场景保留了原始装置轨迹、逐摄像头标定参数、动态目标轨迹及地图数据，可用于对齐或适配新渲染视角中的标注信息，包括目标、车道线、交通信号灯和道路边界。

工作流程

以下工作流程展示开发团队如何将现有重建场景通过目标摄像头装置进行渲染、精修输出帧，并为感知模型训练准备数据。

第一步：获取数据集

Hugging Face上的Physical AI NuRec数据集包含逾1500个神经重建驾驶场景，每个场景时长约20秒，由六路摄像头视角重建而成：120度前视广角、30度前视长焦、左右各120度交叉视角，以及左右各70度后视视角。

NuRec数据集受访问控制保护，需接受许可协议并通过Hugging Face Token认证后方可下载。

若使用代码智能体，可克隆NVIDIA/nurec-skills代码库，其中包含用于下载Physical AI数据集、运行NuRec渲染以及精修输出帧的技能模块。

第二步：配置目标摄像头装置并渲染

本教程使用公开示例中附带的合成目标摄像头装置，其摄像头名称、姿态、分辨率和镜头参数仅供示例参考。

装置文件中，每个传感器条目定义了以冒号分隔的摄像头名称、图像分辨率、F-Theta镜头模型、内参参数以及摄像头到装置的姿态变换。

设置输入和输出路径，拉取公开NuRec容器镜像，然后分别执行轨迹导出与渲染操作。首先导出目标摄像头的轨迹，再对单个目标摄像头执行稀疏渲染以验证配置是否正确。

需要注意的是，USDZ场景由六路原始摄像头重建而成，目标摄像头无需与任一原始摄像头一一对应，可采用不同的位置、朝向、分辨率、视野范围或标定参数，前提是其姿态使用相同的装置坐标系，且镜头模型受导出工具支持。摄像头位置偏离观测轨迹过远，或朝向原始摄像头覆盖不足区域时，渲染质量可能下降。

审查稀疏渲染帧，确认姿态、视野范围和时间戳无误后，再以帧步长为1进行全序列渲染。

第三步：使用NVIDIA Harmonizer精修输出帧

神经渲染可能产生视角相关伪影、颜色或色调不一致，以及动态目标重建质量较差等问题。NVIDIA Harmonizer是一款公开发布的时序感知后处理模型，可纠正NuRec及相关神经渲染输出中的伪影，提升视觉质量，但无法修复错误的标定参数、补全从未重建的场景区域，或替代目标摄像头的验证流程。

NVIDIA/nurec-skills中的nurec-fixer技能模块涵盖环境配置、推理、评估以及可选的Harmonizer微调流程。

每次处理一路摄像头序列，挂载渲染根目录以确保输出持久化存储至宿主机。

第四步：准备感知模型训练数据

为新车型创建NuRec渲染数据集后，在将其纳入感知训练流水线前需先进行验证。应将该数据集与从车辆采集的真实摄像头数据同等对待，再根据感知模型的具体需求进行准备。

NVIDIA内部评估

NVIDIA在一个内部自动驾驶项目中对该工作流程进行了评估。该项目需要支持一种新型摄像头配置，团队拥有一批来自其他车辆的现有驾驶数据，但目标车型的数据尚未就绪。该工作流程成功弥补了数据缺口，为感知模型适配提供了有效支撑。

使用代码智能体进行端到端操作

NVIDIA/nurec-skills代码库将主要步骤封装为智能体技能模块。代码智能体可使用physical-ai-datasets定位和下载场景，使用nre进行渲染，使用nurec-fixer精修输出。

克隆代码库后，可向兼容的代码智能体发出如下指令：使用nurec-carline-adaptation技能验证指定的USDZ文件和目标装置配置，展示精确的本地Docker命令，执行单摄像头稀疏冒烟测试，若摄像头或挡风玻璃检查有任何失败则在全量渲染前停止。

从原始录制数据进行场景重建

重建一次录制驾驶数据，需要录制装置的同步视频及对应元数据，源数据须整理为以下统一结构：

视频MP4文件来自车辆摄像头录制设备，Parquet文件包含完整摄像头装置共享的元数据。三个Parquet文件均为本教程所用配套转换器和重建方案的必要输入。如果相同信息存储于JSON、数据库或其他格式中，可参照公开NCore转换器模板进行适配读取。

本工作流程假设所选视频已同步且覆盖相同的录制时间段。标定数据须包含所有选定摄像头，自运动数据须覆盖从第一帧曝光到最后一帧的完整时间段，本方案所需的目标轨迹须与该时间段重叠，并使用相同的世界坐标系。语义验证器在转换后运行，负责检查生成的NCore序列中上述关联关系是否正确。

配套转换器支持上述七路视频与三张数据表的布局。源格式不受支持时，需根据公开转换器模板定制一个转换器，读取源文件并将数据写入NCore格式。

转换完成后，运行源数据特定验证器，并通过公开NCore查看器检视序列。

辅助数据生成

转换后的NCore序列包含录制的传感器测量值、标定参数、姿态和目标轨迹，但尚不包含仅摄像头重建工作流程所需的语义分割、深度图和自车掩码等推断数据。公开的NRE辅助数据文档定义了相应的数据产品，NGC上的公开nre-tools-ga容器提供推理应用程序。

辅助数据生成完成后，重建输入目录将包含原始NCore序列档案文件以及语义分割、深度图、自车掩码和元数据的辅助档案文件。

资源与后续步骤

如需开始将重建场景适配至目标车型，可参考以下资源：

从Physical AI NuRec数据集下载USDZ场景及随附的示例目标装置；

通过示例装置渲染场景，替换为目标车型配置后再次渲染；

查阅NuRec文档了解环境配置要求、支持的硬件、验证流程和渲染说明；

如需重建录制驾驶数据，参照NVIDIA/nurec-skills中的场景重建指南及NCore转换和辅助数据说明；

使用NVIDIA Harmonizer对序列进行时序一致性后处理。

公开软件、容器、数据集和模型制品需要相应的NVIDIA NGC或Hugging Face账户，并需接受对应许可协议。NuRec运行时可在NGC上的nre-ga容器中获取。

Q&A

Q1：NVIDIA Omniverse NuRec是什么？在车型适配中起什么作用？

A：NVIDIA Omniverse NuRec是一套基于三维高斯溅射技术的神经重建工具，能够从真实驾驶录制数据中重建三维场景，并从目标车辆的摄像头视角渲染新的视图。在车型适配场景中，它允许开发者复用已有车辆的驾驶数据，为新车型或变体生成对应的感知数据，无需为每个车型重新采集和标注大规模真实数据集，显著降低了开发成本和周期。

Q2：NVIDIA Harmonizer在NuRec工作流程中解决什么问题？

A：神经渲染输出的图像帧可能存在视角相关伪影、颜色或色调不一致，以及动态目标重建质量较差等问题。NVIDIA Harmonizer是一款时序感知的后处理模型，专门用于纠正这些伪影，提升渲染帧的视觉质量和时序一致性。不过，Harmonizer无法修复错误的摄像头标定参数，也无法补全从未被重建的场景区域，因此目标摄像头的验证步骤仍不可省略。

Q3：使用NuRec进行车型适配的完整工作流程分为哪几个步骤？

A：完整工作流程共分四步：第一步，将重建的真实驾驶场景与目标车型的传感器装置配置进行配对；第二步，通过目标摄像头装置渲染新的视角帧；第三步，使用NVIDIA Harmonizer对渲染帧进行精修，消除伪影并提升视觉质量；第四步，将精修后的数据用于感知模型的训练。整个流程可借助NVIDIA/nurec-skills代码库中的智能体技能模块实现自动化端到端操作。