端到端自动驾驶能应对路面深坑吗？

本文首发于智驾最前沿微信公众号，如果人类开车遇到路面深坑，并不会先想这是什么目标，而是会直接判断继续开有没有风险，要不要减速，能不能绕开。

端到端自动驾驶面对同样的问题处理起来只会更加复杂，那端到端自动驾驶能应对路面深坑吗？

01

端到端怎么看见深坑？

对于端到端来说，首先要解决的是如何看见深坑。

这里的看见并不只是识别画面中存在一个黑色区域，而是要判断路面的空间状态发生了什么变化。

摄像头可以提供纹理、边缘、阴影和积水等视觉信息，激光雷达则能够提供路面的三维几何信息。

端到端模型需要综合这些输入，判断哪些区域可以继续通行，哪些区域可能存在风险。

这也是深坑和普通车辆、行人目标比较明显的区别。

它属于负障碍物，本身没有像车辆那样清晰的实体轮廓，模型真正需要关注的是路面是否出现了不适合车辆通过的凹陷区域。

图片源自：网络

不同技术路线在看见这个环节的侧重点也不太一样。

特斯拉FSD走的是纯视觉路线。

2026年4月推送的V14.3版本基于MLIR框架重写了AI编译器与运行环境，官方称反应速度提升了20%，发布说明中将坑洼路面避让列为后续推出的改进项。

华为途灵平台则不同。

它在摄像头之外还融入了激光雷达的点云特征输入，多模态感知系统通过激光雷达、摄像头和IMU实时扫描150米内的路面信息，实现路况的提前建模。

坑洼在点云中会表现为局部点云密度下降和高度跳变，端到端网络将视觉纹理特征与点云空间特征进行融合，能形成对坑洼更鲁棒的内部表征。

对于采用BEV（Bird's-Eye View，鸟瞰视角）、占用预测等结构化表示的端到端方案，这些信息还可以进一步被转换成与车辆运动直接相关的空间信息。

比如模型可以判断深坑在自车道内的横向位置（是靠近车道线还是处于车道中央），这决定了车辆只需要微调方向还是必须大幅偏离当前轨迹。

模型还能计算深坑与车辆之间的纵向距离和接近时间，当距离较远时可以选择平缓的轨迹调整，距离很近时则可能需要更紧急的转向或制动。

占用网络则会把深坑映射为三维空间中不可通行的体素区域。

模型能据此推算出可通行区域的边界在哪里、宽度还剩多少、当前规划的轨迹与深坑边缘的距离是否安全。

这些空间信息最终都会指向同一个核心问题，即在当前环境下，什么样的轨迹既能避开深坑，又不会与其他车辆或路沿发生冲突。

所以到了端到端系统里，对深坑的感知本质上是判断路面哪些区域可以通行、哪些不能。

02

看到深坑后

端到端会做什么？

看见只是开始，真正影响车辆行为的是下一步判断。

系统首先需要结合车辆当前速度、位置和行驶方向，判断按照原轨迹继续行驶会不会进入深坑。

如果不会，可能不需要明显干预；如果会，就需要重新评估可行驶空间。

假设深坑位于车道中央，车辆左侧有足够空间，比较合理的处理是提前减速并向左调整轨迹。但如果左侧有其他车辆，右侧又更加安全，规划结果就可能完全不同。

也就是说，系统面对的并不是简单的避坑问题，而是一个轨迹选择问题。

图片源自：网络

2025年一篇发表在IEEE国际会议上的论文《An End-to-End Pothole Detection and Avoidance System for Autonomous Ground Vehicles》展示了一套端到端坑洼检测与避让系统。

它在实时运行中能够输出坑洼避让、车辆中心与坑洼中心对齐、跨越坑洼、以及在坑洼前停车四种不同的操作。

这恰好说明端到端模型输出的是一个连续的行为空间，而不是简单的避或不避二选一。

卡车自动驾驶公司Kodiak则开发出了端到端可通过性框架，它输出的不仅包括方向盘转角和速度，还包括选择哪一侧轮胎去碾压坑洼边缘这类精细指令。

在Permian Basin矿区这种坑洼密集且难以全部绕行的场景下，选择正确的碾压位置比决定绕不绕更关键。

Kodiak官方称在那里已处理了数千个坑洼。

卡车的底盘特性虽然和乘用车差异较大，但它在决策精细度上提供了一个值得关注的方向。

端到端模型会持续更新对车辆未来状态和行驶轨迹的预测

距离深坑较远时，模型可以提前做出小幅调整；随着车辆逐渐靠近，如果判定风险在扩大，就会进一步减速并调整横向轨迹；如果周围空间不足以安全避让，减速甚至停车反而成了更合理的选择。

这些行为并不是被写进固定规则里，而是由模型根据当前环境实时输出新的规划结果。

需要说明的是，端到端并不等同于模型直接输出方向盘角度。

当前很多方案是输出未来轨迹或路径点，再由下游控制器来执行，具体实现取决于系统架构。

由此可见，端到端对于这类问题的的处理关键并不是模型能不能认出深坑，而是它能不能判断出当前轨迹有风险，并据此推算出该怎样修改未来的行驶轨迹。

03

为什么深坑场景这么难训练？

深坑场景最大的麻烦，是同样是一个坑，却不存在固定答案。

一个较浅的坑，在低速状态下可能直接通过；同样的坑，在高速状态下就可能需要明显减速。

坑出现在空旷道路上，可以提前绕行；如果两侧都有车辆，就不能简单照搬同一种动作。

所以端到端训练不能只让模型学会识别深坑，还需要让它看到不同环境条件下车辆最后采取了什么行为。

对于使用驾驶数据和轨迹监督的训练方案来说，比较有价值的数据包括深坑出现的位置、车辆当时的速度和位置、周围交通参与者状态，以及最终的减速、绕行或通过轨迹。

模型需要从大量类似案例中学习这些条件之间的关系。

这也是深坑属于长尾场景的原因。

深坑并不会像正常道路、车辆和行人那样高频出现，但一旦处理错误，可能直接影响车辆舒适性和行驶安全。真实驾驶数据中这类场景极为稀疏，单靠常规道路数据很难覆盖。

为了解决这个问题，仿真、困难样本挖掘和闭环测试都需要参与进来。

图片源自：网络

2025年发表于Nature旗下期刊《Scientific Data》的一篇文章介绍了一个大规模程序化生成的3D合成数据集。

该数据集在Blender中构建，包含了裂纹、坑洼、水坑等多种路面缺陷，并为分割掩码、深度图和相机参数提供了密集的逐像素标注。

这类仿真数据集的价值在于能够以较低成本生成现实世界中难以大量采集的坑洼场景变体，覆盖不同光照、天气和路面材质组合，帮助端到端模型在训练阶段就接触到足够多样的路面异常样本。

仿真到真实道路之间仍有差距，但这个方向上的进展速度在加快。

2025年2月的鸿蒙智行尊界技术发布会上展示了凌波微步功能，官方实测数据显示坑洼路面整车舒适度提升超过40%，过坑洼颠簸路面冲击力降低超过50%。

这些数值来自官方发布材料，尚未见到第三方独立验证，但它反映了车企对这一场景的重视程度。

此外，端到端模型的优化目标是综合性的，巡航平顺性、能耗经济性、通行效率等多项指标都会同时参与训练。

为了提升某几项主要指标而调整训练策略时，坑洼避让这类长尾任务的性能可能出现回退。这种跷跷板效应在端到端部署中并不少见。

行业里常见的应对思路是在训练阶段对坑洼样本施加更高损失权重，强制模型在优化主任务的同时保留对坑洼场景的敏感性。

从这个角度看，端到端处理深坑并不是给模型增加一个深坑识别能力，而是让它学会一套完整的判断过程。

即看见路面异常，判断当前轨迹是否存在风险，再根据剩余距离、车辆状态和周围空间调整未来轨迹。

对于端到端自动驾驶来说，这种从道路状态直接联系到车辆未来行为的能力，才是真正需要解决的问题。