麻省理工学院新系统助力人类预测自动驾驶汽车的失误

自动驾驶汽车通常由深度学习模型控制，这些模型有时会在意外情况下出现失误。例如，车辆可能毫无征兆地急刹车，堵住正在行驶中的紧急救援车辆的路径。此时，驾驶员或乘客需要迅速作出反应，以避免碰撞事故的发生。

为了帮助人类更好地预判车辆可能出现的失误，麻省理工学院（MIT）的研究人员与自动驾驶技术公司Motional联合开发了一种新方法，能够对底层模型的决策过程提供清晰易懂的解释。

深度学习模型的内部推理过程通常晦涩难懂，外界很难理解。而这种名为"概念包装网络"（CW-Net）的新方法，能够将模型的推理过程转化为人类可以理解的概念，在不影响驾驶性能的前提下，真实反映自动驾驶车辆的决策依据。

CW-Net采用易于理解的概念来解释基于机器学习的规划器所做出的决策，例如"正在接近停驶车辆"或"距骑行者较近"等。这些解释有助于纠正驾驶员和乘客对车辆行为的错误认知，提升他们对当前行驶状况的感知能力。

在私人测试道路上进行的实际路测中，CW-Net提供的解释帮助安全驾驶员更准确地预测车辆行为。此后开展的一项针对非专业用户的大规模仿真研究也得出了类似结论。这些实验表明，CW-Net能够为工程师排查车载人工智能系统故障提供重要参考。从长远来看，这项技术有望进一步提升自动驾驶车辆的安全性与透明度，同时在驾驶员和乘客之间建立合理的信任基础。

麻省理工学院航空航天学教授、计算机科学与人工智能实验室（CSAIL）互动机器人研究组主任、CW-Net论文共同通讯作者朱莉·沙赫（Julie Shah）表示："这项研究表明，解释性信息对人类理解系统行为、建立正确认知模型有重要的辅助作用，也说明了这种方法如何应用于工程开发实践以推动技术进步。如果我们所构建的技术无法被人们所信赖、无法准确预测其行为，那么使用这些技术的基础就是脆弱且不安全的。"

论文的主要作者为Eoin Kenny，他曾任麻省理工学院博士后研究员，现为摩根大通高级AI研究员；共同通讯作者为Motional研究员Momchil Tomov；此外，来自Motional的团队成员Akshay Dharmavaram、Sang Uk Lee、Tung Phan-Minh、Shreyas Rajesh、Yunqing Hu以及Motional总裁兼首席执行官Laura Major也参与了这项研究。相关成果已在《自然》杂志上发表。

解释须忠实反映真实决策

基于机器学习的规划器充当自动驾驶汽车的"大脑"。这些强大的深度学习架构负责处理来自车辆摄像头和激光雷达传感器的数据，生成车辆周围环境的高层次概要，决定车辆的下一步行动，并输出相应的行驶轨迹。

规划器通常属于黑箱模型，其内部决策过程极为复杂，难以解读。这往往使科学家和安全驾驶员对车辆为何做出意外决策（如"幽灵刹车"）感到困惑，无从知晓真实原因。

研究人员设计CW-Net的初衷，正是要以易于理解的概念解释车辆决策，同时确保这些解释能够准确反映车辆行为背后的真实原因。

Kenny说："在自动驾驶这类高风险场景中，确保解释不产生误导性尤为重要。CW-Net在决策过程中具备因果忠实性，这为其解释提供了一定程度的可靠保障。"

CW-Net是一种"概念分类器"，即经过训练、能够预测输入数据中存在哪些高层概念的AI算法。研究人员将CW-Net模块嵌入自动驾驶车辆现有的机器学习规划器架构中间层。

该模块将模型的内部推理过程转化为"正在接近停驶车辆"或"距骑行者较近"等可理解的概念，并要求规划器架构的最终决策环节在判断车辆下一步行动时必须以这些概念为依据。通过这种方式，CW-Net确保输出的概念能够真实解释车辆的行为。

与此同时，CW-Net还会根据所分类的概念，实时生成清晰的解释，并与行驶轨迹一并输出。

Kenny表示："与其只是疑惑车辆为何停下来，不如获取实时数据——这些数据不仅能在部署阶段对系统进行测试反馈，还可以提供给工程师，帮助他们改进系统。"

研究人员利用一个包含1.3亿条自动驾驶场景样本的数据集对CW-Net进行训练，每个场景均标注了多个概念，使其能够在多种环境下准确识别相关概念。

他们还对CW-Net进行了专门设计，使其能够模拟基于机器学习的规划器的驾驶决策，从而避免对车辆性能产生负面影响。

最终，CW-Net在不改变原有深度学习模型的前提下，生成了准确且易于理解的解释。

提升对行驶状况的感知能力

为测试CW-Net的实际效果，研究人员将该模块部署于一辆真实的自动驾驶测试车辆（Motional的无人驾驶出租车）上，在私人测试赛道上配合安全驾驶员进行测试。结果显示，CW-Net显著提升了安全驾驶员对车辆在意外情况下行为的预判能力。

例如，该车辆在接近骑行者时会持续停车，安全驾驶员最初以为是车辆检测到了骑行者。但CW-Net的解释揭示，该模型实际上并未正确配置骑行者检测功能，其选择的行驶轨迹本会导致碰撞，而车辆停下来的真正原因是距离骑行者过近时触发了紧急制动程序。

掌握了这一模型失误的信息后，安全驾驶员在类似情况下可以提前降速或更早切换为手动驾驶模式。这也有助于工程师修正模型，从根本上避免此类失误的再次发生。

在此后开展的大规模在线仿真研究中，研究人员采用了在拉斯维加斯实际道路上采集的真实驾驶场景，得出了相似的结论。CW-Net提供的解释显著提升了参与者对自动驾驶车辆行为的预判准确率。

未来，研究人员计划进一步扩展CW-Net，使其能够覆盖更多概念，并探索不同的训练与设计技术，以提升系统性能和可解释性。

Kenny表示："我们的研究表明，可解释性在高风险场景中的重要性不可忽视，无论是在自动驾驶还是其他安全关键领域，从事AI开发的人员都应将其纳入重要考量。"

Q&A

Q1：CW-Net是什么？它是怎么解释自动驾驶决策的？

A：CW-Net（概念包装网络）是一种嵌入在自动驾驶规划器中的AI模块，能够将模型的内部推理过程转化为人类可理解的概念，例如"正在接近停驶车辆"或"距骑行者较近"。它不会改变原有模型的驾驶性能，同时能实时输出解释，帮助驾驶员和乘客了解车辆做出某个动作的真实原因。

Q2：CW-Net对自动驾驶安全有什么实际帮助？

A：在实际路测中，CW-Net帮助安全驾驶员发现了一个关键问题：车辆并非因检测到骑行者而停车，而是因触发了紧急制动程序。掌握这一信息后，驾驶员可以提前降速或切换手动驾驶，避免潜在碰撞。同时，这些数据也能反馈给工程师，帮助他们定位并修复模型缺陷，从根本上提升安全性。

Q3：CW-Net的训练数据量有多大？能应对复杂场景吗？

A：研究人员使用了包含1.3亿条自动驾驶场景样本的数据集对CW-Net进行训练，每个场景均标注了多个概念。大规模标注数据使其能够在多种复杂环境下准确识别概念。此外，在拉斯维加斯真实道路场景的大规模仿真研究中，CW-Net同样表现出色，显著提升了非专业用户对车辆行为的预判准确率。