既然自动驾驶需要推理，小鹏为什么又要把智驾的思考变短？

本文首发于智驾最前沿微信公众号，8月11日，小鹏基座模型团队在arXiv提交了一项名为XCoT-VLA的研究。它没有让智驾生成更长的思维链，反而把驾驶推理表示压缩成2～6个可执行语义Token。

这似乎与我们的认知相反，既然自动驾驶需要推理，为什么又要把思考变得更短？

01

智驾为什么不能像聊天一样慢慢想？

对于普通语言任务，较长的推理过程会带来额外的计算成本和响应延迟，作为使用者，这种延迟并不会有很大的影响；但对于自动驾驶，这种延迟反而会造成危险。

汽车每向前行驶一步，周围环境都可能发生变化。

前车开始减速、旁边车辆突然并线、信号灯发生变化，甚至行人从车辆遮挡区域出现，系统都需要快速重新判断。

这意味着智驾需要的思考，和聊天机器人回答问题时的思考并不完全一样。

聊天机器人可以通过较长的自然语言推理，把一个问题从条件、原因一直解释到结论。

自动驾驶当然也需要进行复杂判断，但车辆最终并不是要说出答案，而是要继续生成下一段驾驶轨迹。

这就产生了一个很现实的问题，如果模型把大量计算资源用在生成一段很长的自然语言解释上，这些文字本身并不能直接对应车辆未来的连续轨迹。

传统的思维链通过连续的自然语言推理，把复杂问题一步步展开。对于通用大模型来说，这种方式有助于提升复杂任务的推理能力。

但在驾驶场景中，开放式语言输出存在两个天然问题，一是输出长度不可控，二是自然语言表达与车辆未来的连续轨迹之间并不是天然对齐的，还需要进一步将语义判断转化为轨迹。

如车辆接近一个红绿灯。模型真正需要形成的关键判断，可能只是红灯、保持当前车道、减速、停车等几个和驾驶行为直接相关的信息。

如果模型先生成一大段自然语言，解释前方是红灯，因此车辆应该逐渐降低速度，并在停止线前停车，对于人来说更容易理解，但对于后面的轨迹生成模型而言，这种表达并不是最紧凑的输入形式。

小鹏提出的XCoT，也就是可执行思维链（Executable Chain-of-Thought），解决的就是这个问题。

图片源自：小鹏论文

它不是让模型将驾驶过程解释得更加详细，而是把驾驶推理转化成更加紧凑、更加面向行动的语义Token。

传统自然语言推理常需40～80个Token，而XCoT仅需2～6个；在H100上每Token解码约3.25 毫秒，按最坏情况估算也低于车载12Hz控制频率允许的83.3毫秒预算。

这样一来，模型不需要花大量Token描述为什么这么做，而是可以直接形成能够影响后续驾驶行为的中间语义。

所以，XCoT真正追求的并不是让智驾少思考，而是让思考结果更接近车辆下一步需要做什么。

02

先想清楚

到底想的是什么？

说到这里，很容易产生一个误解。XCoT是不是在原有智驾系统里，再额外加一个专门负责思考的决策模块？

并不是。

更准确地说，XCoT提供了一层连接多模态场景理解与车辆轨迹生成的中间语义表示。

车辆首先需要从视觉等多模态输入中理解当前场景，同时结合自车状态、历史轨迹以及导航信息，形成对当前驾驶情境的整体判断。

比如前方出现路口，当前是红灯，左侧车道存在车辆，导航要求继续直行。

图片源自：网络

这些信息本身还不是车辆最终要执行的轨迹。

系统需要进一步判断，当前应该保持车道还是变道？是否需要减速？是否需要让行？是否需要停车？

XCoT做的事情，就是把这一层判断用一组紧凑的语义Token表达出来。

如在一个具体场景中，模型可能形成类似保持车道＋减速＋红灯停车这样的语义组合。它们表达的是当前驾驶状态和行为意图，而不是最终的方向盘角度、加速度数值或者车辆轨迹。

这一点非常重要，因为真实车辆的运动是连续的。

即使系统已经判断需要减速，也还需要结合当前车速、道路曲率、与前车距离、车辆动力学等信息，进一步计算到底应该减多少速度、从什么时候开始减速，以及未来一段时间应该走什么轨迹。

论文中的XCoT-VLA，就是让这些XCoT Token继续留在模型上下文中，并作为后续轨迹生成的条件信息。模型最终仍然需要生成连续的车辆轨迹，而不是直接把减速这样的Token当成车辆控制指令。

因此，XCoT改变的并不是简单的先决策、后规划顺序，而是在多模态场景理解和连续轨迹生成之间，增加了一种更加明确的行动语义表达。

这也解释了为什么论文没有把它称为普通的驾驶决策Token。

图片源自：网络

它强调的是可执行性（Executable），也就是这些推理结果需要能够服务于后续行动，而不是单纯为了让人理解模型为什么这么判断。

从这个角度看，先想清楚并不是让汽车像人一样在脑海里形成一段完整的语言思考过程，而是让模型在真正生成轨迹之前，先把当前场景对应的关键驾驶意图表达出来。

这实际上也是VLA进入自动驾驶之后，一个越来越值得关注的问题。

视觉语言动作模型并不只是让汽车看懂更多东西，它还试图把视觉理解、语义推理与动作生成联系起来。

而困难的地方恰恰就在中间这一步，看到了什么，应该形成怎样的判断，又如何把这个判断转化成车辆可以执行的行为？

XCoT就提供了一种比较直接的连接方式。

03

为什么想得清楚还不够

还必须来得及？

自动驾驶的对推不仅要正确，还要及时。车辆不会等模型慢慢将一整套推理过程写完。

假设车辆以较高速度行驶，前方突然出现需要处理的风险，系统必须在有限的计算周期内完成环境理解、行为判断和轨迹更新。

如果推理过程本身变得过长，即使最终判断是正确的，也可能因为响应太慢而失去实际意义。

这也是XCoT把推理表示压缩到通常2～6个可执行语义Token的重要原因。

论文指出，开放式自然语言CoT在实时驾驶控制中存在解码成本高、输出长度不可控等问题，而XCoT通过固定、紧凑的行动语义来降低这种开销。

论文的系统设计中，XCoT与后续轨迹查询共同参与多模态注意力计算，最终由轨迹生成部分输出未来车辆运动。

这里的2～6个Token并不是说一次驾驶决策只需要2～6个Token，也不是说自动驾驶的整个推理过程被压缩成了几个词。

它更准确的理解是模型用非常短的一段结构化语义，表达当前驾驶推理中最关键、最直接面向行动的信息。

这种表达方式还有一个好处，就是更加容易形成稳定的驾驶语义。

图片源自：网络

自然语言可以有很多种说法。

前面红灯了，车辆应该逐渐减速并在停止线之前停下来、当前需要保持车道并等待信号灯变化、暂时不要继续向前行驶等表达对于人来说意思接近，但对模型来说却可能对应完全不同的Token序列。

而XCoT采用更加规范化的行动语义后，可以减少这种开放式语言表达带来的不确定性，让中间推理结果更加稳定地服务于后续轨迹预测。

论文的开放环规划实验也给出了比较明显的变化。

在一般分布测试集上，纵向平均位移误差（ADE）从1.645下降到1.323；在变道场景中，横向终点位移误差（FDE）从1.616下降到0.648。

这些属于论文中的实验结果，并不能直接等同于量产车辆的实际道路表现。此外还需要注意的是，这些结果属于开放环规划实验，论文自身也指出，真实闭环驾驶中的交互以及交通规则感知仍然需要进一步验证。

但它至少说明了一件事，那就是自动驾驶里的推理，不一定需要越来越长，反而可能需要越来越接近行动。

过去的智驾系统更多强调看到了什么，随后是应该怎么开。

而当端到端模型和VLA逐渐把感知、推理与动作生成进一步连接起来之后，中间这层判断开始变得更加重要。

汽车看到红灯，并不等于汽车已经知道该怎么处理；看到旁边有车，也不等于系统已经完成了对变道时机的判断。

真正有价值的是把这些环境信息转化成能够影响下一步行动的驾驶意图。

所以，小鹏并不是给智驾增加了一套会说话的思维链，而是尝试回答了一个更实际的问题，那就是当自动驾驶开始需要推理时，这种推理究竟应该以什么形式存在？

XCoT给出的答案，是让它变短、变明确，并且更靠近行动。