跨XPU平台表征视觉-语言-动作模型：机器人部署中的约束与加速

跨XPU平台表征视觉-语言-动作模型：机器人部署中的约束与加速

Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment

https://arxiv.org/pdf/2604.24447v1

摘要

视觉-语言-动作（VLA）模型在通用机器人控制方面前景广阔，但在机器人上的部署受到在严格的成本和能源预算下进行实时推理的瓶颈制约。大多数先前的评估依赖于台式机级GPU，这掩盖了异构边缘加速器（GPU/XPU/NPU）所提供的权衡和机遇。我们通过模型-硬件协同表征，对低成本VLA部署进行了系统分析。首先，我们构建了一个跨加速器排行榜，并在CET（成本、能源、时间）指标下评估模型-硬件配对，结果表明，“尺寸合适”的边缘设备在满足控制频率约束的同时，可以比旗舰级GPU更具成本/能源效率。其次，通过深入的分析，我们发现了一个一致的两阶段推理模式：一个计算受限的VLM主干网络，随后是一个内存受限的动作专家（Action Expert），这导致了阶段性的利用率不足和硬件效率低下。最后，在这些见解的指导下，我们提出了DP-Cache和V-AEFusion，以减少扩散冗余并实现异步流水线并行，在GPU上实现了高达2.9倍的加速，在边缘NPU上实现了高达6倍的加速，而任务成功率仅有轻微下降。示例排行榜网站位于：https://vla-leaderboard-01.vercel.app/。

1. 引言

大型语言模型（LLM）和视觉-语言模型（VLM）的快速进展，催生了机器人基础模型，特别是视觉-语言-动作（VLA）模型（Sapkota 等，2025）。通过将感知、语言理解和动作生成相结合，VLA有望将自然语言意图转化为物理行为。然而，将VLA部署到精心控制的实验室设置之外仍然具有挑战性：具身智能是一个闭环的“观察-推理-行动”过程，推理阶段必须满足严格的实时性要求，以避免由延迟引起的卡顿、不安全的振荡或任务失败（Brohan 等，2023b；Fu 等，2024）。

一个关键的瓶颈是，最先进的VLA通常在台式机级GPU（例如NVIDIA RTX 4090）上进行评估（Kim 等，2024；Liu 等，2025b；Pertsch 等，2025；Ma 等，2025）。虽然这些平台支持快速原型开发，但它们掩盖了一个实际的部署问题：对于机器人上的VLA计算来说，哪种计算平台才是“尺寸合适”的？对于移动和低成本机器人——甚至是价格已低至近10，000美元的人形机器人（例如Unitree G1）——其部署条件不仅受限于端到端延迟，还受限于采购成本和能源消耗。在这种情况下，依赖旗舰级GPU可能导致成本效率低下，并且使得快速增长的替代加速器（GPU、NPU和新兴的XPU）生态系统在很大程度上未被探索。

与此同时，VLA模型的算法格局也在快速发展。早期系统依赖于模仿学习策略（例如ACT和Diffusion Policy）（Zhao 等，2023；Chi 等，2024），而更近期的研究越来越多地采用基于Transformer的主干网络和更强大的动作生成器（Liu 等，2025b；Team 等，2024；Hou 等，2025）。在架构上，该领域正从直接自回归动作令牌的单一设计（Brohan 等，2023a；Kim 等，2024）转向将高级感知/推理与低级、高频控制解耦的双系统流水线（例如Hi-robot、π0和Gr00t）（Shi 等，2025；Black 等，2026；NVIDIA 等，2025）。尽管取得了这些进展，但对VLA在受限硬件上推理的系统级理解仍然有限。现有的加速工作通常针对单个模型或单个高端平台（Yu 等，2025；Kim 等，2025；Wang 等，2025a；Ji 等，2025；Ma 等，2025），这使得实践者难以回答两个基本的部署问题：(i) 在成本/能源约束下，哪些模型-硬件组合能够满足所需的控制频率，以及 (ii) 在现实的端到端循环中，哪些瓶颈实际上主导了VLA推理。

本文从模型-硬件协同表征的角度，研究了低成本、在机器人上部署VLA的问题。我们构建了一个实验框架，用于在异构加速器上评估具有代表性的VLA流水线，并报告了一个多维度排行榜，量化了延迟、能源和成本效率。我们的结果表明，当综合考虑这些约束时，RTX 4090并非总是部署的最佳选择；在许多场景下，“尺寸合适”的边缘加速器能提供更好的性能-成本平衡点。

除了基准测试之外，我们力求理解VLA推理的计算特征和瓶颈。通过使用Roofline分析（Williams等，2009）和端到端性能分析，我们揭示了主流VLA流水线中一个一致的两阶段推理模式：一个由VLM主干网络主导的计算受限阶段，随后是一个由动作生成模块（例如，基于迭代扩散或流匹配的Action Expert）主导的内存受限阶段。这种阶段转换在实践中可能导致显著的硬件效率低下——单个平台可能非常匹配其中一个阶段，但在另一个阶段中利用不足——这有助于解释峰值吞吐量规格与实际达到的端到端控制频率之间的差距。

在这些见解的指导下，我们最终开发了针对VLA计算结构定制的延迟优化方案。我们研究了涵盖冗余减少、架构效率、推测性推理和系统级流水线并行的组合加速策略。具体而言，我们提出了DP-Cache以减少迭代扩散过程中的内部冗余，并提出了V-AEFusion以融合和流水线化外部同步工作流。在各种平台上，我们的优化方案实现了显著的端到端加速（例如，DP-Cache带来1.9倍加速，V-AEFusion带来1.3倍加速，在GPU上最高可达2.9倍，在边缘NPU上最高可达6倍），同时仅以微小性能下降维持了任务成功率。

总而言之，我们的贡献如下：
• 用于经济型部署的异构VLA–XPU排行榜。我们系统地基准测试了跨异构加速器的代表性VLA流水线，并在实际约束下报告端到端性能，使实践者能够为机器人选择“尺寸合适”的计算平台。
• 对VLA推理及其两阶段瓶颈的系统性分析。我们表征了端到端控制期间的硬件利用率，并揭示了一个计算受限的VLM阶段，随后是一个内存受限的Action Expert阶段，解释了跨硬件平台的资源利用不足和部署效率低下问题。
• 揭示VLA控制循环的延迟优化方案。基于我们的分析见解，我们开发并评估了包括硬件感知加速在内的优化方法，在多个平台上实现了显著的端到端加速。

2. 相关工作

2.1. 视觉-语言-动作模型

VLA模型将多模态观测和语言指令转化为机器人动作。早期系统依赖于来自遥控操作演示的模仿学习（例如，RT-1, ACT, RT-2）（Brohan等，2023b；Zhao等，2023；Brohan等，2023a）。OpenVLA对预训练的VLM主干网络进行微调，并预测被解码为连续控制量的离散化动作令牌（Kim等，2024）。与此同时，基于扩散的策略（例如，Diffusion Policy, RDT）通过迭代采样生成连续动作，提高了动作保真度（Chi等，2024；Liu等，2025b）。

最近的研究越来越多地将VLM和扩散混合使用。π0将用于语义理解的VLM主干网络与一个单独训练的、通过流匹配生成连续电机指令的Action Expert相结合；SmolVLA和π0.5遵循类似的设计（Black等，2026；Shukor等，2025；Intelligence等，2025）。分层变体（例如，Hi-robot, G0, Gr00t）进一步将高级感知/推理与低级、高频动作生成解耦（Shi等，2025；Jiang等，2025；NVIDIA等，2025）。由于端到端延迟由模型结构和硬件共同决定，我们将在第4节分析这些组件的计算行为。

2.2. VLA加速方法

加速方法通常针对VLM主干网络（自回归解码和注意力重计算）或动作专家（Action Expert）（迭代生成）进行优化。我们将先前的研究工作归纳为四个类别：

• 冗余减少（缓存、稀疏化）。重用时间上的冗余计算或跳过不必要的层/激活（例如，Cache-VLA, DeeR, EfficientVLA, SparseVLM）（Xu等，2025；Yue等，2024；Yang等，2025；Zhang等，2025）。

• 架构效率（压缩、蒸馏）。采用轻量级主干网络并对扩散策略进行蒸馏，以减少采样步骤数（例如，RoboMamba, TinyVLA, VQ-VLA, Consistency Models）（Liu等，2024；Wen等，2024；Wang等，2025b；Song等，2023）。

• 推测性推理。减少VLM解码和扩散采样的生成开销（Spec-VLA和TS-DP）（Wang等，2025a；Li等，2025）。

• 系统级流水线并行。将模型推理与机器人执行重叠，以减少“观察-推理-行动”循环中的同步阻塞（Real-Time Chunking和SmolVLA）（Black等，2025；Shukor等，2025）。

2.3. 异构硬件格局

VLA研究在很大程度上依赖于NVIDIA平台，通常使用高端消费级GPU（例如RTX 4090）（Black等，2026；Kim等，2024；Shi等，2025；Liu等，2025b；NVIDIA等，2025；Pertsch等，2025；Ma等，2025）。然而，机器人上的部署同样受成本和功耗的约束；一块旗舰级GPU可能与端到端VLA流水线匹配不佳，导致利用率不足。与此同时，边缘推理硬件正变得多样化，不再局限于独立GPU，还包括嵌入式GPU和诸如华为昇腾NPU（310B/310P）及英特尔XPU（Arc B60 Pro）¹等加速器。这些平台在计算吞吐量、内存容量、功耗和软件栈方面存在差异，因此需要一个系统的比较和选择机制。

3. 模型-硬件配对

VLA部署将异构的模型家族与异构的机器人加速器耦合在一起，使得模型-硬件配对成为一个实际的瓶颈。同一模型可以在台式机GPU上实时运行，但在嵌入式SoC上却可能无法满足控制频率的约束，而仅凭模型大小本身并不可靠地指示延迟。因此，我们首先呈现一个定性的分级视图以建立直观认识，然后提供一个定量的排行榜，将部署决策建立在实测延迟、成本和功耗的基础之上。

3.1. 模型和硬件等级分类

我们首先通过一个分级的“消费者（模型）-生产者（加速器）”矩阵（图1）来概括这一格局。

3.2. 模型-硬件配对排行榜

虽然等级分类提供了直观认识，但我们进一步维护了一个交互式排行榜，报告跨（模型，XPU）配对的端到端推理延迟，并在此延迟基础上增加了两个机器人部署相关的约束：成本（大规模部署时每个机器人一个加速器）和能源（电池预算，对移动机器人尤其重要）。我们将这些约束总结为CET：时间（延迟或控制频率）作为可行性门槛，而成本和能源作为可行配对之间的主要部署权衡因素。

表1展示了该排行榜的部分视图，比较了在不同XPU类型上的性能。对于模型得分，我们使用在四个LIBERO（Liu等，2023）子任务（空间、物体、目标、长时程）上的平均成功率来反映模型能力，这是与硬件无关的。对于给定的VLA模型，当使用相同的精度（例如BF16）时，其能力（即任务成功率）不受底层平台的影响。对于能耗，我们使用物理功率计在每个平台的推理过程中进行测量。这个排行榜使配对选择具有可操作性：它揭示了何时“更小”的模型反而更慢（例如，由于迭代扩散步骤所致），以及何时非旗舰级加速器在成本/能源限制下是更合适的选择。

图2总结了跨异构平台的控制频率可行性。低于频率阈值的配对，无论成本或能效如何都不可行，因此我们在基于CET的排序之前先进行延迟优先筛选。

将基础级生产者（CPU和昇腾310B）与大型消费者配对的组合在图中被省略，因为它们已被上述显存可行性约束预先过滤，因此被排除在CET排序之外。

4. VLA计算特征分析

正如[发现]（第3.2节）中所强调的，较小模型可能表现出更高延迟这一反直觉的观察结果，需要更深入地研究VLA工作负载的特征。

峰值FLOPS/TDP仅提供了宽松的上限；实际部署取决于实测利用率和瓶颈。因此，我们通过细粒度的性能分析（利用率/延迟分解）和Roofline分析（计算与带宽限制）来表征VLA执行过程，以识别哪个阶段主导了延迟，以及哪个硬件资源对其构成约束。

4.1. 双阶段计算不均衡

我们使用Nsight Systems（NVIDIA Corporation， 2026）在NVIDIA RTX 4090、AGX Orin和Jetson Thor上对进行了细粒度的性能分析。

图5比较了三个阶段（视觉、VLM主干网络、动作专家）的延迟分解及其对应的流处理器（SM）利用率百分比。VLM主干网络显示出最高的SM利用率（通常高于90%），而动作专家则表现出最低的SM利用率（在20%到40%之间）。这清楚地展示了VLA工作流程的两阶段特征。

4.2. 各阶段的计算特征

通常，自回归模型（LLM、VLM）由于解码时需要大量KV缓存IO操作，属于内存带宽受限型。相反，用于内容生成的扩散模型（例如文本到视频（Zheng等，2024））则属于计算受限型。这是因为它们处理长输入序列（与高分辨率和帧数相关（Wan等，2025）），导致计算复杂度呈二次方增长，从而使计算单元饱和。

为了表征VLA工作流程中两个阶段的计算属性，我们采用了Roofline模型（Williams等，2009），如图6所示。Roofline模型将吞吐量与运算强度（FLOPs/Byte）和内存带宽联系起来；房顶的拐点（例如RTX 4090：330 FLOPs/Byte）将计算受限区域与带宽受限区域分开。

总而言之，VLA延迟受到其两个阶段不同算法特征的约束。VLM主干网络带来了巨大的计算需求，在基础级和标准级平台上由于其有限的算术吞吐量而形成了明显的瓶颈。相反，动作专家阶段主要受限于内存带宽。至关重要的是，其固有的迭代串行依赖性阻碍了在硬件上进行有效的并行加速。此外，在内存带宽受限的平台上，扩散策略的迭代特性（10–100步（Black等，2026；Chi等，2024））严重加剧了这一瓶颈。

VLA优化需要多方面的方法。我们应该探索针对VLA模型各个阶段的不同加速技术，并利用战略性的架构设计来平衡两个不同计算阶段之间的资源利用。在下一节中，我们将深入探讨旨在解决这种资源不平衡的算法优化和异步执行流程。关于面向带宽的优化，我们将其视为未来工作的一个关键方向。

5. 加速

5.1. 正交加速技术的融合

这里我们以OpenVLA的工作流程为例，作为一个自回归模型，它有一个预填充阶段和一个迭代解码阶段。基线OpenVLA需要6轮解码来生成一个7自由度的动作。

鉴于VLM主干网络主要属于计算受限型，优化重点在于降低每次推理步骤的算术强度。我们选择了针对预填充阶段的Cache-VLA（Xu等，2025）和针对解码阶段的Spec-VLA（Wang等，2025a）。我们还额外应用了4位量化（Dettmers等，2023）。

我们对所有加速方法均采用原始实现中的默认配置。表2展示了这些加速技术对OpenVLA端到端延迟和任务成功率的影响。

推测性（Speculative）与缓存（Cache）的组合实现了最高的加速比（1.29倍），但与单独使用推测性方法相比，平均成功率（SR）下降了6.6%。值得注意的是，推测性方法带来的加速在很大程度上依赖于草稿模型的接受率，这使得其在验证阶段对数值精度高度敏感。因此，量化会削弱推测性加速的效果，因为其精度损失会降低草稿接受率。

5.2. 编译模型内的DP-Cache

5.2.1. 编译

模型编译是优化模型推理性能的常用技术。我们利用torch.compile执行即时（JIT）编译，将PyTorch操作融合为优化的内核，以减少在NVIDIA GPU上的开销。我们在昇腾NPU上使用昇腾张量编译器（ATC）将整个工作流编译为静态计算图，以实现高效的离线推理。

VLA延迟是端到端的，因此有效的加速需要联合优化不同阶段（例如，OpenVLA的预填充阶段与解码阶段）和不同手段（例如，编译减少单步开销，而DP-Cache减少扩散迭代次数）。更重要的是，我们需要一个统一的框架来支持多种VLA性能优化方法的集成，类似于xDiT（Fang等，2024）——一个用于图像和视频生成的加速框架。

5.3. V-AEFusion：平衡低利用率阶段

为了在分块融合之外进一步减少端到端延迟，我们利用观测的时间一致性（Xu等，2025）以及VLM主干网络与动作专家之间的计算不均衡性（发现），引入了V-AEFusion，这是一种如图9所示的流水线并行策略。

我们将依赖前一周期视觉特征的去噪迭代称为陈旧步骤。两个特性证明了在初始去噪步骤中使用陈旧特征而不导致超调或降低控制稳定性的合理性：

消融研究。这种设计在加速和性能保真度之间展现了一种权衡：如果太少的去噪步骤重用陈旧的视觉特征，那么只有一小部分扩散过程被隐藏在VLM之后，加速效果有限；如果太多的步骤重用陈旧特征，则条件会偏离当前观测，成功率急剧下降。如表7所示，一旦陈旧步骤数超过六步，性能就会显著下降，这与扩散生成的由粗到细的特性相一致。由于VLM主干网络和动作专家的延迟比约为1：2（图5），我们将动作专家初始去噪步骤的一半（五个陈旧步骤）与VLM阶段重叠。

我们进一步在LIBERO仿真基准测试上以五个陈旧步骤验证了V-AEFusion，如表8所示。陈旧步骤数为零对应于原始（未优化）基线。V-AEFusion在仿真LIBERO任务上实现了1.3倍的加速，平均成功率仅下降0.3%，而在真实机器人抓取-放置任务上下降4%。

尽管DP-Cache和V-AEFusion目前以无需训练的优化方式部署，但它们在与基于训练的技术（如一致性蒸馏（Song等，2023））结合时，有潜力实现接近无损的加速。

5.3.2. 跨硬件适用性

由于DP-Cache跳过一组固定的中间扩散步骤，其加速比在不同硬件平台上保持一致。另一方面，V-AEFusion试图平衡VLM和动作专家的计算利用率，因此其加速比在不同硬件平台上有所差异。

模型编译技术在同一模型上不同硬件平台之间表现出不同的有效性，这既与底层硬件设计有关，也与软件框架中编译实现的差异有关，如表3所示。对于像V-AEFusion这样的异步工作流方法，必须考虑并行化模型之间的计算资源争用。在标准计算设备（例如AGX Orin和昇腾310P）上，VLM和动作专家的组合计算需求超出了硬件的容量限制，导致优化收益有限。

总而言之，我们将VLA系统表征为具有双重串行化的性质：VLM与动作专家之间的顺序依赖关系（流水线级串行化），以及扩散动作专家内部的迭代去噪过程（组件级串行化）。随着VLA模型参数规模的扩大，动作专家将有望从内存受限型转变为计算受限型。因此，未来的架构进步必须优先考虑以并行化为核心的设计（Rasley等，2020；Shoeybi等，2020），并与硬件感知的优化（Dao等，2022）协同配合，以应对具有挑战性的机器人任务。

6. 结论

本文通过模型-硬件协同表征，研究了视觉-语言-动作（VLA）模型的低成本、在机器人上部署的问题。我们引入了一个跨加速器的VLA-XPU排行榜，包含CET（成本、能源、时间）指标，并表明在实时约束下，“尺寸合适”的边缘加速器可以比旗舰级GPU更具成本和能源效率。我们进一步识别出VLA推理的双重串行化性质：VLM与动作专家之间的流水线级串行化，以及扩散过程内部的组件级串行化。这一观察直接推动了DP-Cache和V-AEFusion的提出，这两种无需训练的加速方法在多个平台上实现了显著的端到端加速，而能力下降幅度极小。

局限性与未来工作。我们的排行榜侧重于效率，我们的无需训练优化可能会在精度和延迟之间进行权衡。我们将扩展至更广泛的基准、模型和加速器，并探索专用的动作专家优化以及基于训练的方法（例如蒸馏/一致性），以实现无损加速。

原文链接：https://arxiv.org/pdf/2604.24447v1