浙大等团队提出 EmbodiedSkills，用六阶段技能循环连接 VLM 规划与 VLA 执行

视觉语言动作模型（Vision-Language-Action Model，VLA）可以根据相机图像、机器人状态和语言指令，直接生成一段控制序列。对于包含多次抓取、移动和放置的长程任务，高层视觉语言模型还可以将完整指令拆解为语义子任务，再交给 VLA 依次执行。

但子任务的实际完成时间会随初始位置、夹持状态和接触过程变化。一段动作结束时，系统需要根据新的观察判断当前目标是否达到要求，进而决定继续执行、切换目标或重新规划。此前的计划、动作和验证结果，也需要保留在后续决策的上下文中。

浙江大学联合南京航空航天大学、康奈尔大学、新加坡国立大学、宇泛和云深处等单位提出EmbodiedSkills，通过统一的可执行技能接口，将上述过程组织为六阶段 AgentLoop。框架在动作前检查执行条件，在动作后验证目标进度，并将交互记录用于不同组件的监督训练。论文以 Qwen3-VL 和 OpenPI/π₀.₅ 为具体实现，按任务适配的低层策略在 RoboTwin 2.0 的 50 类任务上取得86.20%平均成功率，在 LIBERO 四套评测上取得97.40%。

论文题目：

EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents

文章链接：

https://arxiv.org/abs/2609.01281

代码仓库：

https://github.com/DCDmllm/EmbodiedSkills

一、引言

以按顺序堆叠三个方块为例，计划中的每次放置都有明确目标，但完成一次放置可能需要多轮动作。第一轮结束后，机械臂可能已经将方块送到支撑面附近，也可能仍在调整接触位置。如果此时直接进入下一个目标，后续操作就会建立在尚未完成的堆叠状态上。

图 1：EmbodiedSkills 框架总览。

上图展示了 EmbodiedSkills 对长程执行过程的组织方式。高层模型选择技能和子目标，低层 VLA 生成动作块，执行后的新观察用于判断任务进度。这些环节通过统一接口连接，技能结果和错误信息按时间顺序写入任务轨迹。

这项设计需要处理三个相互关联的问题。首先，计划中的当前目标要持续传递给动作策略，避免完整任务与局部操作之间的语义脱节。其次，下一次调用需要使用有效的观察和状态，不能继续沿用已经失效的执行准备。最后，系统要保留已有尝试的结果，使模型能够结合历史决定继续、推进或恢复。

二、本文方法

EmbodiedSkills 使用统一技能接口描述组件能力，再用阶段化循环组织这些能力的调用。框架中的技能既可以由视觉语言模型实现，也可以由动作策略或确定性程序实现。规划、感知、验证等组件可以独立更新，并继续使用同一条执行流程。

图 2：六阶段 AgentLoop 与组件交互。

上图展示了框架的整体结构。高层模型根据任务、当前阶段、图像和近期历史选择技能；运行时检查所需条件，调用相应组件，并记录返回结果。动作执行完成后，验证阶段读取新证据，决定保留当前子目标还是推进计划。系统在这个过程中持续更新可见状态与可调用技能。

2.1 用统一技能接口连接不同组件

每项技能包含输入、输出、前置条件、执行过程、状态更新和失败证据。以动作调用为例，系统需要知道当前子目标、使用哪次观察、动作后端是否就绪，以及最终执行了哪些控制步。调用结果与这些信息一起保存，后续验证才能判断这次尝试的实际效果。

技能接口同时明确了结果可以在什么条件下继续使用。子目标改变后，基于旧目标生成的动作需要更新；观察改变后，依赖旧画面的结果也需要重新检查。完整计划和仍然有效的历史继续保留，状态更新集中在发生变化的部分。

任务的目标表达也保留了灵活性。语言条件 VLA 可以直接接收图像和子任务文本，需要几何信息的控制器则可以附带对象或区域绑定。框架允许不提供显式目标，也支持多个交互物体或目的地，因此感知、规划与执行组件不必共享同一种内部表示。

2.2 通过六阶段循环调整执行进度

六个阶段依次为 Observe、Plan、Preflight、Execute、Verify 和 Recover。Observe 获取场景与机器人状态；Plan 生成有顺序的语义子目标，选出当前目标并分配预算；Preflight 检查计划、观察和动作后端的就绪情况；Execute 调用低层 VLA 执行有限长度的动作块。

Verify 使用动作后的新观察判断当前目标。如果目标达到要求，系统推进计划；如果目标尚未完成且当前尝试可以继续，则保留原目标，重新经过执行前检查，再运行下一段动作。证据不足时可以重新观察，无法直接继续的失败则进入 Recover，修改当前尝试、子目标或计划。恢复后的动作仍需经过就绪检查。

一个语义子任务可以跨越多个动作块，推进时机由实际进度决定。对于三方块堆叠，这意味着同一个放置目标可以经历接近、调整与放稳的连续过程，系统在满足该目标后再处理下一个方块。单次预算限制动作调用范围，验证结果决定是否还需要继续调用。

多轮执行还依赖有序历史。框架保留完整计划、活动子目标、最新状态和近期技能结果，较早记录按预算压缩或移除。再次执行同一子任务时，模型能够看到上一轮动作与验证信息；若此前出现错误，相关记录也会进入下一轮决策条件。

2.3 利用交互轨迹进行组件级监督训练

规划器使用任务指令与视觉上下文学习生成语义子目标，低层 π₀.₅ 则使用与子任务对应的示范轨迹，学习从当前观察、机器人状态和子任务指令到动作序列的映射。RoboTwin 2.0 实验为每类任务分别适配一套策略，通过统一接口接入 AgentLoop。

高层 Qwen3-VL 调度器在冻结低层策略的条件下进行监督微调。其输入包括当前阶段、可见图像、紧凑状态、近期历史和可调用技能，输出为下一项技能决策及参数。规划、调度和验证可以共享基础视觉语言模型，使用不同适配器承担各自功能。

训练数据与部署使用相同的上下文构建和历史压缩规则。技能返回、环境反馈和此前决策保留原有时间顺序，模型需要生成的输出承担监督损失，图像与工具消息作为条件输入。这样，执行到一半的子任务也能形成训练样本：模型看到当前目标、上一轮动作和最新判断，再学习选择下一项操作。

统一的轨迹格式也支持后续在线适应。在交互反馈可靠时，高层决策可以进一步优化，低层动作策略保持冻结。论文的主要训练路径采用组件级监督，各组件可以在固定接口下分别适配。

三、实验结果

论文在 RoboTwin 2.0 和 LIBERO 上报告动作策略表现，通过三项 AgentLoop 消融分析执行机制，并在 RMBench 上测试依赖交互历史的操作。各方法的训练设置及基线来源在论文中分别说明。

3.1 RoboTwin 2.0 与 LIBERO

RoboTwin 2.0 主实验覆盖 50 类操作任务。子任务级适配策略的平均成功率为 86.20%，论文采用的 π₀.₅ 参考值为 82.74%，提升3.46 个百分点。这里的 π₀.₅ 数字来自 LingBot-VA 论文中的对比项，EmbodiedSkills 使用每类任务分别适配的策略。

方法RoboTwin 2.0 平均成功率

π₀.₅

82.74%

EmbodiedSkills86.20%

任务级结果中，39 类超过参考值，1 类持平。挂杯子、按尺寸排列方块、打开微波炉、移动罐子和移动订书机的提升分别为 20、15、15、10 和 10 个百分点；三方块与双块堆叠的成功率分别为 92% 和 100%。

LIBERO 包含 Spatial、Object、Goal 和 Long 四套评测。下表与 OpenPI 官方发布的 π₀.₅ 结果比较，四套件均有提升，平均成功率从 96.85% 提升至 97.40%。其中，LIBERO-Long 提升 1.2 个百分点，是四套件中增幅最大的一项。

套件OpenPIEmbodiedSkills

Spatial

98.8%

99.0%

Object

98.2%

98.6%

Goal

98.0%

98.4%

Long

92.4%

93.6%

平均

96.85%

97.40%
3.2 验证、子任务与动作块的消融

为分析执行机制，论文在相同的 50 类 RoboTwin 2.0 任务上设置三组消融，每类评测 100 次。对照调整中间验证、当前子任务条件和重复动作块的使用方式。

图 3：主实验与 AgentLoop 消融结果。

配置平均成功率Full AgentLoop86.20%

w/o Verify

48.2%

w/o Subtask

34.4%

One chunk/subtask

19.5%

上图和表格显示，保留总动作预算但移除中间验证后，成功率降至 48.2%。该配置按预定次数执行动作，无法根据中途结果调整推进时机。同一子任务所需的控制步数存在波动，总预算充足也不代表每个阶段都能得到合适的执行长度。验证阶段利用新观察决定继续或切换，使动作调用能够跟随实际进度调整。

w/o Subtask 保持总预算，每个动作块接收原始完整指令，成功率为 34.4%。当前目标的语义条件被移除，低层策略需要从完整任务和画面自行判断下一步操作。One chunk/subtask 则保留子任务，但每项只执行一个 32 步动作块，成功率进一步降至 19.5%。这表明语义分解仍需要与足够的执行长度配合，一项子任务可能需要多次动作调用才能完成。

3.3 RMBench 与执行样本

RMBench 中的操作需要使用此前交互信息，例如已经尝试过的电池配置、方块排列，以及已经完成的按钮操作次数。论文选择四项任务进行评估，并与 DP、ACT、π₀.₅ 和 X-VLA 的公开结果比较。

任务DPACTπ₀.₅X-VLAEmbodiedSkills

Battery Try

10%

19%

16%

26%

19%

Blocks Ranking Try

10%

0%

6%

1%

9%

Cover Blocks

0%

0%

0%

2%

6%

Press Button

0%

0%

0%

0%

16%

平均

5.0%

4.8%

5.5%

7.3%

12.5%

上表中，EmbodiedSkills 的四任务平均成功率为 12.5%，Cover Blocks 和 Press Button 分别达到 6% 和 16%。各任务的最优方法有所不同：Battery Try 由 X-VLA 领先，Blocks Ranking Try 的最高值来自 DP。

图 4：三个随机选取的 RoboTwin 2.0 执行样本。

上图展示了物体摆正、方块堆叠和开关交互中的状态变化。堆叠任务里，已经完成的放置形成下一次操作的支撑；开关任务中，接触前后的画面对应不同执行状态。这些连续观察与当前目标、先前动作记录一起，构成后续技能决策的输入。

四、总结

EmbodiedSkills 通过统一技能接口连接高层规划、低层动作与环境反馈，以六阶段循环管理目标推进、执行检查和失败恢复。框架将交互过程组织为结构化轨迹，支持子任务动作策略与高层调度器分别进行监督训练。RoboTwin 2.0、LIBERO 和 RMBench 的结果，以及围绕验证、子任务和动作长度的消融，展示了该框架的执行表现。论文与代码均已公开。

Illustration From IconScout By IconScout Store

9月28日晚@美国匹兹堡

「IROS 2026 群星闪耀 精英晚宴」

免费报名，期待线下见面！

北京时间9月25日(周五) 12:00截止报名

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈