T-RO综述重构Foundation Model时代机器人操作知识版图

过去几年，机器人操作领域几乎被一批新概念重新 “刷屏”。

LLM Planner、VLA、Diffusion Policy、Flow Matching、Latent Action、World Model、Imitation Learning、Reinforcement Learning…… 越来越多方法被用来描述机器人如何理解任务、感知世界并最终产生动作。

但一个容易被忽略的问题是：

这些概念其实并不处在同一个坐标轴上。

VLA 更多涉及视觉、语言等多模态信息如何进入动作模型；Diffusion Policy 关注动作如何被生成；Imitation Learning 描述模型如何通过示范数据学习；而 LLM Planner 则通常工作在更高层的任务规划阶段。

如果把这些方法简单放在一起比较，就很容易把 “系统层级”“模型结构”“动作生成方式” 和 “学习策略” 混为一谈。

这也是 Foundation Model 时代机器人操作研究正在面临的一个新问题：模型越来越多，但我们反而需要重新回答，这些模型究竟位于机器人系统的什么位置，它们各自在解决什么问题。

近日，论文《Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives》被 IEEE Transactions on Robotics（T-RO）接收。该工作尝试重新建立机器人操作研究的分析坐标系，并以 High-Level Planning 和 Low-Level Action Modeling 为两条主线，系统梳理 Foundation Model 时代机器人操作的发展。

该综述由西安交通大学、香港科技大学（广州）、中国科学院、西湖大学、浙江大学、悉尼大学、北京智源人工智能研究院、北京大学等机构的研究者联合完成。论文第一作者包括西安交通大学白双豪、香港科技大学（广州）宋文轩，通讯作者包括香港科技大学（广州）李昊昂、北京大学仉尚航以及西安交通大学陈霸东等。

• 论文标题：Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives
• 论文链接：https://arxiv.org/abs/2512.22983
• 项目仓库：https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation

1. 一张图重新理解机器人操作的系统边界

今天的大模型很容易给人一种印象：机器人最终也许会变成一个巨大的端到端网络，输入图像和语言，输出动作。

但从机器人系统本身来看，“理解任务” 和 “让电机真正动起来” 之间仍然存在多个不同层次的问题。

论文将这一过程抽象为：

High-Level Planning → Low-Level Action Modeling → Actuation-Level Control

这三个层级分别回答三个不同的问题。

High-Level Planning：机器人应该做什么？这一层负责形成任务计划、程序、几何约束、Affordance Prior 或 3D Representation 等结构化规划信息。

Low-Level Action Modeling：机器人具体应该怎么动？这一层将环境观测、任务条件以及中间表示进一步转化为可执行的动作或轨迹。

Actuation-Level Control：这些动作如何被稳定执行？最终，动作需要进一步落实为位置、速度、力矩、阻抗等真实机器人控制信号。

真正值得注意的并不是这三个名字，而是它们提供了一套重新理解今天机器人研究的坐标系。

例如：

因此，VLA、Diffusion Policy、Imitation Learning 并不是三个平行的 “机器人路线”。

它们实际上在回答不同的问题。

这也是为什么，仅仅按照某个热门模型家族来整理机器人操作研究已经越来越困难。

2.Foundation Model

真正改变了规划中的什么？

Foundation Model 对机器人规划最直接的影响，并不是让 LLM 直接输出关节控制量，而是让机器人第一次拥有了更强的语义理解、开放世界知识和多模态推理能力。

问题随之变成：

如何把这些能力传递给真实机器人？

论文将这一过程理解为生成不同形式的 planning artifacts。

这些 planning artifacts 可以是：

其中一个非常典型的矛盾是：“语言上合理” 并不等于 “物理上可行”。

SayCan、Inner Monologue 等工作展示了 LLM 在任务分解和长时序规划上的能力，但机器人最终生活在连续的物理空间中。一个语言模型可以正确地说 “把杯子放入柜子”，却未必知道机械臂是否能够到达、杯子应该以什么姿态进入、过程中是否发生碰撞。

于是，另一批工作开始寻找语义推理和物理执行之间更加可靠的接口。

VoxPoser 将语言理解转化为空间 value map，ReKep 将操作任务表示为关键点关系约束，GeoManip 则进一步把几何约束作为语义推理与运动生成之间的接口。

Foundation Model 在这里并不负责完整轨迹，而是回答：什么样的空间关系应该被满足？最终的轨迹仍然可以交给经典运动规划器和优化器完成。

另一个变化来自 Affordance 和 3D Representation。

传统视觉感知更多关心 “这是什么物体”，而机器人真正需要进一步理解的是：

“这个物体可以如何被操作？”

抓杯子应该抓哪里？门的哪个部分能够被旋转？哪些区域能够接触？哪些空间关系需要保持？

Affordance、Gaussian Splatting、Neural Descriptor Field 和 3D Feature Field 等研究，本质上都在尝试把视觉感知进一步变成 action-relevant representation。

所以，从这个角度看，Foundation Model 进入高层规划后真正带来的问题并不是：LLM 能不能控制机器人？而是：什么样的中间结构，能够最有效地把 Foundation Model 的理解和推理能力传递给机器人执行系统？

3.VLA、Diffusion Policy 和 Imitation Learning，为什么不是一回事？

如果说高层规划解决的是 “想什么”，那么低层动作建模真正关心的是 “怎么动”。

传统机器人操作已经发展出 Sampling-based Planning、Trajectory Optimization、Model Predictive Control 等成熟的非学习型方法；随着机器人学习的发展，越来越多研究开始通过数据驱动方式学习动作模型，并进一步采用 Imitation Learning、Reinforcement Learning 以及 Auxiliary-task Learning 等不同学习策略来获取和优化机器人行为。

论文没有简单按照 VLA、Diffusion 等模型名称进行分类，而是沿着一个动作模型的构建过程，将学习型低层动作建模拆成三个问题：

Input Modeling → Latent Learning → Policy Learning

第一个问题：机器人究竟基于什么信息产生动作？

这对应 Input Modeling。

早期 Vision-Action Policy 主要使用 RGB 图像或多视角视觉，再结合机器人自身状态预测动作。

但视觉并不能回答所有问题。

二维图像并不天然包含明确的三维结构，因此越来越多方法开始引入深度、点云和其他 3D 表示；与此同时，自然语言又为机器人提供了更加开放的任务条件。

VLA 的重要变化正发生在这里。它使机器人动作模型能够同时利用视觉环境、语言指令以及机器人状态等信息，让 “看到什么” 和 “要做什么” 进入同一个动作建模过程。

论文进一步从 2D / 3D 输入以及 model-oriented /model-agnostic 等维度梳理 VLA 的发展。

而机器人输入的边界还在继续扩展。

视觉可以看到物体，但无法直接判断是否发生滑动；语言可以描述任务，但无法告诉机器人接触力是否过大。

因此，触觉、力觉、声音等信号开始进入机器人动作模型。

这意味着 Input Modeling 的问题已经从：

“机器人看到了什么？”

逐渐变成：

“机器人能够利用哪些信息理解真实物理世界？”

第二个问题：感知和动作之间，需要一个怎样的中间空间？

这对应 Latent Learning。

高维图像、语言和机器人状态直接映射到复杂连续动作并不容易，因此很多方法开始寻找更加紧凑的中间表示。

其中一类工作关注 Pretrained Latent Learning。研究者利用通用图像、人类第一视角视频以及大规模机器人交互数据预训练视觉或多模态表示，使机器人获得更加通用的环境特征。

另一类则进一步进入动作本身，研究 Latent Action Learning。复杂的连续运动可以被压缩为离散 action token，也可以表示为连续 latent vector、latent dynamics，甚至与 world model 的预测表示结合。

这些方法实际上都在寻找同一个东西：

连接高维感知与复杂物理动作的更加紧凑接口。

第三个问题：最终动作到底怎么生成？

这才是 Policy Learning。

Policy Learning 关注如何把前面的输入和潜在表示真正转化为机器人动作。

早期方法可以直接使用 MLP 回归动作；Transformer 提供了更强的序列建模能力；Diffusion Policy 则通过生成式建模处理复杂、多峰的动作分布；近年来 Flow Matching 又成为新的动作生成范式。

到这里，一个经常被混淆的问题就变得清楚了：

VLA 和 Diffusion Policy 并不是两个同级的技术路线。

VLA 更多描述视觉、语言与动作如何被组织和建模，而 Diffusion 或 Flow Matching 关注动作最终采用什么方式生成。

一个 VLA 完全可以采用 Transformer、Diffusion 或 Flow Matching 作为动作生成模块。

同样，Imitation Learning 和 Reinforcement Learning 又属于另一条坐标轴。

它们更关心的是：

模型通过什么监督和反馈信号学会这些行为？

因此：

VLA 描述 “输入和动作如何组织”，Latent Learning 描述 “中间表示如何形成”，Diffusion / Flow Matching 描述 “动作如何生成”，IL / RL 则描述 “模型如何学习”。

这些概念只有放回各自的维度，今天快速膨胀的机器人操作研究版图才会重新变得清晰。

4. 通用 Robot Brain 真正还缺什么？

当规划和动作建模被放回同一个系统框架后，机器人下一阶段需要解决的问题也更加明确。

论文认为，距离真正意义上的通用 Robot Brain，至少还存在四个关键缺口。

首先是真正的外推能力。

今天很多机器人模型已经能够在相似环境、新物体或者任务组合上取得不错的泛化效果，但其中相当一部分仍然接近训练分布上的插值。真正通用的机器人需要面对完全新的任务结构、场景、物体乃至机器人本体，同时还能够持续学习和积累经验。

第二个缺口来自数据和评测。

真实机器人数据昂贵、采集速度慢，不同 Benchmark 又常常只覆盖某一部分能力。CALVIN、LIBERO、SimplerEnv 等评测平台分别关注长时序、多任务或 real-to-sim 等不同问题，但整个领域仍然缺少真正统一和高度可复现的评测体系。

第三个缺口是真正的物理感知。

人类操作物体并不只依赖视觉。我们同时依赖触觉、力觉、声音以及对材料和动力学的判断。

对于布料、线缆、流体、颗粒物等复杂对象，仅仅增加一个摄像头或者更大的视觉模型远远不够。未来 Robot Brain 需要进一步理解接触、材料、形变和物理过程本身。

最后一个问题是安全与协作。

当机器人真正进入家庭、工厂以及人与机器人共享的环境，成功率不再是唯一指标。

机器人必须能够持续监控自己的行为，在失败时恢复，在不确定时降低风险，并同时满足运动学、动力学、接触力和能量等安全约束。

这也意味着未来真实机器人系统很可能不会简单地 “端到端取代一切”。

学习模型提供泛化和适应能力，而规则、规划器和 MPC 等传统方法仍可能在可靠性和安全性上发挥重要作用。

5. 从 “模型竞赛” 重新回到机器人系统

Foundation Model 正在快速改变机器人操作。

LLM 让机器人拥有了更强的语义推理能力，VLA 开始连接语言、视觉与动作，Diffusion 和 Flow Matching 改变了动作生成方式，World Model 和 Latent Action 又试图建立更加紧凑的中间表示。

但模型越来越多之后，一个更重要的问题逐渐浮现：

这些能力究竟应该如何组合，才能真正形成机器人智能？

这篇 T-RO 综述并没有试图再创造一个新的模型家族，而是尝试重新回到机器人系统本身，以 High-Level Planning 和 Low-Level Action Modeling 为主线，把近年来快速出现的方法重新放回它们真正解决的问题中。

从这个视角来看，通用机器人最终需要回答的，也许并不是 “下一个模型应该有多大”，而是一个更加基础的问题：

机器人如何形成对任务和世界的理解，并将这种理解可靠地转化为真实物理世界中可执行、可泛化的行为？