机器人VLA到底从哪来的？RT-2才是真正的出生证

VLA（Vision-Language-Action，视觉-语言-动作）不是某天突然冒出来的单一模型。它是一类把"看懂场景、听懂指令、输出动作"塞进同一个神经网络的范式。这条线可以切成五段：前史、RT-1 奠基、RT-2 定名、开源爆发、人形机器人基础模型阶段。

先说清楚一件事：很多人把 RT-1 当成 VLA 的起点，这个说法站不住。RT-1 没有用大规模预训练 VLM 做底座，语言指令也很浅，泛化范围有限。它跑通的是"Transformer + 语言条件 + 离散动作"这条工程配方，不是 VLA 这个范式本身。

要点一：前史是三条线索的汇流

1980 年代就有视觉驱动机器人控制的尝试，但现代 VLA 的前身是三条线合流。视觉运动策略早期靠行为克隆加 CNN，一个任务训一个策略，换背景换物体就废。2021 年 CLIP、ALIGN 把图像和文本压进同一嵌入空间，VLM 时代开启，但 VLM 只能"动嘴"输出文本，不能直接控制机器人。2022 年 Google 的 SayCan、CMU 的 Instruct2Act 让 LLM 做高层规划、下层接独立执行器，本质是两段式，还不是端到端 VLA。

常被归为"VLA 思想源头"的还有 DeepMind 2022 年的 Gato，用同一个 12 亿参数 Transformer 序列化处理文本、图像、游戏和真实机器人控制。但它没用预训练 VLM 做底座，学界一般叫它"通用智能体先驱"，而不是最早的 VLA。

要点二：RT-1 验证了工程配方

RT-1 2022 年 12 月首次报告，RSS 2023 正式发表。35M 参数，13 台机器人 17 个月采集的 13 万条演示、700+ 任务，EfficientNet 视觉编码加 FiLM 语言条件，输出离散化动作 token，3 Hz 实时运行。它是 VLA 谱系里第一个被大规模验证的真实机器人策略，但严格说不是 VLA。

同年 3 月，PaLM-E 把 540B 的 PaLM 和 ViT 接起来，让 LLM 直接吃连续传感器输入做 embodied reasoning，再用 RT-1 执行。这是"VLM 大脑 + 机器人小脑"双系统最早的范本之一。

要点三：RT-2 才是术语和范式的双重定名

2023 年 7 月 28 日，Google DeepMind 发 RT-2 论文，第一次正式提出 "Vision-Language-Action Model" 这个术语。关键创新一句话：把机器人动作变成语言模型词表里的 token。用 PaLM-E / PaLI-X 做底座，12B 和 55B 两种规模，7 维动作均匀离散化成 0–255 的整数，占用 256 个 token，和互联网图文数据联合微调，同一个 next-token 接口同时学"看图说话"和"输出关节角"。

效果上，RT-2 能对训练数据里没出现过的物体、需要语义推理的指令做泛化，物理技能上限仍受机器人数据束缚。最大模型跑 1–3 Hz，5B 版约 5 Hz。大模型直接进控制回路的延迟代价，从这一天起就成了 VLA 的核心矛盾。

它证明了一件此前没人证明的事：互联网规模的 VLM 预训练知识可以迁移到物理动作空间。这是 VLA 区别于传统机器人学习范式的根本。

要点四：2024 年开源爆发，路线分成三条

Open X-Embodiment 数据集由 21 家机构联合，100 万+ 轨迹、22 种机器人本体、527 个技能，统一格式开放。它让跨本体正迁移第一次有了可训练语料，也暴露了真相：正迁移只在部分设置下成立，不是任意硬件都能零样本互通。

OpenVLA 2024 年 6 月发布，Stanford + Berkeley + TRI 联合开源，7B 参数，Llama 2 底座加 DINOv2 + SigLIP 双视觉编码器，在 OpenX 的 97 万条轨迹上训练。29 个真实任务上以 1/7 参数量超越 55B 的 RT-2-X，绝对成功率高 16.5%，权重、代码、训练脚本全开源，支持 LoRA 和 4-bit 量化。它的意义不是 SOTA，是把 VLA 从闭源 demo 变成人人能 fine-tune 的起点。

动作生成路线同时分裂：Octo 是第一个用扩散头做 VLA 的开源工作，9300 万参数；π0 用流匹配把双臂高频操作推到新水平，后来衍生出 π0.5，扩展到开放家庭环境。

要点五：2025 年起进入人形机器人基础模型阶段

双系统架构成为主流。Figure Helix 2025 年 2 月发布，首个对人形上半身含手指做高率连续控制的 VLA，S2 用 VLM 做慢速语义推理，S1 用 visuomotor policy 把潜变量转成 200 Hz 全身动作，还能双机协作。NVIDIA GR00T N1 2025 年 3 月对外宣称首个开放可定制的通用人形推理与技能基础模型，S2 是 Eagle-2 VLM，S1 是扩散 Transformer 用 flow-matching 出动作，2.2B 参数。

Google Gemini Robotics / ER 1.5 在 2025 年 6 到 9 月把 Gemini 系列接动作解码器，ER 版本先做多步 CoT 规划再出动作，支持端侧部署、50 条演示适配新任务。Boston Dynamics 加 TRI 的 Atlas 模型 2025 年 8 月用单一 4.5 亿参数扩散 Transformer 加 flow-matching，把 locomotion 和 manipulation 合并进一个 30 Hz 策略，不再分模块。Physical Intelligence π0.5 则是高层规划加低层流匹配控制的分层 VLA，主打家庭厨房长程任务。

到 2026 年，前沿方向转向世界模型加 VLA 融合、类脑分层架构、以及动作 token 压缩。FAST Tokenization 用 DCT+BPE 把 50 步乘 7 自由度从 350 token 压到 30 token。

几个容易被误传的点

• RT-1 不是 VLA 起点，RT-2 才是术语和范式双重定名的那篇。
• Gato 是 precursor 不是 VLA，因为它没接预训练 VLM。
• VLA 的边界本身有争议：Octo 这种从零训的通用机器人策略加扩散头算不算 VLA，学界没统一说法。
• 2025 年后的"VLA"很多时候其实是双系统，严格说和 RT-2 那种单模型端到端已经不是同一件事。