Astra开始攻入具身腹地？天生就懂触觉，清华团队实测精细操作任务成功率达93.8%

9 月，自 OpenAI 发布 GPT-6 Astra 后，其在空间理解、三维建模和软件操作等方面展现出的能力，引起了具身智能行业的广泛关注。

过去几年，机器人公司一直在尝试训练自己的基础模型，而Astra的出现带给了行业一个新的启发：机器人需要的通用智能，会不会直接来自 GPT 这样的基础模型？

随后，一些研究团队开始将 Astra 接入机械臂，测试它的机器人控制能力。不过，早期实验结果并不理想。9 月公布的一项RoboDojo研究显示，Astra 在 42 项操作任务中的平均成功率仅为 22.48%，尤其在精确对齐、复杂双臂协调等任务上存在明显不足。

对于涉及摩擦、受力和持续接触的精细操作，机器人还需要根据触觉反馈不断调整动作，因此，这类任务一直被视为专用模型的重要优势领域。

近日，一项来自清华大学的研究，对这一判断提出了挑战。

10 月 17 日，清华大学研究人员发布 TacTalent 技术报告，专门评估 Astra 在接触密集型操作中的表现。结果显示，在UniVTAC和 OpenViTac 两套视触觉基准上，Astra 分别取得 93.8% 和 81.8% 的平均成功率，比此前报告的最佳专用模型分别高出 22.9 和 13.1 个百分点。

（来源：TacTalent）

更值得注意的是，研究团队没有使用任务示范训练或微调任何策略模型，而是通过几条操作示范，让Astra结合视觉和触觉信息完成精细操作。也就是说，过去需要专门训练机器人策略才能实现的部分能力，如今也可以借助通用模型获得。

Astra 开始学会利用触觉信息

让机器人抓起一个杯子，和将插头准确插入接口，听起来都是简单的机械操作。但它们的实际操作难度却大有差别。

抓取杯子时，机器人主要需要判断物体的位置和姿态。但在插入接口的过程中，即使机械臂已经对准目标，也可能因为细微的偏差而受阻。此时，机器人需要根据接触反馈不断调整方向和力度。这类涉及持续接触、摩擦和受力变化的任务，被称为接触密集型操作。

过去，研究人员通常需要采集视觉、触觉和机器人动作数据，训练专门的视觉-触觉-语言-动作模型（VTLA），让模型学会根据接触信息调整动作。

清华团队此次采用了不同的方法。研究人员借助RoboICL框架，向 Astra 提供少量操作示范，以及摄像头画面、机器人位姿和夹爪上的触觉信息。模型据此决定机械臂末端如何移动、旋转，以及夹爪何时开合，再由底层控制系统执行，并根据新的反馈调整后续动作。

其中一个关键设计，是将触觉信息以图像形式输入模型。实验使用的视觉式触觉传感器，可以记录接触造成的表面形变，并生成相应的图像。对于 Astra 这样的多模态模型，这些触觉图像可以直接与普通摄像头画面一起处理。

这一思路与团队此前的研究经历有关。TacTalent作者、清华大学博士研究生杨晨告诉 DeepTech，他们在开发专用视触觉模型 SimpleTouch 时就发现，使用视觉变分自编码器（VAE）处理触觉图像，也能取得不错的效果。这让他们意识到，视觉和触觉之间的模态差异，可能没有想象中那么大。

因此，团队希望进一步验证，Astra 能否利用已有的视觉理解能力，直接处理触觉信息，并完成精细操作，而无需针对任务重新训练模型。

实验结果显然超出了他们的预期。在 UniVTAC 的 8 项任务中，Astra 仅使用视觉信息时，平均成功率为 76.3%；加入触觉后，这一数字提升至 93.8%。

（来源：TacTalent 研究团队）

其中，拔钥匙任务的成功率从 30% 提高到了 90%。在这项任务中，机器人需要调整钥匙姿态，解除接触约束后再将其拔出。实验记录显示，当钥匙受到阻碍时，Astra 能够根据夹爪两侧触觉图像的变化，尝试判断受阻方向，并调整后续动作。

（来源：TacTalent 研究团队）

类似的提升还出现在插孔和 HDMI 接口插入任务中。加入触觉后，前者的成功率从 60% 提高至 100%，后者则从 50% 提升至 80%。研究团队还记录了模型在操作受阻后重新定位、主动试探和失败后恢复的过程。

（来源：TacTalent 研究团队）

杨晨表示，虽然团队此前已经对Astra的能力有一定预期，但它在两套基准上取得如此高的成功率，在触觉理解、主动探测、精细调整和操作恢复上同时拥有如此强的能力，仍然让他们感到意外。

在他看来，这次实验取得较好效果，最关键的因素是 Astra 基础模型能力的提升。操作示范为模型提供任务信息，RoboICL 则将示范、实时观测和执行反馈组织起来，使模型能够参与闭环控制。

“没有基模能力的突破，仅靠示范和框架，很难达到这样的效果。”杨晨说。

此次实验中，Astra 没有接受针对具体任务的专门微调，主要依靠少量示范和现有控制框架，就在部分精细操作任务上取得了较高的成功率。

有些触觉任务，视觉就能解决

除了证明通用模型能够利用触觉，研究团队还发现，一些过去被认为需要触觉才能完成的任务，Astra 仅凭视觉就能取得很高的成功率。

在另一套基准OpenViTac中，Astra 仅使用视觉信息，就取得了 80.6% 的平均成功率。加入触觉后，这一数字只提高到 81.8%。相比之下，在 UniVTAC 中，触觉带来了 17.5 个百分点的提升。

研究人员进一步查看具体任务时发现，在抓取分类、表面粗糙度分类，以及依据粗糙度重新抓取这三项任务中，纯视觉 Astra 的成功率全部达到了 100%。

（来源：TacTalent研究团队）

按照日常经验，判断物体表面是否粗糙，最直接的方法是用手触摸。但 Astra 在这些测试中没有使用触觉，仍然能够完成判断。

研究团队分析认为，原因可能在于测试环境中的部分物体存在细微的视觉差异。例如，粗糙物体表面可能带有细小纹理、凸起或不同的反光特征。这些变化并不十分明显，却可能被视觉能力较强的模型识别出来。此外，OpenViTac 在部分任务中提供了固定摄像头和腕部摄像头的多角度画面，也让模型获得了更多视觉信息。

这也让研究人员开始重新审视现有触觉基准的设计。一些原本被认为需要触觉才能完成的任务，实际上可能存在可供模型利用的视觉线索。即使取得很高的成功率，也难以判断模型究竟掌握了多少接触和受力方面的知识。

杨晨告诉 DeepTech，现有触觉基准已经难以充分检验前沿模型的能力。最近与相关研究者交流时，他们发现这一判断正在形成共识。目前不少测试仍接近单个基础动作，未来需要增加更复杂、流程更长的接触密集型操作任务，同时控制可能存在的视觉捷径。

不过，视觉无法解决所有问题，增加触觉信息也不一定能改善模型表现。

例如，在重量分类任务中，加入触觉后，Astra 的成功率从 50% 降至 40%；空罐选择任务的成功率也从 70% 下降至 50%。研究人员认为，模型可能误读触觉图像中的细微形变，难以准确判断物体重量和接触受力等物理信息。

这次实验也存在一定的局限性。

首先，19 项任务全部在仿真环境中完成，而真实环境中的材料差异、摩擦变化和机械误差，都可能影响操作结果。此外，研究团队仅从两套基准中抽取约 10% 的样本，共进行 210 个测试回合，部分任务测试次数较少。专用模型的成绩也主要来自此前公开的研究，双方并未全部在相同条件下测试，其中一项芯片抓取任务还简化了成功判定。

下一阶段，研究团队已经计划开展真机实验。杨晨表示，目前最大的困难是推理延迟。此次测试中，Astra 处理视觉和触觉输入的单次 API 响应时间中位数约为 14 秒，难以满足实时接触控制的要求。同时，模型还可能输出不合理的动作指令，造成机械臂损坏，因此需要进一步完善动作约束和安全保护机制。

触觉模型的竞争，可能发生什么变化？

TacTalent 为触觉模型的研发提供了另一种技术路线。过去，开发者通常需要围绕特定传感器采集数据，再训练专用模型学习触觉信号与机器人动作之间的关系。如今，将接触信息转换成图像后，通用多模态模型可以利用已有的视觉理解和推理能力，完成部分精细操作任务，而不必重新训练完整的触觉策略。

这一结果，也让专用触觉模型的竞争优势面临新的审视。杨晨认为，接触密集型操作是否仍是专用模型的优势领域，确实受到了一定程度的挑战，但最终仍需要真实机器人操作来检验。

相比单独预训练端到端触觉模型，他更关注如何让触觉信息接入通用基础模型，使相关能力能够随着基础模型的进步持续提升。但这也引出一个值得继续研究的问题：让通用模型理解触觉图像，与让机器人充分理解和利用真实接触中的物理信息，仍然存在距离。

真实操作中的触觉信息远不止接触位置和形变图像，还包括力与力矩的大小和方向、接触面的摩擦与滑移状态，以及材料的刚度、弹性和动态形变等。

这些物理信息虽然可以通过不同方式编码输入多模态模型，但如何准确保留其物理含义，理解不同物理量之间的关系，并将其转化为可靠的动作决策，仍然是需要解决的问题。现在大量模型本质上解耦了这些物理信息的底层关联机制，尤其是许多材质背后的本构行为，从科学性上并不符合物理机理。

这也意味着，通用模型降低了部分触觉信息的理解门槛，却未必消除了触觉技术本身的壁垒。对触觉硬件企业而言，如何准确测量接触力、滑移和材料形变，提升传感器的精度、响应速度与长期稳定性，仍需要专门的技术积累。无论采用哪种模型，可靠的触觉信号始终是机器人完成精细操作的基础。

对于触觉算法企业，竞争重点则可能进一步转向触觉信号处理、实时控制和操作稳定性。以目前通用模型的推理延迟来看，它们仍难以直接承担高频接触控制。未来，通用模型可以负责理解任务和调整整体策略，而专用触觉算法则负责快速识别接触状态、调整抓握力度和执行低延迟的动作控制。尤其在工业装配、精密抓取等场景中，一次成功完成任务，与连续数千次保持稳定，仍有很大差别。

而在更广泛、更深入的物理信息理解与利用层面，也需要出现一批专注物理 AI 的企业，其具备 AI4S、AI4E 交叉背景，从更专业的物理机制层面建立对接触、摩擦、形变等常规力学过程乃至对流、传导、辐射等日常不可视物理过程的表征与预测能力。由触觉的蓬勃发展可以举一反三，更丰富物理信息的引入极可能进一步大幅提升机器人的物理后果预测能力，并据此有效调整行动决策。此类 physics-rich 数据资产的生产、标定与实时交互提升，会成为这类企业的重要壁垒。

从专门训练触觉模型，到利用通用模型理解接触信息，TacTalent 展示了触觉技术发展的另一种可能。随着基础模型能力提升，行业竞争可能进一步转向三个方向：物理信息的准确获取、物理规律的有效建模与利用，以及真实场景中的稳定控制。不同技术路线的实际价值，仍有待更多真机实验验证。

1.Chen Yang (杨晨), Linzhe Shi, Hang Zhang, Mu Xu, Jiansheng Fan (樊健生), Chen Wang (王琛) (2026). GPT-6 Astra Is a Native Visuo-Tactile Policy for Contact-Rich Manipulation. https://tactalent.github.io/

2.https://arxiv.org/abs/2609.24170

3.https://arxiv.org/abs/2609.38537

4.https://openai.com/index/gpt-6-astra/

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成