500小时人类视觉-触觉数据，到底能让机器人学到什么？| GAIR Paper 140

从跨传感器触觉预测，到机器人操作成功率提升35个百分点，TouchScale开始系统检验大规模人类触觉数据的学习价值。

作者丨TachinTech

编辑丨陈淑瑜

使用恰到好处的力道拿起一颗鸡蛋，对人类而言，是再简单不过的事情。然而，对于机器人来说，手指如何施加足够的压力防止鸡蛋滑落，同时又不能用力过猛导致鸡蛋被捏碎，看似简单却并不容易。

随着大规模第一人称视角（Ego）视频逐渐成为具身智能的重要数据来源，研究者开始尝试从数千甚至数万小时的人类活动中学习操作技能。然而，这些数据大多记录的是可见的动作与场景变化，缺少同步的真实触觉测量。摄像头可以记录手部运动和物体状态，却难以直接测量接触位置及压力分布。即使两次操作呈现出相似的视觉画面，其背后的接触状态也可能存在明显差异。与此同时，通过统一的感知线采集的人类视觉-触觉数据仍然非常稀缺。

这带来了一个值得关注的问题：如果能够像积累视觉数据一样，大规模采集人类与物体交互时的触觉信息，是否也能带来感知与机器人操作能力的持续提升？触觉领域是否也能获得类似视觉的Scaling效应？

近日，来自德州农工大学、Google DeepMind、卡内基梅隆大学、斯坦福大学、英伟达等15家机构的研究者联合发布《TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning》，尝试回答这一问题。研究团队构建了总时长500小时的人类视觉-触觉数据集，并从跨传感器触觉预测、视觉表征学习和真实机器人操作三个方向开展验证。

01

500小时背后，

触觉数据如何规模化采集

此前，OpenTouch、FEEL、EgoTouch等研究已经开始构建人类视觉-触觉数据集。这些工作在触觉表征学习、接触预测和物理交互理解方面进行了探索，但相对有限的数据规模，使得研究者难以在单一数据集内部系统考察数据增长带来的收益。而直接合并不同数据集，又会引入传感器、采集流程和数据分布的差异，使性能提升难以单独归因于数据量增长。

因此，TouchScale采用了统一的可穿戴采集方案，在保持同一代传感硬件和同步流程的条件下，持续扩展操作任务、物体种类和场景配置：通过头戴RGB-D相机记录整体场景与深度；通过双腕RGB相机补充易被遮挡的手物交互近景；而双手则佩戴途见科技的TachinGlove柔性触觉数据采集手套，补充高分辨率双手全掌触觉数据。尤其重要的是，论文指出TachinGlove单只手套集成880个触觉传感器单元，为不同任务场景提供了更好的适应性。

这种多视角视觉与全手触觉结合的方式，使研究者能够同时获得物体状态、手部位姿和真实接触信息，为学习物理交互提供包含触觉在内的完整全模态数据；同时，最大程度保障数据的稳定性与一致性。最终，TouchScale积累了约8.7万条轨迹、涉及约2000种任务描述和1500余件物体。约20名参与者在9类采集场景、800余种场景配置中完成搬运、倒取、插接、折叠、擦拭等单手或双手任务。

02

从触觉预测到视觉理解，

真实接触数据教会模型什么

获得大规模同步视觉-触觉数据后，研究团队首先验证了一个基础问题：模型能否从视觉信息中推断真实接触状态，并将这种能力迁移到未见过的触觉设备上？

实验采用TouchAnything作为触觉预测模型，以视觉观测和手部姿态估计为输入，预测手部接触区域及压力分布。研究团队分别使用EgoTouch的16.2小时训练集和TouchScale约16小时子集训练相同的TouchAnything模型，再在独立的EgoTactile数据集上进行零样本评测。

结果显示，相比EgoTouch对照模型，使用TouchScale训练后，接触IoU（Intersection over Union，接触交并比）由0.134提升至0.181，体积IoU（压力重合度）由0.185提升至0.243，压力中心定位误差由0.444降至0.416，区域压力幅度误差由0.184降至0.148。这些结果表明，在相近训练数据规模下，TouchScale提供的触觉监督能够帮助模型取得更好的跨传感器接触与压力预测表现。

那么，触觉数据的作用是否仅限于预测触觉本身？

研究团队进一步将触觉预测作为视觉编码器的预训练目标，研究触觉监督能否帮助模型学习更具有迁移能力的视觉特征。实验采用Hiera-B视觉编码器，分别在TouchScale、OpenTouch、FEEL和EgoTouch上进行预训练，并保持相同的模型初始化、优化配置和训练预算。随后，研究者在MECCANO、Something-Something V2和Ego-Exo4D三个动作识别基准上，通过线性探测和端到端微调两种方式进行评估。

结果显示，TouchScale在三个基准、两种评估设置下均取得了对照组中的最高准确率，平均线性探测准确率达到24.45%，平均微调准确率达到49.62%。

这组实验揭示了触觉监督的另一种价值：触觉不仅可以作为模型预测的目标，也能够帮助视觉编码器学习与物理交互相关的特征。

03

抛开人类动作标签，

机器人操作能力如何提升

如果说前两项实验验证了TouchScale对感知学习的帮助，那么更重要的问题在于，这些来自人类操作的触觉数据，能否真正改善机器人的操作表现？

由于人手与机器人灵巧手在关节结构、自由度和动作空间上存在明显差异，直接利用人类操作轨迹训练机器人，通常需要建立人手与机器人之间的动作对应关系。因此，研究团队采用了一条截然不同的技术路线：先从人类数据中学习未来接触状态如何变化，再通过机器人示教学习具体动作。

论文基于 模型，将训练分为人类数据中间训练和机器人后训练两个阶段。在人类数据中间训练阶段，研究团队冻结视觉-语言-动作主干，仅更新触觉投影层、预测器和辅助重建头，让模型根据当前视觉、任务指令和触觉观测，预测未来触觉变化的特征表示；随后，再利用机器人示教训练动作策略，使预测的触觉特征作为条件参与机器人动作生成。

为了检验这种方式的实际效果，研究团队采用xArm6机械臂与BrainCo Revo 2灵巧手，将TachinGlove套在灵巧手上记录接触压力。研究团队设置了两组对照模型，均从相同的 权重出发，每项任务使用相同的50条机器人示教，并采用相同的后续训练流程，区别仅在于是否经过TouchScale中间训练。实验涵盖软硬物体分拣、瓶盖移取、试管转移和白板擦拭四项任务，每项进行20次测试。

结果显示，加入TouchScale中间训练后，软硬物体分拣成功率由10%提升至60%，瓶盖移取成功率由40%提升至70%，试管转移成功率由30%提升至60%，白板擦拭成功率由10%提升至40%，四项任务的平均成功率由22.5%提升至57.5%，提高35个百分点。这些结果表明，在相同机器人示教条件下，人类视觉-触觉数据能够通过未来触觉预测中间训练，改善特定机器人平台上的接触操作表现。

04

数据越多，机器人越灵巧？

相比一次性的性能提升，TouchScale要研究的另一个重要问题是：当模型、传感器和训练流程保持一致，增加人类视觉-触觉数据量是否能够持续带来收益？

为回答这一问题，研究团队在触觉预测与机器人策略训练中开展了数据规模实验。

在跨传感器触觉预测任务中，随着TouchScale训练数据量从10%增加至100%，零样本接触IoU由0.311提升至0.383，体积IoU由0.252提升至0.276，压力中心定位误差与区域压力幅度误差也总体下降。这说明，在所测试的数据范围内，增加TouchScale训练样本能够改善模型在未见过的触觉传感器上的预测表现。

更值得关注的是机器人操作中的数据规模效应。

研究团队固定机器人示教数据和后续训练协议，仅改变TouchScale中间训练使用的数据比例。不使用TouchScale中间训练时，四项任务的平均成功率为22.5%。当使用20%、40%、60%、80%和100%的TouchScale数据时，任务平均成功率分别达到30.0%、32.5%、50.0%、50.0%和57.5%。尽管这一增长并非严格线性，但整体上呈现出数据规模越大、机器人操作表现越好的趋势。

两组实验均呈现出积极的数据规模效应，说明在论文测试的范围内，扩大人类视觉-触觉数据规模能够进一步改善感知预测与机器人操作表现，为研究触觉数据规模与模型能力之间的关系提供了初步实证依据。

05

从500小时到通用触觉学习，

还有多远？

TouchScale的价值，不仅在于将人类视觉-触觉数据扩展至500小时，更在于验证了一条利用真实接触经验训练机器人模型的路径：无须人类动作标签或动作重定向，模型便能从触觉变化中学习，并将这些经验用于后续机器人策略训练。这也为从VLA向VTLA的发展提供了新的思路——触觉不再仅是机器人执行时的感知反馈，也可以成为规模化积累和学习的训练资源。

从500小时走向通用触觉学习，将要面对的不仅有更大规模的数据，更要让这些接触经验在不同机器人结构和操作任务中得到更广泛的复用。当模型能够将大量人类交互中学到的接触规律迁移到新的操作场景，触觉Scaling的价值才会进一步从数据规模的增长，延伸到机器人操作能力的泛化。

（注：文章图片均来自论文原文）

国际机器人顶会 CoRL 2026 即将召开，欢迎参会的研究者、学生，以及关注 AI 前沿进展的读者加入我们的交流群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见，也在群里见。

进群传送门：扫码进群或添加微信szhsn610，备注：CoRL+单位/学校+姓名+方向。

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。