网易首页 > 网易号 > 正文 申请入驻

下载量破千万之后,具身数据怎样证明“真有用”?

0
分享至



触觉经验,怎么转化为机器人的操作能力?

作者 | 独林

编辑 | 漠影

机器人能看见一只花瓶,却未必知道擦拭时该用几分力;抓起瓶子,也不代表它能摸得出瓶身的纹理和材质。

从这个角度看,机器人要理解周围世界,光靠“看见”还不够——与物体接触后,接触面的形变、物体是否滑移以及受力变化,需要靠触觉来感知。

2026年,触觉开始成为具身行业的焦点之一,与触觉有关的模型不断出现,含触觉的多模态数据规模也快速增长。一个更实际的问题也随之而来:这些触觉经验,究竟能不能转化为机器人的操作能力?

机器人前瞻11月4日报道,近日,戴盟发布了关于TacClaw-Infinity数据集的研究成果。



这一数据集属于Daimon-Infinity数据集中的触觉UMI夹爪数据,戴盟此次公开了其从规模化采集、数据处理与结构化标注,到模型训练和真机验证的完整研究流程。

Daimon-Infinity数据集是戴盟今年4月发布的全球最大规模含触觉全模态物理世界具身数据集,联合Google DeepMind、新加坡国立大学、清华大学等全球数十家研究机构共同采集,面向行业开源一万小时,目前在Hugging Face和魔搭社区的下载量已超过千万次。

他们选取了其中超过1万小时数据形成TacClaw-Infinity,包含100万条操作轨迹和10亿帧数据,覆盖1000多种任务类型。

大规模、高多样性、全模态,是TacClaw-Infinity的三个主要特点,其汇集了视觉观测(visual observations)、指尖触觉信号(fingertip tactilesignals)、语言描述(language descriptions)与末端执行器轨迹(end-effector trajectories)等多模态信息,并通过分布式采集纳入不同环境、操作者、物体和接触状态条件下的任务数据。



但比数据规模和模态数量更关键的是研究工作展现的能力验证:数据不仅能够实现零本体迁移,仅用无本体数据就能在不同机器人上进行训练;而且在戴盟设置的三项操作任务中,加入触觉数据后,模型的物理交互能力得到了较为明显的提升,π0.5的平均任务成功率由50.0%升至74.0%,StarVLA的成功率也由46.0%提高至72.7%。

顺着这组结果往下,更值得看的是接触数据如何被大规模采集,如何更贴近模型的训练需求,又如何教会不同机器人在物理世界中进行安全稳定的交互。

01.

有了触觉数据后,

机器人的能力大幅提升

对于具身数据的评价显然不会停在时长和轨迹数量上,它最终要回答的问题是被用于模型训练后,能否提高模型的操作成功率,帮助本体更好地完成真实操作。

为了回答这个问题,戴盟设置了跨本体、跨模型、跨任务的实验,使用了Tianji、RealMan和DM-Sparky三类机器人,并训练了π0.5与StarVLA两类策略,避免实验结果仅来自单一设备或模型架构。



戴盟设计了三项任务,分别考察模型能不能“拿得准”“摸得懂”“擦得稳”:杯子堆叠侧重取放协调与长程任务衔接,瓶子分类要求机器人借助接触判断物体状态,花瓶擦拭则考察其在持续接触中依据反馈调整动作的能力。

还有一个关键的设计:实验仅以触觉UMI夹爪采集的无本体数据进行训练,没有额外采集目标机器人示范。行业进行本体训练时,通常在无本体数据的基础上,还需要以真机数据进行进一步的微调适配。

这种设计考验数据的零本体迁移(Zero-Robot Transfer Across Embodiments)能力,一旦成功,则意味着一份无本体采集的数据,可以复用到多个不同的机器人本体上,这将降低数据的训练成本,让数据成为跨平台共享的资源。



结果显示,物理接触数据不仅能够在零本体迁移的前提下,提升不同机器人的交互能力,而且这种收益在接触密集型任务中更加明显。

在瓶子分类任务中,π0.5与StarVLA的成功率分别提高了44.7和43.3个百分点;在花瓶擦拭任务中,两类策略的成功率则分别提高了22.0和38.7个百分点。

值得注意的是,这次实验没有为触觉单独设计复杂架构或控制器,戴盟只是将触觉信息以简单的图像形式输入现有策略。

换句话说,TacClaw-Infinity记录的信息不需要改用一套触觉专用架构,就已经能够被模型利用,数据本身的有效性得到了验证。

02.

超万小时触觉数据,

如何规模化高效采集出来?

数据有效性的背后,是一连串关于数据构建的关键问题:如何可持续地扩展数据规模,如何最大化单位时间内的信息密度,如何为模型泛化提供足够的多样性,如何将人类经验组织为模型可学习的信息……这些环节共同决定了数据能为模型带来的能力增益。

TacClaw-Infinity通过无本体采集,首先解决了成本与规模化的问题。



如果每一条触觉数据都需要真机采集,规模就会成为新的限制。

TacClaw-Infinity则让采集数据从对本体的依赖中解放出来——他们使用的是一种搭载视触觉传感器的UMI式手持夹爪TacClaw,操作者直接用它完成抓取、擦拭、插入等动作,就能同步记录视觉、指尖触觉、末端轨迹和夹爪状态信息。



▲戴盟自研的视触觉传感器,每平方厘米搭载4万个感知单元,是目前分辨率最高的触觉感知路线

戴盟一直押注的视触觉路线,在数据采集中也颇具优势。这种触觉感知技术将触觉数据转换成了图像形式,天然适配现有的模型学习。

在此基础上,戴盟还优化了夹爪的传动结构,让手指更直接地控制夹爪。

实验数据显示,TacClaw的首次接触感知阈值平均为11.6gf(这一数值越低,说明受试者越容易察觉接触),两种对照接口则分别为49.8gf和204.0gf。

通俗地讲,这就像戴着手套拿东西:手套越厚,越难察觉自己已经碰到物体,精细化操作也就越难;手套越薄,手指越容易感知接触并及时调整力道。

此外,由于采集设备非常轻便,这为规模化数据采集提供了便利。



戴盟开创了一种叫做外发式数据采集的模式,联合海内外20多家机构,将200台设备部署到全球50多个地点,覆盖家庭、实验室、工厂、商业区和户外等环境。

这种做法不仅高效率、低成本地实现了数据积累,同时也大幅度提高了数据的多样性。戴盟的实际经验显示,在相同的300小时采集条件下,多地点采集比单地点采集平均多覆盖201个动作—物体组合。

依托这套模式,TacClaw-Infinity不仅最终形成了超过1万小时、100万条轨迹和10亿帧数据,覆盖1000多种任务类型,更涵盖了场景与采集主体、任务与动作、物体、触觉交互状态等多个维度的多样性。

这意味着,数据教给模型的,不仅仅是固定场景下的固定动作,而是当环境、任务、物品、动作、接触习惯发生变化时,模型可以如何应对,这才是机器人走入真实物理世界时应该具备的交互能力。

光有规模化、多样性的数据还不够,人类经验如何能转化为模型可以学习的资源,才决定了数据利用的关键。

戴盟建立了数据清洗标注,通过轨迹重建、多模态质量控制和运动学筛选等处理流程;以接触事件为锚点的结构化标注,是其中的一大亮点。



传统的数据标注往往将操作轨迹视为整体,戴盟则基于对物理接触的洞察,把连续的操作过程划分为自由运动、接触开始、接触中操作和释放四个阶段,并补充了子任务描述和目标物体空间标注等信息。

这种表述更符合模型对多模态信息的利用:在非接触阶段,视觉提供主要的空间信息;接触发生后,触觉则成为推理、预测、决策的关键模态。

这样一来,触觉就不只作为一类数据被保留下来,而是作为关键的物理信号,帮助模型更好地理解“什么时候该接触、该怎么接触”。

这种划分的作用,还体现在模型对阶段边界的识别上。在加入触觉数据后,接触开始的识别召回率(contact onset recall)由 58.6% 升至 68.0%,这说明,更丰富的接触信息能够帮助模型找到操作阶段的关键边界。


03.

让数据采集和模型训练形成持续进化的飞轮

戴盟通过TacClaw-Infinity,验证了物理接触数据究竟能让机器人学会什么。而当大规模、高质量的数据能够得到系统性生产后,问题又会进一步延伸到模型端:“大脑”要怎样使用这些经验?

戴盟8月发布的全球首个触觉锚定世界模型Daimon-TWM(Tactile-grounded World Model),为这个问题提供了一种尝试性的解法。

这一模型以触觉贯通物理认知、推演决策与瞬时操控三个模块,打造的是能够驱动机器人进行灵巧操作的“物理交互脑”。

其中,物理认知模块以触觉作为推理证据,通过理解接触状态、力与形变、材料属性等信息,形成对当前物理状态的判断;推演决策模块则以触觉信息作为接触过程中的重要模态,预测接触状态的变化和潜在失败风险,再生成动作策略;瞬时操控模块则利用触觉模态的高频率特征,根据实时触觉反馈,对执行中的动作进行100Hz的高频小幅修正。



这套框架的有效性,可以用接触密集型任务的表现来检验。

据戴盟披露,在调整、擦拭、插入和装配四大类任务中,Daimon-TWM在无扰动条件下的平均成功率达到64.0%,在人为扰动条件下仍达到53%;而π0.5分别只有26%和6%。

但如果要继续提升机器人的操作能力,还需要进一步弄清哪些触觉信息真正影响了操作的成功率,以及现有数据还存在哪些缺口——而对模型的研究,正好提供了最直接的反馈。

戴盟的做法,是让数据采集与模型实验持续相互校正:数据集为模型提供真实交互经验的同时,用模型实验来判断哪些接触信息真正影响操作、哪些数据缺口值得补齐;而新采集的数据又会再次进入训练和验证,检验其能否转化为能力收益,模型在实验中暴露的问题,则用于指导下一轮数据采集。

由此,数据采集与模型训练形成了能够持续反馈的飞轮。采集端获取的接触信息,能够更贴近模型需要,模型端暴露的问题,也能让下一轮数据的积累和训练更有效。

因此,TacClaw-Infinity对行业的意义并不只是新增一个数据集。它把视触觉传感器、手持采集设备、分布式采集网络、处理标注流程和模型验证连成了一条完整链路,展示了包含触觉模态的数据怎样被持续生产,又怎样通过真机任务检验价值。

不过,目前这一数据集的能力验证仅覆盖了三项任务。后续还需要在更多任务、模型与机器人上检验这些收益能否复现,并观察相关研究工作能否吸引外部开发者借鉴、参与改进,逐步形成数据、模型与应用持续迭代的生态。

04.

结语:让每一次触碰,

都成为机器人能力生长的起点

如果说触觉让机器人真正“摸”到物理世界,那么将每一次触碰转化为稳定、可迁移的操作能力,才能最终兑现触觉数据的价值的。

这也是戴盟“感知—数据—模型”全链路的连接点:用触觉硬件提供物理信息入口,以采集体系再把信息组织成可用的数据资源,最后利用模型将数据资源转化为可触达的操作能力。

触觉是连接机器人感知与行动的起点。通过全链路的协同与闭环,戴盟正让每一次触碰都成为机器人能力生长的基础,让物理智能在与真实世界的交互中持续演进,迈向更可靠地服务人类的未来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普大溃败:一个疯人治国时代的终结

特朗普大溃败:一个疯人治国时代的终结

刘胜军经济学大局观
2026-11-05 02:06:27
“陕西商南重大刑案致3死2伤”进展:有民警受伤,嫌疑人躲进海拔约800米山林,夜间温度约六七摄氏度,已有四五百人进山,开展地毯式搜索

“陕西商南重大刑案致3死2伤”进展:有民警受伤,嫌疑人躲进海拔约800米山林,夜间温度约六七摄氏度,已有四五百人进山,开展地毯式搜索

三湘都市报
2026-11-05 11:48:37
乌克兰口碑一夜崩塌!基辅西郊一栋别墅被曝关了40多人,有人被打断脊椎,还有14岁少年,武装人员抗法,直到特警赶来才救出

乌克兰口碑一夜崩塌!基辅西郊一栋别墅被曝关了40多人,有人被打断脊椎,还有14岁少年,武装人员抗法,直到特警赶来才救出

林杰论事
2026-11-04 23:01:05
第一批迷上抗炎的年轻人,苦了,也爽了

第一批迷上抗炎的年轻人,苦了,也爽了

新世相
2026-11-05 15:21:24
突发!赵薇前夫再度败诉,4.5 亿债务滚成 7.3 亿

突发!赵薇前夫再度败诉,4.5 亿债务滚成 7.3 亿

起点财经
2026-11-05 17:33:21
多地车管所集中公示!70岁以上驾照注销,全是同一原因

多地车管所集中公示!70岁以上驾照注销,全是同一原因

笑熬浆糊111
2026-11-03 06:00:32
观音手持火枪?这张"穿越P图"竟是雍正年间真迹

观音手持火枪?这张"穿越P图"竟是雍正年间真迹

砚田文化
2026-10-29 07:49:02
美国跌4%,日本跌27%,只有中国人爱面子?iPhone18 Pro大涨29%

美国跌4%,日本跌27%,只有中国人爱面子?iPhone18 Pro大涨29%

互联网.乱侃秀
2026-11-03 10:08:15
血的教训,网传大厂程序员把服务器老系统升级将每年2亿的维护费压到200万,但随后全组被裁!

血的教训,网传大厂程序员把服务器老系统升级将每年2亿的维护费压到200万,但随后全组被裁!

黯泉
2026-11-03 18:09:01
央视《新闻联播》邢质斌被偶遇,身材发福满头白发像邻家老奶奶

央视《新闻联播》邢质斌被偶遇,身材发福满头白发像邻家老奶奶

师维
2026-07-16 16:45:58
宏远速递!朱总敲定小外援,徐杰迎利好,胡明轩或拒绝老叔国家队征召!

宏远速递!朱总敲定小外援,徐杰迎利好,胡明轩或拒绝老叔国家队征召!

体坛卡卡说
2026-11-05 21:08:54
新任市委书记伪装普通科长,去初恋五星酒店吃饭惨遭嘲讽

新任市委书记伪装普通科长,去初恋五星酒店吃饭惨遭嘲讽

金沙故事汇
2026-11-03 21:00:28
江苏“艾灸大师”范长伟去世,年仅57岁技术高超,死因曝光太可惜

江苏“艾灸大师”范长伟去世,年仅57岁技术高超,死因曝光太可惜

嫹笔牂牂
2026-11-05 07:17:18
教育部女副司长韩红劲,自己主动交代问题,时间点耐人寻味:“双面人”最终害的到底是谁

教育部女副司长韩红劲,自己主动交代问题,时间点耐人寻味:“双面人”最终害的到底是谁

李昕言温度空间
2026-11-05 22:15:40
112000吨航母将亮相,搭配75架隐形战机,技术至少领先世界20年

112000吨航母将亮相,搭配75架隐形战机,技术至少领先世界20年

迷彩前沿
2026-11-03 13:29:48
到账了,河北1240,山东1700,宁夏4563,看看你在哪一档?

到账了,河北1240,山东1700,宁夏4563,看看你在哪一档?

江启
2026-11-05 06:03:11
为什么物价和腐败能掀翻特朗普的红州铁盘?

为什么物价和腐败能掀翻特朗普的红州铁盘?

小眼睛小世界
2026-11-05 04:20:41
伊朗至今都不敢相信,一场战争,竟为伊朗打来了几十年的国运?

伊朗至今都不敢相信,一场战争,竟为伊朗打来了几十年的国运?

花寒弦絮
2026-11-01 15:14:42
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

细说职场
2026-11-05 18:54:59
iPhone 20 Pro Max,全新四曲面打孔屏!

iPhone 20 Pro Max,全新四曲面打孔屏!

花果科技
2026-11-05 12:56:22
2026-11-06 02:40:49
机器人前瞻
机器人前瞻
智东西AI媒体矩阵品牌。机器人前瞻,机器人产业新媒体,专注报道全球机器人创新。
1040文章数 20关注度
往期回顾 全部

科技要闻

一手实测|国产三大Flash模型,谁更能打?

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

体育要闻

40岁,正是绝杀的年纪!

娱乐要闻

42岁的唐嫣,又上热搜了

财经要闻

市场能接受AI繁荣退潮吗?

汽车要闻

限时置换价15.98万元起 2027款领克08 EM-P上市

态度原创

旅游
家居
手机
亲子
公开课

旅游要闻

寻彩千年流光介休!三本发展账本,解锁资源小城的转型密码

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

OPPO Reno17系列11 月 9 日见,部分规格曝光

亲子要闻

潮州月子中心护理人员持证率是多少?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版