网易首页 > 网易号 > 正文 申请入驻

破晓智能联合天珑移动发布 SeePhys Hub

0
分享至

机器人数据采集正在经历一条“解绑本体”的演进路线:从遥操作到 UMI再到 Ego,设备越来越轻,采集行为越来越简单。

不过,在不断简化设备的过程中,一些关键交互信息也随之流失——Ego 能记录双手在做什么,却难以完整捕捉全身运动,也感知不到手接触物体时的压力变化。而这些被简化掉的交互信息,往往才是完成任务的核心。

10 月 14 日,破晓智能联合天珑移动发布全身全模态数据采集系统 SeePhys Hub。整套系统由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成,可同步采集第一视角视觉(360°环视覆盖)、手部全模态数据(手部位姿追踪、高密度触觉)与全身运动信息(位姿与受力)。

在保留 Ego 便携性的同时,补回关键的身体与接触数据。同时,配套的自研数据处理平台,可将人类数据转化为面向机器人学习的多模态训练数据。


SeePhys Hub 是团队沿着 EgoTouch、TouchAnything、TouchWorld 技术路线推出的首款工程化产品,将此前在触觉数据与模型上的研究积累,转化为一套融合视觉、双手触觉与全身运动信息的可穿戴采集系统。

采集方式由繁到简,关键交互信息仍需补齐

具身智能究竟需要多少数据?已有研究者提出一亿小时 Ego 数据的估计。

当然,扩大采集规模,为覆盖更多场景与操作提供了可能。但采集时长并不直接等于学习收益,数据质量、与机器人任务的匹配程度,以及训练方式,同样影响最终效果。

破晓希望验证的是:在视觉之外,同步记录全身运动与触觉,更完整地呈现身体如何协同、手与物体如何接触,能否提高每小时数据的学习价值,让百万小时量级的全模态数据支撑预期的泛化能力?

日常生活中,许多任务都需要身体移动与双手操作持续配合。以铺床为例,人需要抓住被角、抬臂展开被子,再沿床边移动、拉平褶皱。身体位置决定双手能触及哪里,抓握位置与力度则影响布料如何展开。以视觉为主的 Ego 采集能记录眼前的操作,却难以完整捕捉视野之外的躯干、腿部运动,也无法直接测得抓握和牵引时的接触压力。


补充全身运动与触觉,就是为了保留这些关键状态:人如何移动、调整姿态,双手在哪里接触物体、压力如何变化。与视觉同步采集这些信息,有望让模型更直接地学习身体运动、手部接触与环境变化之间的关系。

在破晓看来,下一步不是回到繁重的采集方式,而是在兼顾便携性与活动自由度的同时,补回关键的交互信息。衡量数据价值,不能只看采集了多少小时,还要看每小时能让机器人学到多少。团队希望通过更完整的操作记录,提高数据效率,让机器人用更少的数据学会真实场景中的复杂操作。

触觉研究走向工程产品,为全身移动灵巧操作奠定数据基础

破晓此前的 Touch 系列,围绕触觉数据“怎么采、怎么扩展、怎么用”展开研究。EgoTouch 同步采集第一视角画面、双手姿态与压力分布,把人看到的操作和实际发生的接触对应起来;TouchAnything 则学习从视觉中估计接触位置与压力分布,为扩展触觉数据提供方法。

到了 TouchWorld,触觉进一步参与机器人的行动:操作前预测接触目标,执行中根据真实反馈修正动作。触觉由此从被记录的信号,逐步成为机器人预测与控制的依据。

SeePhys Hub 将这些研究积累,转化为一套可穿戴的全身采集系统。头部四目视觉记录场景,腕部视角捕捉近距离操作细节,腰部与双小腿的动作追踪器记录身体运动,触觉手套采集双手的接触压力。环境观察、身体运动与手部交互,被同步纳入同一次操作记录。

采集更多信息,也要兼顾穿戴负担和连续使用。SeePhys Hub 头环重量不超过 220 克,单个腕部手环不超过 75 克,两类设备均支持连续 24 小时不间断采集。头环内相机、IMU 与 UWB 的同步误差不超过 0.5 毫秒,便于对齐同一时刻的视觉与运动信息。


硬件记录之后,还需要把原始数据处理成机器人能用的训练数据。配套的自研平台负责数据解析、清洗,将连续操作切分成动作片段并添加语义标注,同时衔接场景重建、全身姿态估计、手部动作追踪等流程。动作重定向则负责将人的动作映射到机器人本体,为后续策略训练与本体适配提供支持。


以 SeePhys Hub 为起点,走向更远的未来

对破晓而言,采集产品并不是终点。团队更长远的目标,是构建面向全身移动灵巧操作的世界模型,将身体运动、手部接触与环境变化放在一起建模。机器人移动到一个新位置、调整身体姿态或改变接触方式之后,会产生怎样的结果?破晓希望模型能够预测这些变化,并结合执行反馈修正判断,为机器人选择下一步动作提供依据。

破晓智能(PHANES AI)由哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师杨朔创办,致力于构建面向人形机器人全身移动灵巧操作的世界模型。

SeePhys Hub 是破晓迈向这一愿景的产品化起点。成立以来,破晓逐步组建起一支兼具模型研究与工程化经验的团队,团队90%以上核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等顶尖高校,拥有极高的学术人才密度。成员的研究与实践覆盖全模态大模型、世界模型、大规模数据处理与硬件。


从触觉到全身,从交互数据到世界模型,这支团队希望探索一条具身智能的原生路径:让机器人从真实交互中学习,在物理世界中自主行动。SeePhys Hub 的发布,让这一探索从研究走向了产品。沿着这条路,破晓正将对机器智能的设想一步步带入现实,向着具身智能的黎明前行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄仁勋出轨后,一张四宫格图在外网刷屏了!网友看出门道

黄仁勋出轨后,一张四宫格图在外网刷屏了!网友看出门道

可达鸭面面观
2026-11-09 15:09:41
2027款丰田皇冠上市:29.9万-35.4万元,由一汽丰田进口国内

2027款丰田皇冠上市:29.9万-35.4万元,由一汽丰田进口国内

IT之家
2026-11-10 18:49:16
皇马赌赢了,赞助皇马的中国企业也赌赢了!球迷渐渐淡忘了“姆巴佩事件”带来的不快

皇马赌赢了,赞助皇马的中国企业也赌赢了!球迷渐渐淡忘了“姆巴佩事件”带来的不快

开成运动会
2026-11-09 22:06:09
爆单!10分钟卖了10万单,董宇辉却被质疑:“一块奶油蛋糕能放9个月,得加多少防腐剂?”客服回应

爆单!10分钟卖了10万单,董宇辉却被质疑:“一块奶油蛋糕能放9个月,得加多少防腐剂?”客服回应

极目新闻
2026-11-10 08:00:38
高叶凭借《南京照相馆》获金鸡奖最佳女主角,参加表彰仪式时哭着说“用了很久走到这里”

高叶凭借《南京照相馆》获金鸡奖最佳女主角,参加表彰仪式时哭着说“用了很久走到这里”

极目新闻
2026-11-10 21:30:17
“开在违建里的医院”调查:投入数百万开业3天停业 院方称“房东”隐瞒无房照等事实起诉索赔600余万

“开在违建里的医院”调查:投入数百万开业3天停业 院方称“房东”隐瞒无房照等事实起诉索赔600余万

红星新闻
2026-11-10 20:42:15
来深圳开APEC之前,日方直接提出礼遇要求,中方回应很干脆

来深圳开APEC之前,日方直接提出礼遇要求,中方回应很干脆

史智文道
2026-11-10 14:31:17
被判死刑的陈某芬样貌公开,曾花100多万整容

被判死刑的陈某芬样貌公开,曾花100多万整容

观察者网
2026-11-10 19:59:18
中国算力界欠黄乐一个杰出贡献奖

中国算力界欠黄乐一个杰出贡献奖

微评社
2026-11-10 15:04:27
阿里巴巴:拟分拆平头哥于香港联交所主板独立上市

阿里巴巴:拟分拆平头哥于香港联交所主板独立上市

界面新闻
2026-11-10 20:42:28
震惊!央视原编导“哑巴”证实:与黄仁勋传绯闻的黄乐,就是曾经和她一个办公室的黄乐

震惊!央视原编导“哑巴”证实:与黄仁勋传绯闻的黄乐,就是曾经和她一个办公室的黄乐

火山詩话
2026-11-10 11:06:57
女生在自助拼豆店待了1小时,因没带手机无法支付,离开时留下字条和5元现金,附带了家长电话,商家:已将钱退还家长,并赠一天不限时畅玩

女生在自助拼豆店待了1小时,因没带手机无法支付,离开时留下字条和5元现金,附带了家长电话,商家:已将钱退还家长,并赠一天不限时畅玩

洪观新闻
2026-11-10 18:02:11
36岁安徽赴泰失联女子已回国,母亲称女儿身心受创,总做噩梦;此前家属称其受朋友邀请去泰国旅游,后进入电诈园区,对方索要30多万元赎金

36岁安徽赴泰失联女子已回国,母亲称女儿身心受创,总做噩梦;此前家属称其受朋友邀请去泰国旅游,后进入电诈园区,对方索要30多万元赎金

扬子晚报
2026-11-10 14:56:34
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-10 17:05:26
国家发改委:对很多家庭来说,一边照顾老人、一边照料孩子,压力实实在在,千方百计解决“养老愁、托育难”等问题是我们工作的重中之重

国家发改委:对很多家庭来说,一边照顾老人、一边照料孩子,压力实实在在,千方百计解决“养老愁、托育难”等问题是我们工作的重中之重

新京报政事儿
2026-11-10 16:05:02
“卖鲨鱼卖鲨鱼,4条70元!”

“卖鲨鱼卖鲨鱼,4条70元!”

中国新闻周刊
2026-11-10 16:37:09
10中8,15中9,19中13,这就是勇士要交易追梦的原因

10中8,15中9,19中13,这就是勇士要交易追梦的原因

篮球大视野
2026-11-10 19:58:09
年近50岁的黄乐,姿色一般,靠啥拿下了黄仁勋

年近50岁的黄乐,姿色一般,靠啥拿下了黄仁勋

金牌娱乐
2026-11-10 11:26:37
“零元面馆”排长队、有周边商户生意下降,当地市监局:多部门正牵头处理

“零元面馆”排长队、有周边商户生意下降,当地市监局:多部门正牵头处理

齐鲁壹点
2026-11-10 07:13:22
黄乐亲吻黄仁勋画面曝光,该女子身材苗条,五官清秀精致颜值很高

黄乐亲吻黄仁勋画面曝光,该女子身材苗条,五官清秀精致颜值很高

点点细语
2026-11-09 10:29:15
2026-11-11 01:51:00
芯事通
芯事通
关注科技数码、国外趣事
32文章数 0关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

房产
本地
时尚
旅游
公开课

房产要闻

突发!陵水杀出重磅宅地!

本地新闻

乌兰察布:以前种土豆,现在种Token

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

旅游要闻

直播间低价旅游卡兑现难 文旅消费陷阱如何破?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版