网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状

0
分享至



机器人想要拿起桌上的杯子,首先需要知道什么?

识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。

对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。

这正是类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。

近日,来自复旦大学与上海创智学院的研究团队提出了F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关工作已被NeurIPS 2026接收。



  • 论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
  • 会议: NeurIPS 2026
  • 作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟
  • 研究单位: 复旦大学、上海创智学院
  • 论文链接: https://arxiv.org/abs/2610.31623
  • 项目主页: https://jrryzh.github.io/F2G-Pose/
  • 代码仓库: https://github.com/jrryzh/F2G-Pose

与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状

在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。



视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

01|位姿估计的难点,不只是找到正确答案

现有类别级位姿估计方法,大致有两条技术路线。

一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。

另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。

这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题:能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果。

论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。

对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。

由此,团队提出了一个问题:

能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选?



动图 1|同帧位姿预测结果和真实标注对比。

02|F2G-Pose:把二维视觉特征带入三维空间

直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。



图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。

首先,将视觉基础特征提升到三维空间。

模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。

这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。

例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。

随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。

接下来,通过 MoE Transformer 整合物体整体结构。

局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。

F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。

网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。

最后,不只是预测位姿,还要学习物体的完整形状。

这是 F2G-Pose 设计中另一个重要部分。

在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。

形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。

动图 2|相机坐标系下的形状补全展示。

这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是,形状补全本身也成为训练位姿估计网络的一种几何监督。模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。

最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。

03|更快,也更准:多项实验验证方法有效性

研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。

在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。

以衡量三维包围盒匹配质量的 IoU50 AUC 为例:

  • SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。
  • ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。



图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。

在论文采用的统一推理测试协议下,GenPose++运行速度约为 4 FPS,而 F2G-Pose 仅进行位姿估计时达到 28 FPS,速度约为前者的 7 倍;即使同时启用形状补全分支,完整模型仍达到 23.7 FPS。这里比较的是同一 RTX 4090、batch size 为 1、给定相同分割与 RGB-D 输入条件下的模型推理速度,不代表整套机器人系统的运行帧率。



图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。

这说明,直接预测并不必然需要牺牲精度来换取速度。只要 RGB-D 表示能够充分整合视觉与几何信息,单次前向传播同样可以获得较高质量的结果。

消融实验进一步验证了各个模块的作用。在 ROPE 上,移除 RGB 视觉特征后,IoU50 AUC 从 27.8 下降到 16.2;用参数量相当的普通前馈网络替换 MoE 后降至 24.0;去掉形状补全监督后则下降到 23.2。

尤其值得注意的是,形状补全并不是一个与位姿估计无关的附加功能。即使最终只需要位姿结果,训练时引入完整三维几何监督,仍然可以帮助模型学习更可靠的物体表示。此外,在 HouseCat6D 形状重建实验和 HANDAL 真实物体跨数据集评测中,F2G-Pose 也展现出较好的迁移能力。

04|从数据集走向真实机器人

离线评测中预测准确,并不意味着机器人就一定能够完成操作。

为此,研究团队进一步搭建了真实机器人实验平台,使用 ARX 机械臂、平行夹爪以及 RealSense RGB-D 相机,开展基于物体位姿的抓取与放置实验。

测试对象包括瓶子、杯子、碗、锤子、平底锅等常见物体。系统根据估计的位姿和尺寸确定抓取接近方向与放置目标,利用补全形状辅助碰撞检查。



视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

实验设置了 50 毫秒的感知决策时间预算,并对每种方法进行 80 次测试。

结果显示,F2G-Pose 完整模型在 80 次测试中成功完成 68 次抓取与放置,成功率为 85%,平均感知延迟约 36 毫秒,满足所设定的实时预算。这里的 36 毫秒来自真机实验的感知延迟统计,与前述基准测试 FPS 属于不同实验口径。作为对照,GenPose++完整采样流程完成 57 次放置,但平均延迟达到 256 毫秒;将其限制在约 50 毫秒时,成功放置次数下降至 45 次。

这些结果表明,在机器人部署中,位姿估计的价值不能只用离线精度衡量。预测延迟、输出稳定性,以及最终结果能否被下游规划模块可靠使用,同样重要。

F2G-Pose 并不是直接学习抓取策略的端到端机器人模型,而是为后续规划和操作提供更及时、准确的物体几何状态。这也让它能够作为一个相对独立的感知模块,接入不同的机器人系统。

05|让机器人更好地理解三维世界

当然,单帧 RGB-D 感知仍有其边界。

F2G-Pose 目前需要输入已分割的物体区域。当分割结果不准确、深度信息严重缺失,或关键结构被遮挡时,预测仍可能受到影响。对于高度对称、纹理较少的物体,单一视角也难以完全消除方向歧义。

尤其是在跨数据集条件下,实现高精度的三维几何对齐仍然具有挑战。

但这项工作的意义,在于验证了一条值得继续探索的路线:对于机器人最终需要使用的几何状态,可以通过基础视觉特征与三维几何的联合学习,直接预测,而不必在推理阶段始终依赖复杂的候选生成与筛选。

随着机器人逐渐走向更加开放、多样的真实环境,如何从有限观测中快速获得可靠的三维信息,将持续成为具身感知的重要课题。

F2G-Pose 为这一问题提供了一种兼顾精度、效率与实际部署需求的技术方案。

作者介绍

张晋瑜,上海创智学院和复旦大学联合培养具身智能方向博士生。研究聚焦具身智能与机器人学习,重点关注视觉语言动作(VLA)模型、大规模预训练和通用机器人操作,为 F2G-Pose 论文共同第一作者。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
73岁大爷跳交谊舞,3个月哭道:太可怕了,这女人不是省油灯

73岁大爷跳交谊舞,3个月哭道:太可怕了,这女人不是省油灯

清茶浅谈
2025-04-20 12:16:23
公务员改革持续推进,从目前信号来看,体制内可能出现这4个调整

公务员改革持续推进,从目前信号来看,体制内可能出现这4个调整

陈博世财经
2026-11-21 11:09:55
未拴绳大型犬在江西景德镇一医院妇产科四处转悠,院方回应:自己跑进来的,只停留了十几秒,没有咬伤事件,未影响患者就诊

未拴绳大型犬在江西景德镇一医院妇产科四处转悠,院方回应:自己跑进来的,只停留了十几秒,没有咬伤事件,未影响患者就诊

扬子晚报
2026-11-22 13:24:56
敢拿核武威胁中国?高志凯:想摧毁我们,那你将会被彻底消灭!

敢拿核武威胁中国?高志凯:想摧毁我们,那你将会被彻底消灭!

清衣渡a
2026-09-18 02:48:29
二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定3不做!

二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定3不做!

风干迷茫人
2026-11-20 04:36:00
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
特朗普从APEC回去后为什么对美国人说:看看深圳,再看看我们!

特朗普从APEC回去后为什么对美国人说:看看深圳,再看看我们!

娱乐小可爱蛙
2026-11-22 17:48:16
原创丨歪头吐舌拍肩抛媚被晾,苗子这趟APEC把外交演成了社死现场

原创丨歪头吐舌拍肩抛媚被晾,苗子这趟APEC把外交演成了社死现场

明话直说
2026-11-21 21:16:24
A股将迎重磅利好:360 亿元长线资金明日入市

A股将迎重磅利好:360 亿元长线资金明日入市

干货收并购
2026-11-22 12:23:59
属蛇:您真不简单!11月20日起,两桩好事排队上门

属蛇:您真不简单!11月20日起,两桩好事排队上门

白浅娱乐聊
2026-11-22 18:14:20
GTA6强开DLSS5截图极其逼真!玩家期待上PC

GTA6强开DLSS5截图极其逼真!玩家期待上PC

游民星空
2026-11-21 15:52:45
再过十年,进一千球也不算什么了!哈兰德比同龄C罗多进165球

再过十年,进一千球也不算什么了!哈兰德比同龄C罗多进165球

体育世界
2026-11-21 22:32:19
不查不知道! 原来花1.3亿买310台坦克送员工的于东来, 私下竟这么壕

不查不知道! 原来花1.3亿买310台坦克送员工的于东来, 私下竟这么壕

生活新鲜市
2026-11-22 14:43:48
大衣哥怒怼批评当地文旅:没有封杀令却叫停商演,举报不该是伤人暗器

大衣哥怒怼批评当地文旅:没有封杀令却叫停商演,举报不该是伤人暗器

十为先生
2026-11-22 17:54:57
APEC荔枝冰酒断货居然是因为没酒瓶了,厂家:有人联系愿意免费供酒瓶,若酒瓶充足,每天可生产1到2万瓶

APEC荔枝冰酒断货居然是因为没酒瓶了,厂家:有人联系愿意免费供酒瓶,若酒瓶充足,每天可生产1到2万瓶

极目新闻
2026-11-21 19:55:17
深圳街头那一万四千辆不喝油的公交车,把老外看愣了

深圳街头那一万四千辆不喝油的公交车,把老外看愣了

音乐时光的娱乐
2026-11-21 04:37:48
退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

退役上将回乡扫墓,被镇长儿子拦路,他问:认识我车上挂的牌子吗

麦子情感故事
2026-11-21 20:59:11
连续违规,紫光软件被暂停全军采购资格

连续违规,紫光软件被暂停全军采购资格

观察者网
2026-11-22 13:36:12
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
第一兵团拟授四位上将,我军上将最多的兵团为何上将如此集中?

第一兵团拟授四位上将,我军上将最多的兵团为何上将如此集中?

搜史君
2026-11-22 18:40:11
2026-11-22 19:27:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
房产
时尚
教育
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版