CoRL 2026 | 港大团队提出YOCO， 从动捕校准改善具身智能的示教数据采集

香港大学与忆生科技等机构将逐会话的动捕适配改为一次参数生成，为低成本灵巧手遥操作提供更准确的上游输入。

具身智能系统需要高质量的操作示教。在灵巧手场景中，数据采集首先面临一个基础问题：操作员实际做出的动作，能否被动捕设备准确记录。指尖位置和关节角度的偏差会进入动作重定向流程，影响机器人接触物体的方式，也可能降低采集到的演示质量。

高精度动捕设备具有性能优势，但部署成本和使用条件限制了其普及。低成本手套更容易进入采集现场，却会受到用户手型、佩戴松紧和会话变化的影响。如果每次换人或重新佩戴都需要优化一个模型，校准也会成为采集流程中的持续开销。

来自香港大学、忆生科技（TranscEngram）和深圳河套学院的研究人员提出 YOCO，把少样本动捕校准转化为会话条件化的权重生成，省去部署时的梯度微调。忆生科技为项目提供了数据采集和硬件支持。

论文题目:
YOCO: You Only Calibrate Once! Fast Mocap Calibration for Dexterous Teleoperation
论文地址：
https://arxiv.org/abs/2610.11657
项目主页：
https://franklin-zhang0.github.io/YOCO/

一、让校准成为采集启动时的一次计算

YOCO 首先把校准定义在设备输出的三维关键点层面，将姿态校正与设备专用的原始信号处理分开。随后，校准 HyperNetwork 根据当前原始/目标姿态对生成 LoRA 更新，注入冻结的 MANO 估计器。一次参数生成得到当前会话的校准器，后续动捕帧持续复用。

图1 将会话级校准与连续帧处理分开。少量样本生成当前会话的更新，后续观测复用校准后的估计器。依据论文第3节重新绘制。

这一机制将跨会话学习的先验落实为当前会话的专属权重。论文用共享 LoRA 初始化和集合条件残差预测作对照，检验这种适配的作用。实际部署时，操作员完成四个预设动作，与离线记录的目标姿态配对；目标库建立后，遥操作只需低成本手套。

论文的 CPU 部署实验给出了计算开销对照：YOCO 平均校准计算耗时为 13.16 秒，LoRA 微调为 59.58 秒，约为后者的四分之一。这里不包含动作采集、设备准备等现场步骤，因此这些数字不能直接换算成整个数据采集流程的效率或成本收益。

二、上游修正是否能改善下游操作

在加入合成偏差的 InterHand2.6M 评测中，YOCO 用四组校准样本将 PA-MPJPE 从 16.55 mm 降至 10.45 mm，相对降低约 36.9%。在 4 名用户的真实手套数据中，该指标从 14.63 mm 降至 13.14 mm。两组结果分别验证了合成偏差和真实设备观测中的姿态改善。

更接近采集现场的验证来自四项实物遥操作任务：拧开瓶盖、捏取耳机、三指抓取胶水瓶和打开纸巾盒。每项任务、每种方法进行 10 次评测，YOCO 流程的整体成功率达到 90%，高于 LoRA 微调的 65% 和未校准流程的 35%。耳机捏取从未校准的 0/10，提升至 YOCO 的 8/10。

图2 四项任务合计40次评测中，YOCO 流程成功36次。该结果来自完整的校准与重定向流程。数据来自论文表3。

这些结果表明，改善动捕状态估计有机会转化为更可靠的操作示教。但实验为不同校准条件分别训练了重定向模型，因此目前测到的是整套流程的收益，不能将全部提升单独归因于校准。90%也只对应论文的四项任务和40次试验，而非任意场景中的普遍成功率。

三、对数据采集工具链的启发

YOCO 提供了一种模块化改进思路：在已有动捕与动作重定向之间加入会话级姿态校准，将用户和佩戴状态带来的偏差尽量向前处理。由于输入是设备已输出的三维关键点，方法表述不依赖某一种原始传感器信号，不过真实设备实验目前仍只覆盖一种拉伸式手套。

从工具链部署的角度，值得继续验证的是跨用户、跨设备和长时间使用时的收益，以及校准流程能否稳定降低现场操作负担。YOCO 假设会话内偏差相对稳定，高频漂移可能需要重新校准或进一步引入时间建模。研究展示了可行的技术路径，尚未量化大规模采集中的单位数据成本。

忆生科技对数据采集与实验硬件的支持，使这项研究得以把姿态估计结果与实物遥操作连接起来。对于建设具身智能示教采集系统的团队，YOCO 的直接意义是：在扩大设备和操作员覆盖之前，先提高上游观测的可信度，让后续重定向与学习获得更准确的手部输入。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈