启元机器人新进展：北大董豪团队推出 HIL-UMI，让后训练摆脱「真机依赖」

继无本体之后，具身后训练范式有了新进展。

作者丨齐铖湧

编辑丨岑 峰

最近，具身行业讨论“无本体进行后训练的可能性”的热度很高。国内外目前还没有团队做出可行方案。说白了，无论是大模型还是具身机器人，想真正好用，光靠预训练打基础可不行，最终落地全靠“后训练”来调教。启元机器人首席科学家董豪告诉AI科技评论：“预训练提升的是下限，上限还得看后训练。”当前具身公司追求进厂打工、家庭保洁等真实落地，比的就是成功率，也就是在比拼后训练的实力。可后训练，难就难在它得跟真实物理世界打交道，过去都得用纯真机数据。但真机训练成本太高，要大规模铺开，那么多的机器人本体，硬件磨损、场地、人工都是天价。所以，行业内预训练已经开始转向用“无本体”设备采集数据，虽然量上去了，但传统后训练最关键的“纠错”环节却没法搞定。为了解决这个行业难题，北大和启元机器人董豪团队推出了HIL-UMI。这个工作，围绕着具身后训练阶段无本体的前提下，围绕着最关键的“纠错”环节展开。
论文地址：https://arxiv.org/pdf/2609.20659项目主页：https://hil-umi.github.io

01

具身后训练的成本，为何远超大模型RLHF？
跟大模型比起来，具身行业的后训练太贵，是很多具身模型无法尝试Scaling的重要原因。大语言模型能变得这么好用，大家心里都清楚：不光是预训练数据量大，更关键的是后面有RLHF（人类反馈强化学习，可以简单理解为数据标注）和DPO这些“后训练”的功劳。但具身机器人的后训练，成本可比大模型的RLHF高出不止百倍。大模型做RLHF，无非是请更多人坐在电脑前点点选选；可具身机器人，那就得真刀真枪地跟物理世界打交道。拿传统上最常用的DAgger，也就是用人类或者算法作为专家评价后训练的模式，这套流程虽然有效，但又贵又慢。比较常见的，是以传统的真机人在回路（也就是 HG-DAgger：Human-Gated DAgger），机械臂在运作，人类操作员坐在旁边高度紧张地盯着，等它快抓空、快撞车的时候紧急接管，把正确的轨迹录下来，这就是人类来把关整个训练回路。最麻烦的是，每次校正完，还得人工把被碰乱的现场恢复原样。等机器人执行，人工干预，环境复位，一坐一下午，能用的数据不多。这其中绝大部分时间，都耗在机器人的笨拙动作和人工环境复位上。这种又慢又烧钱的模式，让后训练数据规模采集成了个老大难，严重限制了规模化。这就引出了一个核心问题：我们能不能摆脱真机，就像平时做家务一样，顺手就把模型最需要的“纠错”数据给采集了？

02

HIL-UMI 的底层逻辑：给UMI 采集加了一个“模型大脑”
HIL-UMI 的做法非常聪明，概括起来就是一句话：“不用机器人，也能给机器人补课。”HIL-UMI ，指的是Human-In-the-Loop（人在环路）UMI，和过去大家常用 UMI（手持夹爪）采集数据不同，HIL-UMI 的采集，不是“盲目”的，而是加入了一个模型。HIL-UMI 把模型直接接进了这个手持采集过程：真实世界里只有人在动： 操作员手里拿着 UMI 夹爪正常干活（比如抓玩具、叠毛巾），摄像头同步拍摄画面。模型在后台“脑补”： 模型接收着相同的画面和任务指令，在后台快速预测“如果换我来，接下来的 20 步动作该怎么做”，但它并不真正控制任何机械臂。发现分歧立刻触发提示： 系统在后台实时比对人类实际动作与模型预测动作。如果两者差不多，说明模型已经掌握，不需要重复录；一旦发现模型“脑补”的轨迹跟人类的真实操作严重跑偏（说明模型在这个场景下是个“生手”），系统就会立刻提示操作者：“这一段模型不会，从这里开始多教一段！”手持夹爪与采集设备整个过程，不需要机械臂在场，更不需要机器人真去犯一次错。人类在示范的同时，就把模型在真实部署中极可能翻车的场景给定点捕获了。

03

不是数采集工具，是后训练里的数据飞轮
如果只把 HIL-UMI 理解为一个手持记录仪，那就低估它了。它真正厉害的地方，是建立了一套让模型自己吐出“错题本”的自闭环系统。这个闭环有两大技术支柱：第一步：动作分歧检测（抓出盲区）。机器人操作面对同一种情况，往往有多种合理姿态。HIL-UMI 不看单次预测，而是并行采样多组动作块去算“能量分布”（Energy Score）。模型如果胸有成竹，动作分布会很收敛；一旦模型给出的动作又分散又和人类偏离很大，系统就判定模型进入了“分布外状态（OOD）”，果断启动补录。第二步：优势估计器（区分有效动作与无意义晃动）。光学会动还不够，还得知道动作对任务推进有没有用。在叠方块任务里，夹着方块在空中犹豫晃动，和精准对准底座放下去，完全是两码事。HIL-UMI 引入了一个根据前后画面评估“任务推进程度”的估计器，并采用“优势条件”训练——告诉模型不仅要学这段纠正，还要专挑那些能够实质性推进任务进度的动作来学。真正的闭环在于“动态更新”： 每一轮定向补充完数据后，模型完成迭代。到了下一轮采集，模型变聪明了，曾经卡住它的地方不再触发警报；相反，它与人类的分歧点会推移到更深、更难的边缘场景上。模型不断暴露新盲区，人针对性示范，模型再进化，整套流水线像滚雪球一样自我迭代，彻底告别了“盲目海量刷正向数据”的低效。

04

无本体后训练的路线对比
为了更客观地理解 HIL-UMI，我们需要把它放在当前行业的几条主要路线上对比：真机遥操作与真机 DAgger： 数据最保真，但单机成本高、折旧大、操作门槛高，想铺到上万台规模几乎不可能。仿真（Sim2Real）与强化学习： 算力便宜、能大量生成数据，但在柔性物体（如衣物）、摩擦力和复杂光照下，仿真差距（Sim-to-Real Gap）至今仍是巨大鸿沟，而且不能当作真机后训练。海量视频预训练： 规模无限大，但缺少物理力学信息与精准动作维度，多用于给模型建立“常识感知”，无法直接转化为毫米级的精准控制，常用于预训练。传统 UMI（无本体正向采集）： 便宜、人人能采，但只能采正例，无法解决模型在长尾错误中的恢复问题，也只能当做预训练。HIL-UMI 正好卡在一个极佳的甜蜜点上：它借用了 UMI 的低成本与易规模化，又借用了 DAgger 的针对性纠错能力，同时把两者的缺点全都甩掉了。

05

效率提升 5.63 倍，后训练终于不必围着机械臂转
工程上的账算不算得过来，看两组对比就明白了：定向补课 vs 盲目多学： 在真实机械臂上的四项任务（折毛巾、整理桌面、叠方块、盖章）测试中，给相同的数据帧数预算，持续增加普通示范的常规 SFT 微调，最终任务平均进度分（TPS）只从 44.3 龟速爬到 58.0；而用了 HIL-UMI 定向纠错机制后，平均分直接冲到了 94.8。在最考验精度的叠方块和盖章任务上，成功率达到了100分。采集效率直接翻了 5.63 倍：能看出来，横轴从初始模型 Base 到三轮更新 Iter1—Iter3，纵轴为任务进度分数。紫色为 SFT，橙色为去掉优势机制的 HIL-UMI，绿色为完整 HIL-UMI；最右侧为四项任务的平均分。在极其复杂的“整理桌面”长程任务中，真机 HG-DAgger 采集一帧有效数据要耗时 412.99 毫秒，而 HIL-UMI 只要 73.40 毫秒，单位时间采集效率提升了整整 5.63 倍，毕竟人手直接采集比遥控机器人来采集方便多了。（雷峰网）左图为四项任务平均分随累计采集时间的变化；右图为整理桌面任务中各方法随训练阶段的表现。省下的这 5 倍多时间，全都是以前机械臂慢吞吞移动、操作员等待、以及人肉复原现场的“无效损耗”。在我们看来，更重要的商业想象力在于：真机遥操作对工人手法要求极高，稍微抖动就成了劣质数据；而手持夹爪“人天生就会，轨迹质量极高”。这意味着后训练第一次具备了“分布式”的可能。未来，可能是在全国各地的普通民居里，由兼职人员拿着几百块钱的简易设备做日常动作，后台连着同一个云端大模型，模型在谁那里察觉到了动作分歧，就静默抓取那一小段高质量差分数据回传。具身后训练，终于不需要把所有人都在实验室里，用机械臂完成了。

06

“未来的后训练发展，比的是速度和效率”
在采访中，启元机器人首席科学家董豪给出了一个非常反共识的判断：

“预训练和后训练不是简单的比例关系，它们是一个阶段性更替。”

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈