连接人类智能与机器执行——具身机器人遥操作技术全景

原文发表于《科技导报》2026 年第13 期 《具身机器人遥操作综述 》

在机器人完全实现类人自主之前，具身机器人遥操作仍将长期存在。《科技导报》邀请北京人工智能研究院姚国才高级工程师团队撰写文章，分类讨论了遥操作的人机交互方式（外骨骼、虚拟/混合现实、动作捕捉/惯性传感、视觉跟踪及等比例机械臂主控等），分析了控制模式的演变路径（直接控制、共享控制、模仿学习控制及生成式策略），介绍了典型遥操作系统的体系架构与技术实现，并探讨了视觉、力觉、触觉等多模态反馈对提升沉浸体验的作用。文章进一步梳理了性能评估方法与最新基准，指出开源软硬件平台和数据资源对推动研究的重要意义，并总结了当前面临的挑战与未来发展方向，包括智能化水平提升、成本与使用门槛降低及标准体系建立等，以期为相关领域研究提供参考。

具身机器人指其物理形态与所处环境的相互作用对其感知、控制与智能行为具有构成性作用的机器人系统，其认知与控制由身体－环境－控制三者耦合共同涌现。具身机器人遥操作是指人类操作员通过特定接口远程控制机器人完成任务，使机器人如同操作者的“化身”。尽管人工智能与机器人自主技术发展迅速，完全自主的机器人在开放环境中仍难以实现与人类同等的灵巧行为。因此，遥操作作为连接人类智能与机器人体能的桥梁，在建筑施工、化工厂、核污染区、太空等人类难以直接作业的高危或不可达场景中具有不可替代的价值。同时，遥操作还克服了地域限制，支持远程医疗手术和护理服务。特别是人形具身机器人由于形态与人类相似，更适合在人类环境中使用工具并与人互动。

1

遥操作交互接口分类与比较

在具身机器人遥操作系统中，操作端的人机交互接口至关重要。本文根据主控设备形式，将常见遥操作接口分为5类，其特点比较见表1。图1为典型接口的遥操作系统示例。

表1 遥操作交互接口的特点比较

图1 不同交互接口的遥操作系统

1.1 外骨骼式接口

外骨骼设备通过机械结构绑定在人身上，检测人体关节运动并同步驱动远程机器人相应关节，优点是映射关系直接、控制直观，能实现高沉浸感和双边力反馈。但外骨骼系统往往体积庞大、造价高昂，需要复杂的穿戴调试，长时间全身运动也容易疲劳。目前多用于上半身控制或特定关节控制。典型案例是意大利技术研究院（IIT）开发的iCub3 Avatar系统，操作者穿戴全身外骨骼和VR设备，实现“完全沉浸”的远程化身。低成本探索如OpenRobotLab的HOMIE系统，使用廉价等构上肢外骨骼和手套，结合强化学习控制下肢，硬件成本降至500美元。

1.2 虚拟现实与混合现实接口

利用VR或MR设备进行遥操作是一种灵活且日益普及的方案。操作者佩戴VR头盔获得机器人第一视角视觉，并使用手持控制器、数据手套等输入设备发出指令。优点在于设备相对廉价、部署方便，同一套系统可适配不同机器人。缺点是无法像外骨骼那样接收力反馈，缺乏力觉反馈会降低操作的直观性和安全性，且视觉定位可能受遮挡、环境光等影响。尽管如此，其成本和易用性优势使其应用广泛，如上海AI实验室的TeleOpBench基准就将典型VR设备操作作为4类代表性模式之一。

1.3 动作捕捉与惯性传感接口

动作捕捉（MoCap）和惯性传感单元（IMU）技术通过捕获人体关键点运动来驱动机器人。常见做法是穿戴带反光标记点的动捕服，由红外摄像机阵列实时获取人体骨架关节角度；或佩戴IMU传感器，利用惯性测量实现全身姿态捕获。与外骨骼相似，能获取全身多自由度动作，但不对人体施加机械力，设备更轻便。缺点是专业光学动捕系统昂贵且安装烦琐，IMU易受磁场干扰。典型工作如UIUC的CHILD系统，使用腰部9轴IMU配合上半身机械臂控制，降低对昂贵动捕系统的依赖。

1.4 视觉跟踪接口

视觉跟踪通过普通摄像头捕捉操作者动作姿态，从而控制远程机器人。典型方案利用RGB-D相机或单目摄像头结合计算机视觉算法（如OpenPose、MediaPipe）估计人体骨架，再通过逆运动学映射到机器人关节。优点是不需要穿戴设备，用户友好度高，成本极低。局限是受限于识别精度，在遮挡、光线不佳时可能产生较大误差，且通常只能提供末端目标位姿控制，缺乏触觉/力觉反馈。更适合作为远程示教手段，用于快速收集人类演示数据以训练机器人技能，如OmniH2O框架允许操作者仅用单目相机和语音命令进行基本操控。

1.5 等比例机械臂主控

操作者直接操作一个等比例或缩小的“主机器人”来控制远程“从机器人”，实现关节空间的直接映射。优点在于控制直观，操作者自然感知关节极限、奇异姿态等约束，避免发出超出机器人能力范围的指令。缺点是主控结构需针对特定机器人构型制作，泛用性略差。CHILD系统是典型代表，提供可背负在胸前的小型人形机器人骨架，通过模块化可重构设计适配多种机器人，在双手操作、精细装配等任务中显示出巨大潜力。

从“数据用于训练”视角，不同接口采集的数据分辨率、噪声结构与可扩展性差异显著：外骨骼/等比例主从更适合精细操作的行为克隆/轨迹级模仿学习；VR/MR适合构建多任务数据集，训练通用视觉语言动作模型；MoCap/IMU擅长全身姿态捕获，适合训练全身运动策略；纯视觉跟踪部署成本最低，适合弱标注/大规模数据驱动训练。

2

控制模式的演进

随着具身机器人遥操作技术的发展，控制模式朝着提高机器人自主性并降低人类操作负担的方向不断演进，从全人工操控逐步走向高度自主。表2分别介绍这些控制模式及其主要特点。

表2 遥操作控制模式的特点比较

2.1 直接控制

直接控制由人类操作员全权操纵机器人的运动，机器人本身不具有自主决策能力。优点在于人具有充分的掌控力和灵活性，适用于未知环境下需要人工机动应变的任务。但局限性明显：操作者必须同时关注机器人的所有自由度，认知和反应压力极大；人在回路中会引入人为失误和反应延迟，通信有时延时尤为突出；长时间全手动操作对体力和精神是双重负担。DARPA机器人挑战赛的实践表明，即使专家远程控制，人形机器人完成复杂任务也步履维艰，需借助半自主功能提高效率。

2.2 共享控制

共享控制通过引入一定程度的机器人自主性，缓解直接控制下操作者负担过重的问题。人与机器人成为协作伙伴，操作员提供高层次意图或初始指令，机器人控制系统根据自身传感和模型进行优化或修正。实现方式包括意图预测与指令融合，系统根据操作员输入推测目标位置并生成辅助轨迹，与原始输入按权重融合。另一种形式是监督/守护模式，正常情况完全听从人类遥控，若探测到危险则系统优先干预。典型系统如HOMIE，操作员控制机器人上肢和手部，下肢行走由强化学习策略自动执行，效率提升近1倍。Mobile-TeleVision将上肢操作与下肢移动解耦，避免相互干扰。共享控制通过多种途径提升了遥操作的性能和安全性。

2.3 模仿学习控制

模仿学习控制将遥操作和机器人自主学习相结合，让机器人学会人类示范的技能，逐步减少对人直接操控的依赖。流程是由人通过遥操作示范完成任务，记录数据形成示范数据集，再采用行为克隆、逆强化学习等算法训练控制策略。这种方法极大降低了机器人自主学习的样本需求。在人形机器人场景尤为重要，全身遥操作数据直观体现任务所需的人形运动协调模式。TRILL方法让人远程操控人形机器人完成搬箱、爬梯等任务，收集示范后训练深度神经策略。扩散策略将人类遥操作数据用于生成模型训练，使机器人即便在单一场景获取数据，也能泛化到多个新场景。模仿学习控制体现了遥操作与自主学习的融合趋势。

2.4 生成式策略控制

将AI生成模型引入遥操作控制成为新趋势。一种思路是利用生成模型强大的预测与规划能力辅助制定机器人动作，如Mobile-TeleVision中训练的条件变分自编码器（CVAE）模型生成未来运动先验，引导下肢控制策略协调动作。另一种高层应用是结合大语言模型（LLM）理解和执行人类意图，OmniH2O系统允许操作员用自然语言下达指令，借助大模型将高层指令转化为动作序列，必要时机器人自主完成某些步骤。未来遥操作有望从“人直接控制每个关节”提升到“人赋予目标，AI生成动作方案，机器人自主完成细节”。目前生成式策略仍处于早期探索阶段，可靠性和安全性是主要挑战，但潜力巨大。

3

系统架构与多模态反馈设计

图2 遥操作系统架构

3.1 遥操作系统架构

典型具身遥操作系统由人侧操控端、通信链路和机器人从端3大部分构成，形成闭环。人侧将人类运动意图映射为机器人可执行目标，针对位置/姿态类输入通常通过运动学重定向方法将人体位姿映射到机器人关节空间。机器人侧采用分层控制架构：上层根据人类指令生成关节参考轨迹，下层采用反馈控制器跟踪并维持动态平衡。导纳控制是常用策略，使机器人关节像弹簧－阻尼系统一样响应操作员施加的力。通信网络要求低延迟、高带宽和高可靠性，理想状态应实时同步。为对抗时延与丢包，工程上常用预测显示、鲁棒稳定性设计和自适应压缩与QoS策略等手段。实际实现中还需安全限位、紧急停止、系统延迟校准等工程细节，确保鲁棒性和可靠性。

3.2 多模态反馈通道设计

及时、真实的多模态反馈对提升操作者临场感至关重要。主要提供以下3种反馈通道：（1）视觉：最主要途径，通常机器人安装立体相机或全景摄像头，操作者通过VR头盔看到机器人视角的3D场景，实现“所见即所控”。Open-TeleVision等提出主动视觉反馈机制，根据任务需要自主调整显示参数，突出关键信息。除可见光外，还叠加红外热成像、深度相机、360°环视等增强感知。（2）听觉：远程麦克风拾取环境声音，如机械噪声、人声、报警声等，通过音频流传送给操作者，显著提升沉浸感和信息完备性。（3）力觉：高端系统核心特色，当机器人接触环境时，将接触力或运动阻力反馈给操作者，使其“感觉”到碰撞、重量、材质等。通常通过有力反馈的主控设备（操纵杆、外骨骼、电动触觉手套）实现。双边遥操作利用力反馈形成闭环力耦合，大幅提升操作精确度和安全性。iCub3 Avatar系统已尝试重量反馈。随着外骨骼和触觉设备发展，未来将更多维度的力触觉反馈融入遥操作。

4

性能评估方法与公开基准平台

评估遥操作系统需综合考量4类指标：（1）任务性能：成功率、完成时间、轨迹误差、接触/装配精度等；（2）安全性：碰撞/跌倒事件率、力/速度越限次数、急停触发频次等；（3）人因工程：工作负荷、学习成本、疲劳指标（主观+生理）等；（4）通信鲁棒性：端到端时延阈值、丢包敏感性、降带宽退化曲线等。传统研究缺乏统一基准，近年出现如TeleOpBench（2025年提出）的大规模仿真基准平台，提供30个高保真任务场景，评估了光学动捕、VR控制器、上肢外骨骼和单目视觉4类典型接口，验证了仿真与真实实验的高度相关性。人因评估常用NASA-TLX问卷收集操作者工作负荷、疲劳度和主观满意度，有的研究还通过监测心率、肌电等生理信号量化紧张度。

5

开源平台与数据集概览

开放的共享平台和数据资源对加速领域发展起到重要作用。硬件平台方面，2025年银河通用机器人与清华大学发布OpenWBT全开源人形机器人全身遥操作系统，提供从VR界面到机器人接口的完整软件栈。UIUC的CHILD系统硬件设计全部开源，材料成本不到1000美元。HOMIE系统同样将设计细节和控制代码开源发布。此外，ACE、Bunny-VisionPro、Open-TeleVision、HumanPlus等项目也均在GitHub上开放源码。数据资源方面，TeleOpBench提供全套模拟任务环境及评测工具；OmniH2O-6数据集涵盖6种日常任务的人类遥操作演示；一些研究机构在AvatarXPrize过程中累积了大量类人遥操作数据。开源平台与数据共享正在形成良性循环，吸引更多人参与，加速领域成熟。

6

发展趋势与挑战

未来具身机器人遥操作将在以下方面持续演进：（1）更高沉浸感的人机交互，融合多模态感知与反馈，同时需兼顾系统稳定性与人因负荷；（2）超低时延与广域通信，5G/6G与卫星通信拓展应用边界，可通过预测显示、边缘计算与通信－控制协同设计缓解时延抖动；（3）AI驱动的人机协同与自主辅助，通过意图识别、运动预测与策略生成提供路径优化、约束保护与误操作校正，遥操作数据亦成为机器人自主技能学习的重要数据入口；（4）标准化平台与评测体系建设，需从任务性能、安全性、人因工程与通信鲁棒性等维度建立系统化评测体系；（5）低成本化与工程可及性，采用消费级传感、简化接口设计及增强软件能力，降低硬件成本与部署门槛；（6）工程应用牵引，在核应急、高危化工、灾害救援、深海与空间站维护等高风险场景中具有不可替代作用。

归纳3条规律性认识：（1）降低人机负担是持续演进方向：从直接控制到共享控制，再到生成式与大模型辅助，核心目标是将操作者从低层动作细节中解放，转向高层意图表达；（2）安全性与鲁棒性构成工程落地关键瓶颈：高自由度、多接触特性叠加通信时延与丢包风险，使安全守护与约束控制具有基础性地位；（3）数据驱动的自主学习闭环日益凸显：遥操作正从“替代人工操作”扩展为“支撑自主能力演进”的数据基础设施。展望未来，遥操作系统在高风险作业、应急救援及日常服务等场景中将继续发挥连接人类智能与机器执行能力的重要作用。

本文作者：倪自强、谢绍玄、柳学成、杨翔、刘优、姚国才

作者简介：倪自强，北京智源人工智能研究院，高级工程师，研究方向为具身机器人；姚国才（通信作者），北京智源人工智能研究院，高级工程师，研究方向为具身智能。

文章来 源 ： 倪自强, 谢绍玄, 柳学成, 等. 具身机器人遥操作综述[J]. 科技导报, 2026, 44(13): 28−39 .

本文有删改，

内容为【科技导报】公众号原创，欢迎转载
白名单回复后台「转载」

《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的研究成果、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、科技新闻、科技评论、专稿专题、综述、论文、政策建议、科技人文等。