神经科技与具身智能正在汇合构建新一代人机交互范式

过去二十年，人机交互的主线，是让机器更懂“命令”。

从键盘、鼠标到触控屏，再到语音助手与大语言模型，交互效率不断提高，但基本逻辑没有改变：人先把意图翻译成机器能够理解的指令，机器再执行。即便今天的AI已经可以理解自然语言，它仍然主要停留在“听懂你说了什么”，而不是“理解你正在做什么、为什么这样做，以及下一秒准备如何行动”。

具身智能正在打破这一边界。机器人进入工厂、家庭和服务场景后，真正困难的已不再只是推理，而是如何在真实世界中完成稳定、精细、连续的动作。与此同时，神经科技也正在从医疗康复和可穿戴交互，走向机器训练、动作理解和物理控制。

两条原本相对独立的技术路线开始汇合：具身智能需要更接近人类控制机制的数据，神经科技则需要一个足够大的应用场景。二者的交点，可能孕育出下一代人机交互范式——机器不再等待明确指令，而是从脑电、肌电、触觉和行为中理解人的意图，并在物理世界中与人形成闭环协作。

01

从“输入指令”转向“读取意图”

传统交互设备采集的是动作结果。鼠标记录位移，摄像头看到手势，动作捕捉系统重建关节轨迹。这些数据可以回答“人做了什么”，却很难回答“为什么这样做”“用了多大力”“动作过程中如何微调”。

神经信号恰好填补了这一空白。

表面肌电位于大脑运动指令传向肌肉的链路中间，既包含动作即将发生时的神经肌肉活动，也包含发力和微控制信息；脑电则更接近运动想象、注意、惊讶和错误感知等高层状态。由此，人机交互的输入端开始从外显动作向内隐意图前移。

卡内基梅隆大学团队展示的非侵入式脑机系统，是这一变化的典型案例。21名受试者佩戴128通道脑电帽，通过运动想象实时控制机器手单根手指。两指任务的在线准确率达到80.56%，三指任务达到60.61%。

图 运动想象（MI）在线控制性能

更关键的并不是数字本身，而是“想动哪根手指，机器就动哪根手指”的自然映射。它不再要求用户学习反直觉的控制暗号，而是让机器适配人的运动意图。在线微调解决了脑电漂移问题，平滑机制则减少标签跳变，使控制从一次性分类走向连续、稳定的交互。

这意味着，未来的人机接口未必是一块新屏幕，也未必是一套更复杂的手势语言。它更可能是一种“意图层接口”：人在产生动作计划时，机器已经开始理解；人在意识到操作出错时，系统已经捕捉到错误相关状态；人在尚未完成动作前，机器人便可以提前协同。

02

具身智能真正缺的，不只是视频，而是“控制过程”

大模型的跃迁来自互联网数据，但物理AI没有一个现成的“互联网”。机器人所需的数据，必须在人与真实世界的交互中被生产出来。

第一视角视频、遥操作和动作捕捉可以记录动作轨迹，却往往丢失遮挡下的手部状态、肌肉发力以及动作修正过程。

以清华大学自动化系长聘副教授冯建江团队发布的EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation》为例。EgoEMG数据集揭示了神经科技进入具身智能的另一条路径。该数据集同步采集41名受试者的双侧肌电、IMU、第一视角RGB、外部RGB-D和光学动捕数据，覆盖60类手势、超过10小时，并重建22自由度手部关节角。它把“看到什么”“肌肉如何发力”“手最终如何运动”放到同一时间轴上。

EgoEMG 数据采集设置：双侧肌电（EMG）腕带、头戴式自我中心视角（egocentric）RGB 相机、外部 ZED 2i RGB-D 相机，以及用于姿态标注的光学动作捕捉系统（配备手部标记点）

团队提出的EMGFormer，在跨用户泛化任务上较上一代基线提升22%；而肌电与视觉融合，在遮挡、运动模糊和深度歧义场景中优于单一视觉方案。

从产业角度看，这改变了机器人数据的基本单位。过去，一条训练样本通常是“视频—动作”；未来，它可能变成“场景—意图—肌肉激活—动作轨迹—接触反馈—结果”。机器人学习的也不再只是模仿表面动作，而是逼近人类完整的感知、决策与执行链条。

这说明，具身智能的数据竞争正在从“数量”走向“因果密度”。同样一段动作视频，如果同时包含神经意图、发力变化和错误反馈，它对模型的价值不只是多一个模态，而是多了一条解释动作为何发生的因果链。

03

神经意图与机器触觉的闭环正在形成新范式

只有读取人的意图，还不足以构成完整交互。

机器人必须知道自己是否抓稳、是否滑落、接触的是软物体还是硬物体，以及人的指令“轻一点”在物理上意味着什么。因此，神经科技解决的是“人想做什么”，触觉解决的是“机器实际做成了什么”。

现有多模态触觉系统普遍遵循四阶段流程：先把形变、力和振动转化为数字信号，再分别编码视觉、触觉和语言，随后通过注意力或对比学习形成联合表征，最终输出识别结果、语言描述或控制动作。

触觉研究也正从物体识别走向材料判断、抓取成败预测、跨模态生成和语言指令下的连续操作。例如，当人说“轻轻抓住那个软物体”时，系统需要同时理解语言语义、视觉几何与实时接触力，而不是把一句话机械地映射为固定的夹爪力度。

由此可以看到下一代交互闭环：脑电或肌电提供人的意图与状态，机器人视觉理解场景，触觉感知接触结果，具身模型完成规划与控制，反馈再返回给人，或者被用于继续修正动作。

交互不再是“人下命令—机器执行”的单向链路，而是双方不断预测、校正和适应的共同控制。

这一范式在康复假肢、工业协作、智能眼镜和服务机器人中都具有直接价值。对于假肢用户，神经接口可以提供自然控制，触觉反馈帮助判断抓握是否稳定；对于工业协作，机器人可以结合工人的肌电和脑状态，提前感知接管意图或操作风险；对于AI眼镜，神经腕带可以成为不依赖语音的隐形输入；对于家庭机器人，人的微弱动作、发力趋势甚至错误意识，都可能转化为协作信号。

04

产业机会将从“卖设备”转向“掌握闭环”

这场融合带来的最大变化，不是多了一类可穿戴硬件，而是产业价值链被重新排列。

一端是数据入口。神经腕带、脑电头环、触觉皮肤和第一视角设备，将持续采集真实世界中的人类操作数据。

而未来所代表的路线，正是希望以非侵入式神经接口切入Physical AI数据基础设施：硬件负责采集，AI解码模型把原始肌电翻译成姿态、动作意图、发力趋势和微控制，再服务于机器人训练与人机交互。其商业价值因此不只来自设备销售，更可能来自长期的数据服务和模型能力。

另一端是闭环模型。未来真正有壁垒的公司，不会只拥有一款脑电帽、一条肌电腕带或一块电子皮肤，而会掌握“采集—解码—融合—控制—反馈”的完整链条。

图 多模态触觉融合综述的结构概述

原因在于，神经信号个体差异大，触觉传感器形态不统一，跨模态数据存在时空不对齐，单点硬件很容易被替代，持续积累的人体数据、适配算法和闭环场景才是核心资产。

当然，这条路径仍面临现实约束：脑电空间分辨率有限，肌电跨用户泛化困难，触觉数据规模远小于视觉语言数据，不同传感器缺乏统一标准，实时系统还要同时处理功耗、延迟、耐久性与安全问题。

更重要的是，神经数据涉及高度敏感的人体信息，未来必须建立清晰的数据授权、用途边界和隐私治理机制。否则，越自然的交互，也可能意味着越深层的数据暴露。

但方向已经逐渐清晰。

过去的人机交互，是人学习机器的语言；智能时代的下一阶段，将是机器学习人的神经语言。具身智能给神经科技提供了规模化场景，神经科技则为具身智能补上意图、发力和状态理解。两者一旦与触觉、视觉和世界模型形成闭环，人机关系将从“使用工具”走向“共同完成任务”。

届时，决定交互体验的将不再是按钮多少、屏幕大小或语音识别率，而是机器能否在恰当的时刻理解人的意图，在真实世界中做出合适动作，并通过持续反馈与人协同修正。

神经科技与具身智能的融合，真正重塑的不是一个新入口，而是人和机器彼此理解、共同作用于物理世界的方式。

参考来源：

Tactile-based Multimodal Fusion in Embodied Intelligence: A Survey of Vision, Language, and Contact-Driven Paradigms

EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation

从神经腕带到具身智能：陆奇、龚虹嘉为何看好这家公司？

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）

投稿丨成为创作者，请联系微信：RoseBCI

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊