硬件、数据到模型：Sharpa如何系统性推进灵巧操作

编辑｜Panda、Youli

过去一年，具身智能的数据路线在快速转向。

遥操作数据贵、慢、难以规模化，越来越多的团队开始把目光投向人类视频。英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略，拟合出一条对数线性曲线；HumanScale 等工作更进一步，认为在同等数据量下，第一视角视频作为预训练数据可优于真机遥操作数据。

使用人类数据预训练的 Scaling 行为，arXiv:2602.16710

对于夹爪抓取，这条路线的逻辑相对顺畅。但当执行器换成一只有二十多个自由度的灵巧手，问题变得复杂起来，因为视频会记录手是怎么动的，却不会记录用了多大的力。而对于拧瓶盖、插接头、削苹果这类需要精细操作的任务来说，成败恰恰取决于接触发生之后的几毫米运动。

Sharpa Wave 灵巧手

灵巧操作的数据难题，本质上是接触的难题。

围绕这个问题，专注灵巧操作的机器人公司 Sharpa 明确了三条探索主线：

• 软硬件协同设计将以机器人为中心的数据采集转移到以人为中心的数据采集
• 解耦「运动」与「交互」，把接触交给高频、带触觉的底层控制
• 以触觉为锚，学习跨机器人本体的通用操作表征

沿着这几大方向，Sharpa 的硬件平台也成为众多前沿研究的重要载体。过去一段时间，谷歌、英伟达等团队基于 Sharpa 硬件开展了一系列具身智能实验与前沿探索。比如，前两天谷歌最新发布的 Gemini 4 Argon，展示案例中的机器人丢沙包实验，用到的正是 Sharpa 的灵巧手。

与此同时，Sharpa 与香港大学、加州大学伯克利分校、清华大学、上海交通大学等团队展开合作，共同推进灵巧操作领域的数据采集、模型学习与跨本体泛化研究。

机器之心近日与 Sharpa 学术负责人张凯峰进行了交流，试图理清这些工作在回答什么问题，以及它们如何拼成一幅完整图景。

一只苹果，难住了 VLA

先看一个具体任务：用两只灵巧手削一个苹果。

这个任务里，一只手要握住苹果并持续转动，另一只手控制削皮器，沿着苹果表面推进。苹果的曲率在变，果皮的厚度在变，持握的力度和削皮的角度都要随之调整。两只手做的不是对称动作，一只手负责「稳」和「转」，另一只手负责「削」，彼此还要配合节奏。

MoDE-VLA 论文中的双手削苹果序列图

在 Sharpa 与上海交通大学、上海人工智能实验室等机构合作的 MoDE-VLA 论文中，研究者把这个任务交给了 π0 这一主流 VLA 模型作为基线。结果成功率 0%，削皮完成度只有 8%。

• 论文标题：Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA
• 论文地址：https://arxiv.org/pdf/2603.08122

这并不意外。这篇论文在开篇就指出，VLA 模型在使用平行夹爪的抓取放置任务上已经相当成熟，但面对接触丰富、需要双手协同和手内操作的灵巧任务时，能力明显不足。问题出在哪里？是模型不够大，数据不够多，还是别的什么？

要回答这个问题，首先要讲清楚灵巧手和夹爪究竟有什么不同。

在张凯峰看来，二者的区别不只是自由度的多少。他说：「传统的机械臂和夹爪，把所有的操作问题简化成了运动学上可以解决的问题。而灵巧手有动力学的问题。」夹爪的动作空间基本只有开和合，只要把它移动到正确的位置、在正确的时刻闭合，任务就大体完成了。灵巧手则要调用抓、拉、拧、捏等各种底层的原子技能（motion primitive），张凯峰估计人手的这类技能接近几十种。

这意味着，灵巧操作不能只靠「看准位置再执行」。力的大小、接触的状态、物体在手中的滑动，都会实时影响下一步动作。

在硬件层面，高自由度、带触觉的灵巧手已经逐渐成熟。张凯峰认为，硬件之后的最大瓶颈在于数据，「尤其是类人的这种灵巧操作的数据」。而灵巧操作数据之所以难，恰恰是因为它需要包含接触信息。

两种数据，一个两难

目前，灵巧操作数据主要有两种来源。

第一种是遥操作（teleoperation）：人通过视觉设备或外骨骼远程控制机器人完成任务，记录下机器人自身的动作。过去几年，学术界提出了 AnyTeleop、Open-TeleVision、Bunny-VisionPro、HOMIE 等一系列遥操作系统，在沉浸感和易用性上不断改进。这类数据与机器人本体对应，可直接用于训练。

视频链接：https://mp.weixin.qq.com/s/wDRJgJArppWbAWm1QmzwNQ

MoDE-VLA 论文中的双手削苹果遥操作 demo

但遥操作有一个难以绕开的问题：操作员感受不到机器人的接触。「操作员很难获得高保真的、机器人在操作时的感受，」张凯峰说，因为机器人指尖的力和触觉很难实时反馈给操作员。在精细操作中，这意味着操作员只能凭视觉猜测力度，效率和数据质量都受到影响。

第二种是以人为中心的数据采集：人直接用自己的手完成任务，通过动捕设备、数据手套或头戴相机记录下来。DexCap、DexUMI、DEXOP、OSMO 等工作都属于这一方向。人手本身有完整的触觉反馈，操作自然，数据也更容易扩大规模。

问题在于，人手和机器人手不是同一个本体。张凯峰把其中的差距拆成两层。

第一层是视觉上的：画面里是人手，不是机器手。

第二层是动作上的，也更根本。「不管通过最先进的动捕设备、动捕场，还是任何方式，你能得到的其实是 hand state，而不是动作，」他解释道，「动作和状态之间差了什么？差了力和触觉的信号。」驱动灵巧手电机需要的是力矩和关节角信号，而人手数据里并不直接包含这部分信息。

于是，研究者面对一个两难：数据采集方式越贴近人的自然动作，操作越舒适，与机器人之间的本体差异（embodiment gap）就越大；采集方式越贴近机器人结构，对操作者的要求就越高，体验也越差。

围绕「Towards Human-Like Dexterous Manipulation（迈向类人的灵巧操作）」这一长期目标，Sharpa 学术团队针对这个两难确立了三条主线：

• 解决以人为中心的数据与遥操作数据之间的本体差异，回答「数据如何转化为机器人能力」；
• 解耦「运动」与「交互」，通过仿真与原子技能重构接触控制；
• 跨本体的不变表征学习，回答「模型如何在不同机器人和传感器之间迁移」。

张凯峰的说法是，三条主线「是一个并行、且会相互促进的状态」。

主线一：击穿「具身鸿沟」，让人类数据成为机器人的动作燃料

要跳出「采集越舒适，数据越难用」的两难，首先要回答：能否既保留以人为中心采集的自然与高效，又补上缺失的力和触觉信息？一个直接的思路，是在采集端就把触觉记录下来，这就需要无本体的数据采集。

为此，需要无本体的数据采集。

所谓「无本体」，是指采集数据时不需要机器人在场，人戴上传感设备直接操作。这类方案的关键在于，既要保留人手操作的自然和触觉，又要让采集到的数据最终能被机器人使用。

UVTA （Unified Visual-Tactile-Action Modeling / 统一视觉 - 触觉 - 动作建模）是这一方向的代表性工作，由上海交通大学、北京通用人工智能研究院、Sharpa 与北京理工大学合作完成。据张凯峰介绍，研究团队在 Sharpa AE01 外骨骼数据手套的基础上加装了指尖触觉传感：22 自由度的被动连杆记录手指运动，每个指尖的力敏电阻阵列记录触觉，腕部相机记录第一视角画面。

• 论文标题：Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation
• 论文地址：https://arxiv.org/pdf/2609.34182

数据采回来之后，怎么证明它有用？UVTA 的做法是把人类演示和少量机器人遥操作数据放在一起联合训练，将二者映射到共享的视觉 - 触觉 - 动作空间，让模型同时预测未来的动作和触觉信号。人类数据只作为训练监督，部署时机器人执行的始终是自己的动作。用张凯峰的话说，是「联合建模视觉和触觉之间的关系，去预测未来的状态和触觉信号，最后再 grounding 到动作信号上去」。

UVTA 概况。VTPM 将视觉 - 触觉输入转换为 20 维压阻式触觉单元 token，而 Transformer 提取 384 维视觉 token。这两个 token 被拼接为统一的 404 维交互表示，并传递给扩散动作头和触觉回归头。动作损失和触觉损失分别监督各自的预测头，而它们的联合目标优化共享的 Transformer，以学习统一的触觉感知视觉表示。

在翻书、拧灯泡、拨开关、小球分类、液体转移五个接触丰富的任务上，UVTA 的平均成功率为 70%，作为对照的 T-Rex 为 29%。更值得注意的是一组 Scaling 实验：固定每个任务 150 条机器人演示，把人类演示从 0 条逐步增加到 1000 条，三个任务的平均成功率从 0% 上升到 84%，论文称在 1000 条时仍未观察到饱和。

UVTA 论文人类演示数量与成功率的 Scaling 曲线

另一项工作 DexEMG 则尝试进一步降低采集门槛。它用前臂的表面肌电信号推断手部姿态，再实时重定向到 22 自由度的 Sharpa Wave 灵巧手上，替代笨重的外骨骼和视觉动捕。由于不依赖摄像头，手指被物体遮挡时依然可以正常遥操作。

• 论文标题：DexEMG: Towards Dexterous Teleoperation System via EMG2Pose Generalization
• 论文地址：https://arxiv.org/pdf/2603.05861

但同时，真实世界中还存在另一类体量更庞大的资产：互联网上数以万小时计的无触觉人类单目视频，如果视频里根本没有记录触觉，人机动作鸿沟又该如何弥合？

在 Sharpa 与清华大学徐梦迪团队合作的 Dex-X 方案中，研究者开辟了另一条路径：从单目 RGB 人类视频中精准提取人手与物体的三维空间运动轨迹，再将这段轨迹导入物理仿真环境中，仿真引擎通过碰撞体与接触动力学，反向补足了真实视频中不可见的手 — 物交互力学信息，从而实现了从纯人类视频到真机触觉策略的有效迁移。

• 论文标题：Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction
• 论文地址：https://arxiv.org/pdf/2609.07747

可以看出，从 UVTA 的真机触觉增强，到 DexEMG 降低采集门槛，再到 Dex-X 的仿真力学补全，主线一正在把数据采集的重心从「逼迫人适应机器」彻底转向「让系统理解人类的手感」。这类工作的意义在于，它们把「人类数据到底能不能用于灵巧操作」这个定性问题，变成了一个可以用 Scaling 曲线来回答的定量问题。

但视频里始终没有力。动作可以重定向，接触却无法凭空生成。这一环怎么补，是第二条主线要回答的问题。

主线二：解耦「运动」与「交互」，重构接触控制的通用底座

即使拿到了数据，灵巧操作的难点依然集中在接触的那一刻。张凯峰提到，遥操作最困难的地方，就在于和物体接触时，机器人的感受无法高保真地传递给操作员。

既然接触是瓶颈，一个自然的思路就是把运动和交互拆开处理：运动部分，可以从人类视频甚至互联网视频中学习；交互部分，也就是接触丰富的那一段，交给仿真和强化学习。

这种拆分有其物理上的合理性。接触前的大范围移动更接近运动学问题，人类视频能提供丰富的先验；接触后的挤压、滑动和力控则是动力学问题，对误差高度敏感，而这恰恰是视频最缺失的信息。

这个思路体现在 Sharpa 于 CES 2026 公开的 CraftNet 分层模型中。

CraftNet 三层架构示意图

CraftNet 把机器人的决策分为三层：

• System 2 是「推理脑」，由视觉语言模型负责理解指令、拆解任务，运行频率约 1 Hz；
• System 1 是「运动脑」，负责运动规划和接触前的粗略控制，约 10 Hz；
• System 0 是「交互脑」，在接触阶段利用实时触觉反馈持续调整手指，约 100 Hz。

拆开之后，新的问题随之而来：运动和交互之间，用什么接口连接？上层要给底层传递什么信息，底层又该如何响应？

围绕这个问题，Sharpa 和合作团队的工作探索了几种不同的答案。

第一种接口是一块踏板。这要回到开头的苹果。MoDE-VLA 论文中，研究者先用强化学习训练了一组手内操作的原子技能，称为 IMCopilot，包括保持稳定抓握、让物体绕指定轴旋转等。采集数据时，操作员用外骨骼控制手臂动作，需要转动苹果时，用脚踩下踏板，手内旋转就交给 IMCopilot 自动完成。张凯峰形容这是「手脚并用」：脚踩踏板驱动底层转苹果，手上专心控制削皮。

系统概述。(a) 遥操作系统，包含外骨骼、VR 头显和脚踏板。(b) VR 视图，将机器人摄像头画面与实时力和触觉反馈叠加层集成在一起。(c) 用于执行富接触任务的机器人平台。

效果相当好。在手内操作试验中，IMCopilot 辅助下的成功率为 89%，直接遥操作仅为 34%。高质量的削苹果数据由此得以采集。到了自主执行阶段，VLA 模型同样可以调用 IMCopilot 这一底层技能，再配合一条专门处理力和触觉信号的专家通路，就构成了 MoDE-VLA。在削苹果、试管整理、齿轮装配、充电器插接四个任务上，MoDE-VLA 的平均成功率从基线的 15% 提升到 34%，削苹果的成功率从 0% 提升到 30%，削皮完成度从 8% 提升到 73%。

张凯峰认为，这只是第一步。「将来我只要给一些目标点、一些操作意图，就能够驱动灵巧手底层的 controller 去做一些比较灵巧的类人操作，」他说，「把接触丰富的这些操作交给底层的 controller，上层只需要给一些意图和粗糙的轨迹动作。」

第二种接口是点云。典型的便是 Dex-X，其走的是一条自上而下的路线。它从单目人类视频中重建手与物体的交互过程，然后在仿真中让强化学习策略去跟踪这段参考动作。视频里缺失的接触力信息，在仿真里被物理引擎补全，论文把仿真称为「触觉补全引擎」（tactile completion engine）。最后，仿真中的策略被蒸馏为一个以点云、本体感知和指尖触觉为输入的学生策略，部署到真实的 Sharpa Wave 灵巧手上，在真机方块抓取任务中取得 93% 的成功率。

DEX-X 的训练框架。将人类演示迁移到仿真环境后，利用强化学习训练一个基于特权状态的专家，并结合演示参考、物体状态和触觉接触信息。随后，该专家被蒸馏为一个多任务视觉 - 触觉策略，运行在统一的接触点云表示上，该表示将指尖触觉反馈嵌入场景几何中，并融合视觉、力和本体感觉以进行策略学习。所得策略能够零样本迁移到多种真实世界的灵巧操作任务中。

同样的自上而下思路，也出现在其他团队基于 Sharpa 硬件的研究中。伯克利 Jitendra Malik 与 Pieter Abbeel 团队的 Do as I Do 从日常人类视频中重建手 - 物交互并重定向为灵巧手动作，在 655 条野外视频重建结果上，重定向成功率从此前方法的 25% 提升到 71%，并在 Sharpa Wave 上完成了搅拌、倾倒、擦除等 10 项真机任务。

加州大学伯克利分校、Sharpa Robotics、香港大学等机构提出的 GALATEA 则把思路延伸到了生成式视频。它直接利用扩散视频模型，基于首帧图像与自然语言指令生成手 — 物交互过程，并通过双目深度锚定与接触感知优化，从像素中解构出精确的 3D 手部与物体运动轨迹。面对生成视频中不可避免的物理幻觉与噪声，GALATEA 构建了一套结合接触与抬升奖励（contact- and lift-aware rewards）的跟踪式强化学习流程，利用自适应策略优化算法（SAPG）在仿真中硬生生将视觉想象「对齐」为具备物理稳定性的控制策略。

实验中，系统从 2500 段生成视频中筛选出约 2000 条高质量轨迹，并在仿真中成功落地超过 1500 段策略，最终蒸馏出单一控制器，在无需重新训练的前提下实现了对抓取、非抓取推拉，以及空中姿态微调等多样化任务的闭环泛化执行。

• 论文标题：Grounding Generated Video Plans in Simulation Towards Versatile Dexterous Controllers
• 论文地址：https://arxiv.org/pdf/2609.10050

第三种接口是隐空间。张凯峰认为，自上而下的方式可能不会是终局。另一条路是自下而上：在仿真中训练大量原子技能，再把它们蒸馏到一个统一的框架里。这个框架，就是 System 0。

TacBPM 是这一思路的具体实现，作者全部来自 Sharpa。研究者先在 8 个不同尺寸的球体上分别训练手内重定向的专家策略，再把它们蒸馏进一个以触觉为条件的隐空间控制器。下游任务不需要从零学起，只需冻结这个先验、在隐空间中学习残差动作。在复杂物体的多任务设置中，直接用原始动作训练的 PPO 成功率仅为 1%，TacBPM 达到 70%；在机械臂加灵巧手的仿真抓取任务中，部分物体的成功率从从零训练的不足 1% 提升到 97%。论文显示，这个先验还能较快地适配新的物体形状、新的任务和新的本体。

• 论文标题：TacBPM: A Tactile-conditioned Behavior Prior Model for Dexterous Reorientation
• 论文地址：https://arxiv.org/abs/2609.18174

斯坦福 Jeannette Bohg 与 C. Karen Liu 团队基于 Sharpa Wave 的两项工作，与这条路线形成了呼应：

• SimToolReal 训练了一个以物体为中心的仿真策略，无需针对每种工具重新训练，即可零样本完成 6 类工具、24 项任务的真实操作，相比重定向和固定抓取方法提升 37%，入选 RSS 2026 口头报告。
• Play2Perfect 则让灵巧手先在仿真中进行与任务无关的「自由玩耍」式预训练，再微调到精密装配，样本效率比从零训练高 33 倍，在 0.5 毫米间隙的紧配合插入任务上取得 60% 的成功率。

视频链接：https://mp.weixin.qq.com/s/wDRJgJArppWbAWm1QmzwNQ

SimToolReal 团队放出的一些基于 Sharpa Wave 的 demo

张凯峰把 Malik 团队的工作归为自上而下，把 Bohg 与 Liu 团队的工作归为自下而上，二者与 Sharpa 自己的探索在同一张路线图上相互补位。

踏板、点云、隐空间，三种接口对应着上层与底层之间不同的分工方式。但它们的方向是一致的：把接触这一层从上层模型中剥离出来，交给一个高频、带触觉的底层。

主线三：以触觉为锚

前两条主线关心的是数据从哪里来，而主线三关心的则是数据怎么用。

当前的机器人策略，往往与特定的机器人、灵巧手甚至触觉传感器绑定。硬件一换，数据要重新采，模型要重新训。张凯峰从两个角度解释了跨本体学习的必要性：

• 从模型本身来看，一个好的机器人基座模型应该学到好的表征，「跨本体的数据能够帮我们的模型学到一个更好的表征，是面向操作的、与本体无关的表征」，只有这样，模型在下游针对不同本体做后训练时，才能快速适配。
• 从应用来看，下游的机器人形态各异，真正的泛化必须面向不同本体。

那么，什么信息最适合承载这种与本体无关的表征？Sharpa 的答案是触觉。

张凯峰用拿咖啡杯举例。人手、Sharpa 的灵巧手、夹爪是三种不同的本体，但拿起同一个杯子时，有些信息是不变的。「比如说我用多大的力去拿这个杯子，这个信息应该和我用人手还是用机械手是没有关系的，」他说，而这类信息的主要来源就是触觉。本体可以变，触觉信号所隐含的操作过程不变，触觉因此可以成为跨本体学习的「锚点」。

FTP-1 是这一判断最直接的验证。这项工作由清华大学、Sharpa、上海交通大学、伯克利、苏黎世联邦理工学院、复旦大学等机构共同完成，提出了一个跨触觉传感器的通用触觉基础策略。

• 论文标题：FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation
• 论文地址：https://arxiv.org/abs/2606.13102

难点在于触觉传感器的异构性：有的输出图像，有的输出阵列，有的输出力和状态。FTP-1 把这些不同形式的输入映射到同一个隐空间，再由一个统一的 Transformer 处理，在约 3000 小时、来自 21 种触觉传感器的数据上完成预训练。

结果显示，在预训练见过的传感器配置上，FTP-1 带来 17.2% 的提升；在两种从未见过的传感器配置上，成功率提升 31%。为了确认增益确实来自触觉，研究者还训练了一个不含触觉数据的对照模型 NTP-1，FTP-1 在迁移任务上的表现优于它。这说明大规模触觉预训练确实帮助模型学到了跨本体、跨传感器可复用的表征。

这条主线还有另一种处理本体差异的思路。张凯峰把英伟达的 EgoScale 和伯克利主导的 T-Rex 归入这一主线：它们不显式处理人手与机器手之间的差距，而是直接使用第一视角人类数据，再通过成对的人 - 机数据进行中期训练（mid-training），让模型自己去「消化」两者之间的差异，学到不变的表征。

EgoScale 由英伟达、伯克利和马里兰大学合作完成，作者包括 Jim Fan、朱玉可、徐丹飞等人。研究者用 20854 小时第一视角人类视频预训练，再用约 50 小时人类数据和 4 小时机器人数据做对齐的中期训练，在 22 自由度的 Sharpa Wave 上，平均成功率相比无预训练基线提升 54%。选择 Sharpa Wave 的一个重要原因，是它与人手 1:1 的尺寸和高自由度结构，让人类动作更容易重定向为机器人动作。

视频链接：https://mp.weixin.qq.com/s/wDRJgJArppWbAWm1QmzwNQ

8 倍速视频

T-Rex 则把触觉引入了这一框架。这项工作由伯克利、英伟达、斯坦福等机构完成，作者包括李飞飞、Jim Fan、Jitendra Malik、Pieter Abbeel 等人。研究者基于 Sharpa Wave 构建了 100 小时的触觉同步遥操作数据集，覆盖 22 种运动原语和 200 多种日常物体，并设计了一个变频率的混合 Transformer 专家结构：动作专家以约 5 Hz 的频率生成动作，触觉专家以约 20 Hz 的频率根据触觉信号实时修正。在削皮、擦拭、挤压、插入、取出等 12 个接触丰富的任务上，T-Rex 的平均成功率为 65%，比最强基线 EgoScale 高约 30 个百分点。

视频链接：https://mp.weixin.qq.com/s/wDRJgJArppWbAWm1QmzwNQ

把这几项工作放在一起看，可以看到一条清晰的研究接力。EgoScale 在 Sharpa Wave 上验证了人类数据的规模效应；T-Rex 在同一平台上引入触觉，以 EgoScale 为基线把平均成功率提高约 30 个百分点；Sharpa 参与的 UVTA 又把 T-Rex 作为对照基线，继续推进人类触觉数据的利用。当不同团队的工作建立在同一个硬件平台上，研究结果才可能彼此比较、逐层累积。

当然，触觉是否必要，在学界并非没有争议。一些研究认为视觉足以推断接触，例如 FELT 尝试直接从 RGB 图像生成指尖触觉信号，并确实提升了纯视觉策略的表现。对此，张凯峰给出了两点回应。

• 第一是「奇异解」问题：轻触和用力按压在画面上几乎没有区别，「比如说我压这个桌子，其实你是看不出我到底用了多大力的」。
• 第二是遮挡：手指包住物体时，视觉信息大量丢失，触觉往往是少数还能用的信号。

两种路线未必互斥。从视觉生成触觉可以降低数据采集的成本，而真实的触觉信号，可能决定了接触阶段能做到多精细。

Sharpa 对触觉的理解本身也经历了演进。

张凯峰回忆，早期团队关注的是多模态学习中的「模态竞争」：如果一个任务靠视觉就能完成大半，模型很容易走捷径、依赖视觉而忽视触觉。与清华合作的 SaTA 就是这一阶段的工作，它把触觉特征锚定到手部运动学坐标系中，让策略能够推断物体在手中的几何位置，在 USB-C 盲插、灯泡安装等亚毫米精度的任务上，成功率最高提升 30 个百分点。后来团队逐渐认识到，触觉更像是底层的「反射弧」，应当放在 System 0 中做高频的调整和适应。

与英伟达合作的 Tacmap 则从仿真端补齐了这一环，它把仿真与真实的触觉信号统一到同一种几何表示中，使仅在仿真中训练的手内旋转策略可以零样本迁移到真实机器人。

• 论文标题：Tacmap: Bridging the Tactile Sim-to-Real Gap via Geometry-Consistent Penetration Depth Map
• 论文地址：https://arxiv.org/pdf/2602.21625

三条线在底层汇合

回头看，三条主线最终指向同一个位置。

在张凯峰描绘的架构中，触觉和本体感知放在底层的 System 0，视觉、语言乃至声音等承载高层语义的模态放在上层的 System 1 和 System 2。主线一、二解决接触数据从哪里来，主线三解决接触信息如何跨本体复用，二者都在为 System 0 提供燃料。「目前我们是围绕数据进行的，」张凯峰说，「未来这些路线会逐渐合并到一起。」

合并的逻辑，对应 Sharpa 的「飞轮」思路：好的硬件带来好的数据，好的数据训练出好的模型，真实世界的部署再反过来为硬件、数据和模型的迭代提供反馈。

硬件在其中扮演的是研究平台的角色。张凯峰把 Sharpa Wave 的设计归结为「仿生」：与人手同构，1:1 尺寸，22 个自由度。前文提到的 EgoScale、Do as I Do 都把这几点作为研究的前提条件。从研究者的角度，他还提到两点：一是可靠性，「你不能说我用一小时就坏，坏了之后一修又要两周」；二是标定和一致性做得好，仿真与真机之间的差距小，研究者可以更顺畅地在仿真中做强化学习再迁移到真机。

今年 9 月底的 IROS 2026 上，Sharpa 发布了 D01 整机、W02 灵巧手和 AE01 触觉反馈数据手套。其中 AE01 是一款 22 自由度的外骨骼手套，指尖可提供振动触觉反馈，面向的正是遥操作与数据采集这两个环节。

真实部署方面，Sharpa 与 Dairy Queen 联合打造的机器人暴风雪餐厅于 8 月 29 日在上海吴江路开业，机器人需要独立完成从点单到交付的 55 步流程。据报道，其中 98% 的步骤涉及触觉。这类长时间、连续运行的真实场景，正是飞轮中「真实世界反馈」的来源。

最后一毫米

灵巧操作距离真正可用还有多远？张凯峰的判断相对乐观。他认为，单刚体的类人灵巧操作有望在未来 3 到 6 个月内取得突破；从整体来看，「可能在两年左右的尺度上，这些问题都能够被解决」。

这个判断背后，还有一个更大的变量。通用大模型的空间推理能力正在快速提升，原本被认为需要依靠机器人数据才能解决的问题，正在被不使用机器人数据训练的模型逐步攻克。System 2 和 System 1 会不会最终被大模型公司吸收？张凯峰并不回避这个问题。他的看法是，把 System 0 和模型本身做好，就能够快速适应这样的新潮流。

这或许也是理解 Sharpa 学术主线的一个角度。上层的推理和规划，可能会越来越多地由通用模型承担；但手指与物体接触之后的那一毫米，需要高频的触觉反馈、需要与本体紧密耦合的控制，也需要专门采集和设计的数据。这一层，可能是具身智能的分层架构中最难被通用模型替代的部分。

过去一年，越来越多的团队开始把触觉写进模型架构，把接触交给高频的底层，这条路线正在从一家公司的判断，变成学术界的共同议题。Sharpa 与英伟达、香港大学、伯克利、清华、上海交大等合作者的十余篇论文，构成了这一转向中一组相当集中的样本。灵巧操作的「最后一毫米」，正在由他们一起向前推进。