98年哈工大长聘教授创业：触觉驱动的机器人世界模型，能否成为下一个突破口？

人形大讲堂获悉，近日哈尔滨工业大学（深圳）计算机科学与技术学院长聘教授、博导杨朔已创立破晓智能（PHANES AI），聚焦人类数据、触觉感知与世界模型研究，目标是让人形机器人完成全身移动灵巧操作。

目前公司已组建数十人团队，覆盖数据、模型、机器人控制与硬件系统

PART 01

机器人伸出手之后，发生了什么？

机器人伸出食指，按向喷壶上的扳机。从摄像头里看，指尖已经贴上去了，动作判定通过，但水没有喷出来。

视觉告诉系统一切正常，但物理世界里，手指只碰到了按钮表面，并没有真正压下去。"手指贴在按钮上"和"按钮被按下"，对摄像头来说几乎是同一幅画面对触觉来说，两者之间隔着清晰的压力差。

这类"看起来做对了、物理上却没完成"的失败，是当前人形机器人训练数据体系里一个尚未被填补的缺口。

过去一年，人类操作数据正在成为机器人学习复杂操作的主流路径。NVIDIA EgoScale证明，第一人称人类操作数据在灵巧操作训练中具备Scaling Law；Generalist / Gen-1则进一步显示，大规模人类数据预训练结合少量真机数据后训练，可以明显提升机器人在长程、复杂任务中的成功率。这两条研究线索指向同一个方向：让机器人先从大量人类数据里学会动作过程和任务结构，再用少量真机数据对齐，比从头采集机器人数据更容易规模化。

但这条路线有一个共同的缺口：视频里记录了人怎么做，却没有记录人手真正感受到了什么。手指压在哪里、力有多大、物体有没有滑、接触是否稳定，这些信息在图像里不完整，甚至根本无法还原。

破晓智能的判断是：光有视觉不够，光有动作轨迹也不够。触觉，才是让机器人真正完成操作的关键模态。

PART 02

这条技术路线，是怎么走出来的？

杨朔出生于1998年，26岁获评哈工大（深圳）计算机学院长聘教授、博导。他曾获Google Ph.D. Fellowship，是当届全球9位获奖者之一，博士阶段工作入选ICLR Best Paper Finalist，以第一作者、通讯作者身份发表TPAMI、ICLR、ICML、NeurIPS、CVPR等顶会顶刊论文50余篇，同年获评国家级青年人才。

他的研究方向，多模态大模型、Data-Centric AI、可信AI、计算机视觉与具身智能，有一条内在逻辑：从数据出发，追问模型应该用什么数据学习。到了机器人这里，问题变得更具体：机器人应该用什么数据学习真实操作？答案不只是视觉，不只是动作轨迹，而是包含了人在操作时真实感受到的物理接触过程——触觉。

这个判断，推动杨朔团队围绕触觉数据展开了一条系统性的研究路线。

PART 03

EgoTouch、TouchAnything、TouchWorld：三步在解决什么？

第一步是EgoTouch，解决触觉数据如何采集。它把第一人称视频、腕部视角、手部姿态和双手压力图放进同一套采集系统，让人类操作视频带上接触和压力信息。团队围绕刚性物体、柔性物体、抓取、拧动、工具使用等任务，采集了人类在真实操作中的视觉和触觉数据。

EgoTouch 第一人称视觉 - 触觉数据采集系统。

第二步是TouchAnything，解决触觉数据如何规模化。带触觉传感器的数据采集成本高、规模小，难以覆盖所有场景。但互联网上已经有大量第一人称人类操作视频。TouchAnything用EgoTouch这类视觉-触觉对齐数据训练模型，让模型学会从普通第一人称视频中估计双手接触区域和压力分布——只看视频，也能推断手指哪里碰到了物体、压力如何分布。这相当于把少量带传感器的数据，扩展成更大规模的触觉监督，是整条路线的数据放大器。

TouchAnything 多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手 3D 姿态，通过多视角视觉特征融合与姿态感知融合，预测双手压力分布图，从而从纯视觉视频中恢复触觉信息。

有了前两步的积累，第三步才有了站得住脚的基础。TouchWorld是这条路线第一次完整亮相，它做的事情是两点：让机器人在动作前预判触觉目标，在接触后根据真实反馈快速修正。

TouchWorld 在浇花、抽纸巾等六项真实机器人任务中完成测试。

所谓预判是让机器人在执行子任务前，同时预测未来的视觉画面和触觉图——哪根手指应该产生压力，压力出现在指尖还是掌侧，接触强度大致应该达到什么状态。这相当于给机器人设定了一个物理目标：画面对了不算完成，手指真正压出了预期的接触，才算完成。

所谓修正是在机器人真正接触物体后，系统持续读取触觉信号和关节状态，在原本动作上叠加细小调整：手指往左偏一点，握力加一点，手腕角度微调一点。这个反馈回路的频率是上层触觉世界模型的4倍，处理的是训练时没有遇到过的那些微小偏差——杯子放偏了几厘米，插头接触时略微倾斜，灵巧手因为发热导致关节出现误差。

在浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾六项真机任务中，TouchWorld在无额外干扰的场景下取得65.0%的平均成功率，加入目标移动、抓握干扰等人为扰动后为57.2%，分别超过最强基线15.7和16.0个百分点。每项任务采集了200条遥操作训练轨迹，并进行了100次真机评测。这个结果验证了一件具体的事：触觉可以作为有效信号进入机器人世界模型和操作策略，而不只是停留在传感器读数层面。

PART 04

为什么光做模型还不够？

理解破晓智能为什么同时布局数据和硬件侧，有一个细节很能说明问题。

团队在早期采集高自由度灵巧手的触觉数据时，曾把触觉手套裁剪后硬套到五指灵巧手上，自己搭出一套真机采集方案。这套方案跑通了，但也暴露了整个方向的系统性挑战：手套的损耗、灵巧手发热带来的标定漂移、采集噪声，这些问题单独看都不算核心技术难题，但互相钳制，决定了触觉灵巧操作能否真正走出实验室。

这段经历直接强化了一个判断：在触觉灵巧操作里，数据本身就是基础设施，必须自己建。

破晓智能正在搭建面向人类操作的多模态数据采集平台，方向是低成本、无感便携、全场景的数据采集，把第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息放进同一套系统。只有这样的数据足够多，TouchAnything才能从视频中恢复触觉，TouchWorld才能进一步学习如何预测接触、使用触觉。

在此基础上，HumanWBC进一步把感知理解、自主移动、全身控制、双臂协同、灵巧手操作和触觉反馈连接起来，指向更长程、更复杂的真实任务——让机器人从桌面操作走向真正的全身移动灵巧操作。

PART 05

触觉之后，机器人还差什么？

从EgoTouch到TouchAnything，再到TouchWorld，破晓智能已经把这条技术路线推进到了真实机器人操作系统里。每一步都在回答同一个问题链的下一段：触觉数据从哪里来，如何从视频里低成本恢复触觉，触觉如何进入世界模型，以及最终如何支持人形机器人完成全身移动灵巧操作。

机器人要进入家庭、服务、工业等真实场景，必须知道自己有没有碰到、有没有抓稳、有没有滑、力是否合适，以及动作偏了以后该如何修正。这些能力不能只靠视觉和语言推断，需要直接的物理反馈。

破晓智能选择从触觉切入，并把数据、模型、控制和硬件当作一个系统问题来解，逻辑来自研究的积累，也来自真机实验里摔过的跟头。这条路还长，但方向已经在真实的机器人任务里留下了可测量的痕迹。