机器人到底需不需要“世界模型”？

来源：DeepTech深科技

运营/排版：何晨龙

9 月 20 日至 21 日，以“下一代物理智能前沿”为主题的 PAIR Conference 2026 在上海举行。会议由上海物理智能与机器人研究院举办，大会邀请来自高校、科研机构及产业界的多位专家学者参与，围绕下一代智算系统、下一代智能载体、下一代科学发现和下一代计算范式等方向展开讨论。

在“下一代智能载体”专题论坛上，报告与讨论围绕机器人如何感知环境、完成操作并持续学习展开。最后的圆桌以《从“看懂”到“做好”：物理 AI 时代的具身智能突破》为题，讨论了一个具体问题：机器人是否一定需要世界模型？

圆桌讨论由清华大学机械工程系副教授李曙光主持，三位研究者参与对话，他们分别是清华大学航天航空学院副教授眭亚楠、上海交通大学浦江国际学院助理教授班雨桐，以及清华大学交叉信息研究院助理教授杜韬。

图 | （左起）李曙光，眭亚楠，班雨桐与杜韬进行圆桌讨论（来源：现场图）

机器人拿起一个杯子，既要找到它，也要控制动作，避免碰倒旁边的物体。世界模型研究中的一种思路，是让机器人提前预测动作的后果，再决定如何行动。这样做有望减少真实环境中的试错，但也需要额外的数据和计算。

当李曙光追问世界模型是不是“必要的环节”时，三位嘉宾给出的回答各有侧重。他们的分歧，来自各自面对的研究对象，也来自对“世界模型”不同的理解。

以下内容根据圆桌讨论整理。

眭亚楠：认识世界，未必需要复杂的外部模型

眭亚楠首先把问题落在机器人自身。它一定需要某种“先验”，也就是行动前对自身和环境已有的认识。但这些认识应该多具体、以什么形式保留，才能帮助机器人完成任务，目前还没有统一答案。他的倾向是：“也许不需要复杂的外部模型。”

以拿杯子为例，机器人需要知道机械臂能到达哪里、杯子处在什么位置，以及怎样抓取才不容易滑落。至于房间里每一件物品的外观是否都被精细重建，对眼前这次操作未必有价值。模型要保留多少细节，需要由任务来决定。

这种判断与他的研究对象有关。眭亚楠的团队研究人的神经、肌肉和骨骼如何共同控制运动，也研究这样的身体如何与机器人、可穿戴设备及外部环境交互。对他们来说，“世界”里不能缺少人，也不能只用一个人体外形来代替人的运动系统。

静态结构与动态运动之间，还有很多需要补上的内容。解剖学可以描述肌肉和骨骼的位置，但当人抬手、迈步，与设备接触时，具身人体模型还得解释身体如何运动、怎样受力。要让辅助设备配合人的动作，这些动态关系直接影响控制效果，值得进一步细化。

他介绍，肌肉和骨骼如今可以建模得相对清楚，团队正在逐步加入神经系统。外周的运动神经和感觉神经，已经能够得到越来越细致的描述；涉及中枢神经系统时，难度依然很大。人的运动模型也因此需要逐层推进。

身体与环境接触的界面，同样是他关注的对象。只有刚性的骨骼结构，很难覆盖真实交互中的全部情况，皮肤和软组织也需要进入模型，刚柔结合的系统，既能敏捷运动，也更好与物理环境配合。

谈到世界模型的表达方式，眭亚楠区分了两条路线：一条对世界作抽象表达，保留重要的状态与关系；另一条尝试对人、机器和环境进行更具象的模拟。近几年，图形学、计算机视觉等领域的发展，让后一条路线有了更多实现的可能。但增加的细节能否帮助机器人完成任务，仍需要具体判断。

当讨论延伸到自进化系统时，他还提醒，“进化”是一个中性的词。主持人问，未来能否演化出更有用的手，他认为有可能，但环境本身也在改变，一种结构在当前条件下好用，换一种条件未必如此。身体结构、控制方式与环境需要一起考虑，“进化”不会只朝某一种固定形态前进。

班雨桐：世界模型有价值，但未必最优

班雨桐对“是否必需”的回答更直接：“不一定。”在他看来，讨论之前先要澄清定义。不同研究者口中的世界模型，可能指向不同的东西，不能把这些工作当作同一种技术来判断。

他更关注的是根据当前动作预测后续结果：机器人向前推一点，物体会怎样移动；换一个抓取姿态，接下来会发生什么。预测可以用视频、三维场景或其他形式表达，重要的是把“采取什么动作”与“会有什么后果”联系起来。

研究者希望模型在这个过程中学到物理规律。但班雨桐提醒，让预测画面接近真实图像，或让三维结果接近观测，并不保证模型就理解了运动和摩擦。数据增加后，能力也许会提升；至于学习这些物理关系是否还有更好的办法，仍值得探索。

这种保留与他的操作研究有关：无论是夹爪还是灵巧手，抓取、移动物体都离不开接触，接触又涉及受力和摩擦。一个物体看起来没有变化，表面的摩擦条件变了，原来的动作就可能不再有效。机器人需要应对的是这些会改变操作结果的差异。

在具体算法上，班雨桐的团队关注动作模型的设计，包括怎样更快地推理、怎样处理较长的任务。其中一项工作要求机器人连续按三次按钮，模型就得分清已经按过几次。团队为动作模型加入处理历史信息的机制，让它更好地完成这类任务。这里需要改进的是对任务进度的记忆，而不只是对下一步画面的预测。

而手术机器人研究又提出了另一类要求。团队尝试让双臂机器人完成抓针、打结等操作，其中有些任务来自医生的手术技能训练。在这类场景中，安全需要成为明确的步骤。班雨桐强调，系统要对重要组织和血管设置显式的安全约束，不能只期待机器人在完成任务的过程中自行避开风险。

预测可以提供行动依据，安全约束则规定哪些动作不应执行。即便一个动作有助于接近目标，只要越过安全边界，就需要受到限制。这样的任务要求，让“模型能预测什么”与“整个系统允许机器人做什么”成为需要分别处理的问题。

对于机器人今后如何自我改进，班雨桐提出一种设想：随着底层操作模型变得更可靠，可以在其上搭建更完整的任务执行框架，由其他模型监督执行结果，帮助机器人纠错。他也谈道，目前这类工作并不多，一个重要原因是底层模型的能力还不够，尚未提供足够好用的工具。

从这些研究和设想看，机器人提高操作能力需要同时处理记忆、安全和反馈等具体问题。世界模型或许可以为系统提供更好的预测依据，但它能具体带来多少收益，则要看这些预测怎样进入实际操作。

杜韬：仿真最难的是“最后一公里”

杜韬的看法则不同，他没有直接判断世界模型是否必要，而是选择从自己熟悉的仿真谈起：在计算机里建立一个环境，与让这个环境足以指导真实机器人，是两种难度的工作。

按物理规律搭建的仿真器，有明确的方程和参数，可以追溯运动结果是怎样算出来的。杜韬提到，图形学领域也讨论过，这类仿真是否可以被理解为一种世界模型。如果把世界模型理解为对环境及其变化的描述，那么传统物理仿真也在承担其中一部分工作。

他的团队较多研究流体和软体仿真。这类模拟涉及复杂的计算系统，既要把运动过程算得准确，也要让计算速度足够快。团队会研究如何在图形处理器上并行计算，以及怎样设计更高效的求解方法，还尝试把深度学习引入求解过程。仿真能否用起来，本来就需要在精度和计算开销之间反复权衡。

真正耗费精力的，还有仿真与真实世界之间的差距。杜韬的经验是，用相对低的代价做出大体正确的仿真并不难，但要补齐“最后一公里”，成本可能远超预期。比如，公式可以描述摩擦如何影响运动，眼前材料的摩擦参数、装置的细小误差，却仍需要测量和校准。这些工作涉及算法，也涉及大量工程和真机测试。

通过“可微分仿真”，计算机还可以估计参数的微小变化如何影响结果，进而优化动作或设计。杜韬坦言，能否计算这些变化，与它们能否在具体任务中带来收益，是两回事。技术上写出这样的框架，与把它在工程中做好，难度也不同。方法是否值得采用，仍要看它能否改善具体任务的结果。

在他看来，系统若要持续改进，落脚点是搭出一套能够自主运转的流程。对团队研究的非传统构型机器人而言，第一步就可能卡在硬件上，比如设计出来的结构，能否被稳定地搭建和测试？同时，后续还需要足够的数据，才能让测试结果进入下一轮改进。

涉及软体、流体的真实交互数据，不像文本和图像那样充足，研究者往往还得自己采集、清理。若这些环节需要持续由人补上，仅仅让模型反复更新，还无法让整个研究流程自行运转。在这种条件下，计算和仿真仍是重要支撑，即便仿真不完善，也不得不用。

不过，杜韬并没有把这种选择当成最终答案。他认为，仅靠按照已知物理规律搭建的仿真，还不足以处理真实世界中复杂、难以精确描述的因素。他期待有模型能补上这部分能力；它可能是世界模型，也可能来自别的方法。新的模型能否真正补足这些缺口，仍需要和真实系统放在一起检验。

眭亚楠对模型复杂程度的保留，与班雨桐对世界模型是否最优的疑问，都为机器人理解环境的方式留出了选择：机器人需要对世界有基本认识，并不意味必须先建起一个复杂的预测模型。杜韬关于仿真“最后一公里”的提醒，又给这种选择加上了现实约束。模型要精细到什么程度，既要看它能否帮助机器人做好任务，也要看缩小它与真实世界的差距，需要多少测量、计算和工程投入。

回到最开始的问题，如果只是完成具体操作，机器人未必需要一个独立的世界模型。世界模型的潜力在于，它可以让已经获得的经验在新任务、新环境里继续发挥作用，减少昂贵的真机试错。至于它能否成为通用机器人的关键环节，最终要看这些预测能否让机器人少依赖一些人工干预，同时更可靠地把事情做好。

注：封面/首图由 AI 辅助生成