Astra之后「世界模型VS大语言模型」：共识与分歧

作者：SY

出品：明亮公司

OpenAI发布的GPT-6 Astra在具身任务中展现的泛化能力，让语言模型与物理世界之间的关系再次成为业界关注焦点。语言能力能够在多大程度上迁移到真实行动？大语言模型与世界模型会走向统一，还是继续以不同模块协同？

10月11日，由通用世界模型北京重点实验室主办、北京极佳视界科技股份有限公司承办的2026世界模型高峰论坛上，5位来自中国产学研领域的AI从业者，共同探讨了语言模型与世界模型的关系及未来融合趋势。

「明亮公司」在讨论中发现，一个较为清晰的共同判断是，语言推理、视觉感知与物理世界交互需要更紧密地结合，当前的核心瓶颈是交互数据稀缺，需通过遥操作等手段突破。未来3-5年，具身智能将从简单生成迈向复杂决策，实现因果推理与零样本泛化。

该场圆桌论坛由极佳视界王啸峰主持，参与讨论的嘉宾有：复旦大学教授、上海创智学院全时导师张力，清华大学深圳国际研究生院助理教授于超，北京交通大学计算机学院教授靳潇杰，无界动力联合创始人兼CTO夏中谱，以及清华大学助理研究员张博睿。

问题一：语言模型和世界模型未来会成为统一模型中的不同能力，还是继续发挥各自优势、相互互补？

五位嘉宾一致认为，语言与物理世界的信息具有互补性，未来会更加紧密地融合。语言擅长表达抽象概念、任务意图与高层关系，但难以完整描述真实操作中的细节；视觉与交互信息能够补齐这些细节，却也需要更有效的方式提取与任务相关的知识。

不过，能力需要融合并不等同于当下就能用一个模型解决所有问题。大家对融合应当发生在系统层面、还是模型层面，现有数据与训练方法是否足以支持统一这些问题仍存在不同看法。

张力：大语言模型和世界模型各有优势，从当前的共识看，构建具身智能需要一个系统，而不是单一模型。大语言模型可以负责长程任务的理解、规划和调度，视觉语言动作模型，也就是VLA，或者世界动作模型，负责执行高层意图；再往下，还有适配人形机器人、灵巧手等不同本体的运动控制系统。这些能力可以相互协调分工。

未来的潜力在于，我们可以用统一的潜空间表征，同时支持文本推理、图像和视频预测，以及动作解码，这是值得探索的方向。但现阶段，系统层面的协同仍然很重要。

于超：世界模型本质上是它的表征，语言模型也包含了对世界的某种理解，只不过它通过预测下一个Token来学习和表达。从更加宽泛的世界模型的概念层面看，如果多模态都有一个模型统一输出，就像人一样，既可以理解文字，也可以理解视频，这是最高智能的体现。今天的智能追求的就是能够处理多模态的信息，同时具备多模态的输出能力，在这个层面上可以理解为是统一模型。

人的理解能力不会只在一种模态里发挥作用。一个人能把一件事做好，往往也能把另一件事做好，背后是逻辑、理解和抽象能力的迁移。我觉得模型也是如此，无论输入是语言还是视频，最终都应当服务于对世界的理解。统一模型更有利于不同知识之间的融合，也会更好赋能给下游任务。

当然，统一不意味着所有应用都使用同样大小的模型。具身场景需要实时交互，可能使用较小的模型；更广泛的数字任务可以使用更大的模型。先形成能力更强的大模型，再蒸馏出适配不同场景的小模型，是我比较看好的一条路线。

靳潇杰：如果我们希望机器人完成真实任务，它需要的信息必须足够全面。但语言有自己的局限性，有些操作细节、物体与环境之间的关系，很难仅靠语言描述清楚。这时候就需要视觉和世界模型来补充。

所以，我认为两种能力一定要结合。单独依靠语言模型，很难成为具身智能的最终方案。融合的更好的方案才是我们想要的结果。

夏中谱：从工业的角度看，这和我过去在自动驾驶领域的经历非常类似。我们经历过不同系统并行，再逐步融合的过程。从最初的VLM到端到端，再到两者的结合。

语言可以看作对物理世界信息的高度压缩，图像是物理世界非常细节的描述。比如，红灯停可以用很短的一句话表达，但在一张图片中，红绿灯可能只占很少的像素。模型要从大量视觉细节里学到这个关键规则，并不容易。因此，世界模型需要语言提供帮助，语言模型也需要世界模型补足细节。

两个模型之前是使用语言进行模型之间的交互，未来两个模型可能在一个空间中进行交互，从信息输入到输出，信息传输的损失、信息的瓶颈是最小的，最终会合成一个模型。现在还没有完全统一，一个重要原因是数据。我们缺少同时覆盖语言、视频和动作的联合训练数据，尤其缺少真实交互中的动作数据。随着这些数据逐渐增加，我认为融合会继续推进。如同OpenAI GPT-6加入Ego数据以后，在机器人上面也有比较好的表现，当数据量不断提升，这个效果还会进一步提升。

张博睿：在2026的时间点，大家所说的语言模型和世界模型合并这件事，还是很难做到。

从数据层面看，语言数据与物理交互数据的规模差异非常大，把它们直接混在一起训练，模型可能主要学到了语言能力，而视觉和物理交互能力没有得到充分建模。

在当前情况下，让不同模块发挥各自优势，仍然是现实的选择。目前我们看到的主流方式，如Cosmos 3、π0.7，通过使用VLA或不同的Bagel的模型外挂来实现。

从长期来看，两者走向统一是趋势。在Astra推出之后，我们看到，以语言为媒介进行具身长程规划是有价值的。语言擅长表达高层关系和进行推理，视觉擅长保留具体细节。如果模型能够同时利用两类信息，能力会更加完整。

问题二：从生成世界，到智能体在真实世界中学习或行动，最需要突破的能力是什么？这种能力如何改变人们训练语言与物理世界的范式？

让生成的环境真正服务于训练、决策与能力提升，是此轮讨论的共同出发点。对于下一步的首要突破口，大家的关注点并不相同，如：物理准确性、因果理解、结果验证、自主学习目标，以及生成与决策的闭环等。

张博睿：在具身领域，仿真效率和物理准确性是让模型准确的两个能力要求。

一方面，如果生成数据的效率不如直接让人采集，仿真的价值就会受到限制。另一方面，生成结果必须尽可能符合物理规律，不能只是复现训练数据里的表面分布。如果仿真本身有偏差，用它训练出来的策略也可能继承这些偏差。

在此基础上，我还希望模型能够从失败和次优轨迹中学习。现在我们经常保留成功轨迹，把失败的数据丢掉，这其实是很大的损失。真实交互不可能每次成功，如果模型只能从最优示范中学习，就很难充分利用部署之后产生的经验。

夏中谱：现在我们用世界模型生成数据，也用它校验策略，我们不需要在真实场景中校验，只需要在仿真环境中完成，但只要存在幻觉，训练和评测都可能出问题。要解决这个问题，模型需要更好地理解物理世界的因果关系。

同时，虽然我们采集到了大量的物理世界的数据，问题出现是因为大部分数据是失败的数据。我们容易采集到正常拿杯子的过程，却很少采集杯子掉落、摔碎的过程；自动驾驶也一样，正常行驶的数据很多，碰撞数据极少。

现实中，我们不能把所有“corner case”的数据都采集出来，此时通过模型层面的结构变化、或泛化性上进行提升是完全可以是实现的。我更希望模型能够学到可迁移的规律，理解一个物体为什么掉落之后，将这种理解迁移到没有见过的物体上。当然，这需要模型和数据两方面共同推进。

靳潇杰：我想得可能更往前一点，模型能不能自己知道应该学什么，自己去找目标。

现在主要是人给它数据、设定任务，让它按照我们的要求学习。我期待它能够判断自己缺少什么技能、哪个操作环节做得不好，然后主动形成学习目标。如果它知道自己需要补足什么，就可以更有针对性地在仿真环境中练习，我们也可以为它搭建对应的真实场景。

当然，这件事具有很大的挑战性。人有时候也不知道该给自己设定什么目标。但我觉得，让模型根据自身能力和环境变化，逐步形成学习目标，是一个很有意思的方向。

于超：从我的切身体会看，验证目前是强化学习闭环里很关键的一个缺口就在这里，也就是系统能否准确判断一次行为做得对不对。如果有足够好的验证，我们已经可以让很多环节运转起来。

数字世界中的规则和结果相对容易定义，但物理世界里的验证困难得多。模型可能判断不对，也可能延迟太高，无法及时提供反馈。预测能力和验证能力之间也有关联，你对环境和后果理解得不够好，就很难正确评价一个动作。所以，我认为可靠、及时的验证，是当前制约具身学习的重要问题。

张力：我更关心生成与决策如何形成闭环。

首先，我们还没有把“生成一个适合学习的世界”这件事完全做好。这个世界不仅要有场景，还要有可用的数据和评测机制。

其次，我们不能只扩大模型，也要扩展学习环境。机器人在环境里行动，产生的经验能不能反过来帮助世界模型变得更好。世界模型提高以后，又能不能帮助机器人学到更好的策略。

我期待的是两者相互促进。生成环境和训练决策器，不应该是彼此独立的两件事。

问题三：如果要把世界模型做大，应该优先增加数据、积累真实交互经验，还是扩大模型规模？

在扩大模型、增加数据和积累真实交互经验之间，五位嘉宾都将数据放在优先位置。不同之处在于：应当怎样理解有价值的数据，以及怎样把它真正做大。

张力：我会优先押注可规模化的交互数据。因为我们希望模型理解的是，当前处于什么状态，执行某个动作后，世界会怎样变化。这种变化会影响决策，新的决策又会产生新的经验，反过来改进世界模型。如果我们能够持续获取这样的数据，就有机会把因果、预测和决策更好地连接起来。

于超：当前具身领域最缺的还是数据。获取算力当然有资金上的约束，但就目前的技术发展而言，数据是更直接的瓶颈。

靳潇杰：我同意优先扩大数据，但在此之前，要先想清楚我们需要怎样的信息密度。

语言之所以能够有效地规模化学习，一个原因是信息密度比较高。世界模型面对的数据包含大量细节，我们希望它重点学习什么，什么样的表征能够保留真正有用的信息。这些问题没有想清楚，单纯增加数据未必能够带来相应的能力提升。

夏中谱：我会强调两个词——交互和高质量。交互数据包含了互联网数据中缺少的动作信息。但高质量怎么定义，也很重要。我们在实验中看到，不同的数据分布，会训练出很不一样的模型。

因此，我们会关注场景、背景、物品、技能和任务目标的覆盖，以及它们之间的组合。不能只有少数场景、少数技能的数据特别多，其他情况很少。尽可能充分、均衡的分布，是我理解的高质量数据的重要部分。

张博睿：我赞同数据的重要性，但我想进一步问，这些数据怎么才能真正做多。

遥操作采集成本高，也很难铺到各种场景。通过人的演示、手套或者便携采集设备，可以降低部署和使用门槛，但这些方式对灵巧手等复杂机构的覆盖仍然有限。

所以，规模化不只是提出一个数据量目标，我们需要找到办法，以足够低的成本，把采集带到不同场景里。另外，世界模型的规模化规律还没有被充分验证。语言模型的经验值得参考，但具体怎样扩大数据、模型与训练投入，仍然需要实验回答。

问题四：3年之后，最期待的通用世界模型的能力是什么？这一能力值得当今持续投入的原因。

对于未来，大家一致认为，世界模型的价值能够体现在更复杂的现实任务中。但对于最具代表性的突破会出现在哪里，并没有统一答案。

张力：如果只是从世界模型的角度出发，我期待它对未来的预测，能够真正帮助机器人做好规划。比如，在机器人照看儿童的场景中，机器人能不能预判孩子接下来的动作，并提前作出适当反应。我看重的是，预测能力如何转化为实际场景中的行动能力。

于超：我会更期待通用模型还能变得多强，以及它能给具身智能带来什么。世界模型的概念很宽泛，专门去仿真世界是一条路线，通用模型不断增强也是一条路线。对于前者，我还保留一些判断；对于后者，我比较期待。比如，OpenAI直接可以做具身智能的事情，也许在2027年就会发生。

靳潇杰：短时间内我还是期待世界模型和具身模型能够完成真正没见过的新任务。比如，给它一个陌生的玩具或家具，没有说明书，或者只有残缺的说明书，它能不能通过探索把它装好。这要求模型知道自己哪里做错了，能够调整方法，再继续学习。我觉得，这样的任务很适合检验它有没有自主提升能力，也关系到它能否进入更广泛的应用场景。

夏中谱：我期待它能够帮助我们提前发现风险。如果世界模型具有足够好的因果理解和预测能力，把它放进车辆、智能眼镜等设备里，能不能提前一两秒发现可能发生的危险，给人争取规避的时间。哪怕只是短短的一两秒，在某些场景里也很有价值。这是我觉得值得持续投入的应用方向。

张博睿：我期待两个方面同时进步——预测的准确性，以及能够处理的任务复杂度。目前的世界模型很像大语言模型在2021年左右的状态，那时GPT-3刚刚推出。

准确性是指预测要更符合物理规律，才能用于真实决策。复杂度是指，它不能只预测下一帧，而要能够支持更长、更完整的任务过程。

我希望未来给模型一个目标，它能够帮助我们把整个问题解决，而不只是完成其中一个局部步骤。语言模型和世界模型如果能够进一步结合，我认为会对这件事有很大帮助。