大模型从60分走到90分，下一代AI的突破在哪里？｜对话上交大陈明达

2022 年，陈明达博士毕业后加入 Meta 基础人工智能研究院（FAIR）。当时，前沿 AI 实验室仍在探索大模型的能力边界。研究者可以从一个未经验证的想法出发，设计实验、训练模型，再根据结果决定是否继续投入资源。不同技术路线之间，还有相当大的探索空间。

几个月后，ChatGPT 的出现改变了这一局面。

大模型展现出的能力超出了许多研究者的预期，也让 Scaling（规模化）成为行业最受关注的研发路线之一。科技公司开始集中算力、数据和人才，围绕更大规模的模型展开竞争。前沿 AI 研究越来越依赖大规模工程投入，希望通过持续扩大规模，推动模型能力不断提升。

陈明达所在的 FAIR 同样经历了这一转变。他先后参与 LLaMA、Chameleon 等项目，见证了 Scaling 推动模型能力快速提升的过程，也看到一些尚未成熟的技术，即使投入大量资源，依然难以取得预期效果。

过去四年，大模型在语言理解、数学推理和编程等方面取得了显著进展。但在陈明达看来，这些进步还没有解决所有基础问题。

“四年前 ChatGPT 能做 60 分的事情，现在可能已经能做到 90 分。但四年前做 0 分的事情，现在可能还是 0 分。”

今年年初，陈明达回到上海交通大学人工智能学院任教。他希望把更多精力投入到发现 AI 的下一个突破口，在高校相对自由的研究环境中，重新探索不同的技术路线。

其中一个方向，是让 AI 在决策的过程中更好地利用过去的经验。在 Meta 参与的最后一项研究中，陈明达与合作者提出“流程智能”（Procedural Intelligence），从已有推理过程中提取约 3,200 万条流程性知识，让模型能够复用过去的解决问题的方法。研究发现，这类知识同样具有一定的 Scaling 潜力，也为提升 AI 在复杂任务中的推理和决策能力提供了一种新的思路。

另一个方向，是探索语言之外的基座模型。陈明达认为，今天的 AI 虽然能够生成逼真的画面，但仍然缺乏从海量视觉数据中学习物体运动、空间关系等规律的成熟方法。如何像 GPT 学习语言一样，让模型直接从大量无标签的视觉数据中获得新的能力，可能是下一代 AI 需要突破的基础问题。

近期，DeepTech 在上海与陈明达进行了一次对话，聊到了他在 Meta 参与大模型研发的经历、从工业界回到学界的原因，以及下一代 AI 可能出现突破的方向。

在他看来，未来 AI 的进步有两个同样重要的方向：一是探索新的技术路线，让模型获得原本不具备的能力；二是让已有能力变得更加准确、可靠，最终真正进入现实世界。

以下为 DeepTech 与陈明达的对话，经编辑整理。

DeepTech：你本科读的是数学专业，后来转向自然语言处理，能先简单聊聊这段经历吗？

陈明达：我本科在浙江大学数学系就读，到了大三，第一次接触机器学习和神经网络，发现自己对这些方向更感兴趣。相比数学系里比较抽象的研究，机器学习让我感受到了一种不同的研究方式。后来我去美国读博士，主要研究自然语言处理，逐渐从数学转向 AI 研究。

当时 AI 有几个主要方向，包括计算机视觉、自然语言处理、语音等。我比较感兴趣的是语言，因为它和日常生活联系得更紧密，也让我觉得更接近真正的智能。当时计算机视觉领域的很多任务还集中在图像分类等方面，而自然语言处理已经开始涉及更复杂的问题，所以最终选择了这个方向。

DeepTech：最近 AI 在数学推理、定理证明等方面的进展很快，甚至可以说太快了。现在你会不会觉得，当年转向 AI 是一个有意思的选择？

陈明达：确实，AI 的发展有些超出了大家的预期，已经能够解决一些非常困难的问题。数学领域可能对此感受更加明显，因为定理证明往往有相对明确的评价标准，AI 在这方面有一定优势。

但我觉得，这种影响并不只发生在数学领域，整个学术界都在面临 AI 带来的变化。比如最近的 ICLR 会议收到了六万多篇投稿，而十多年前，这个会议每年可能只有一百多篇投稿，增长非常快。

其中也有大量质量并不高的论文，一些内容明显是利用 AI 生成的。这也意味着，随着 AI 能够承担越来越多研究工作，学术界原有的研究和评价方式可能都需要作出相应调整。

DeepTech：博士期间，你就在谷歌和 Meta 参与前沿 AI 研究。工业界的研究环境给你带来了哪些不同的体验？

陈明达：我比较幸运，在 ChatGPT 出现之前，就有机会接触工业界最前沿的一些研究。

2018 年到 2019 年前后，我在谷歌实习时，参与了早期大语言模型的规模化实验。那时还没有现在这么流行的 Scaling（规模化）概念，但我们已经能够观察到，使用更多的数据、训练更大的模型，确实可以让模型的能力变得更强。

这类研究需要大量算力和工程资源，当时的高校很难开展，工业界则有条件将一个想法放大到足够规模进行验证。

早期 FAIR 的研究氛围相对自由。大家对 AI 究竟能够做到什么非常感兴趣，会从一个比较小的研究想法出发，逐步做实验，再慢慢扩大规模。当时还有很多未知的问题值得探索。

DeepTech：你在 Meta 期间，正好经历了 ChatGPT 的出现。当时的哪些变化最让你意外？

陈明达：一个让我印象很深的例子是 Meta 的 Galactica。

它在 ChatGPT 上线前不久发布，主要面向科学知识领域。用户可以向它提问，让它生成和科学相关的内容。但因为它面向科学研究，大家对准确性的要求非常高，希望它能够像维基百科一样提供可靠的信息。

当时的模型显然还做不到这一点。Galactica 发布之后受到了很多批评，因为这个项目和 Meta 的主营业务关系不大，所以 Meta 因为公关的压力很快就撤下了公开演示。

ChatGPT 发布时也面临类似的问题，同样会生成不存在的事实。但 OpenAI 作为一家初创公司，把 ChatGPT 作为核心产品，选择继续保留它，通过用户反馈不断迭代，最后发展成了今天的 ChatGPT。

另一个让我感触比较深的经历，是 2025 年初一系列 Coding Agent 的出现。AI 编程能力的快速提升，很大程度上改变了 Meta 内部的研发工作流，也让包括我们在内的很多研究团队开始思考，能不能进一步利用 AI 来改进 AI 本身，也就是 RSI（递归自我改进）。

我当时在内部也推动了 RSI 相关项目，取得了不错的进展，但随着项目深入，逐渐遇到了一些阻力。这背后的原因其实和 Galactica 有些相似，并不完全是技术本身的问题，而是公司的业务重心和优先级。

对于 Meta 这样的大公司来说，最核心的目标仍然是研发和发布更强的大模型，而且模型迭代的时间线通常非常紧张。在这样的环境下，RSI 虽然有潜力带来更根本性的技术突破，但它的研究周期和成果都存在较大的不确定性，因此很难成为公司的最高优先级。相关研究也就更容易转向一些短期内可以衡量、能够直接服务于模型能力提升的任务，比如数学推理，而不是利用 AI 去探索 AI 技术本身的突破。

但从 2025 年底开始，我们看到越来越多的初创公司开始专注于 RSI 这个方向，并且已经取得了一些不错的进展。实际上，大公司在这个领域的探索可能开始得更早，也积累了不少技术和经验，但由于业务重心和组织优先级的限制，这些探索并没有真正发展成为它们最核心的战略方向。

这两个例子让我感觉，大公司和初创企业面对同一种技术时，可能会作出非常不同的决定。它们面临的压力、业务环境和风险承受能力都不一样。

DeepTech：你还参与过 LLaMA 和 Chameleon 等项目。这些经历有没有改变你对大模型研发方式的理解？

陈明达：第一代 LLaMA 给我的印象很深。它用一个相对较小的模型，就实现了当时非常有竞争力的能力。现在回头看，这似乎是很自然的事情，但在当时是一个很重要的进展。

Chameleon 也是一个非常有意思的项目。我们希望从头训练一个类似 GPT 的多模态基座模型，让它能够同时处理文本和图像等不同类型的信息。但实际做起来，遇到了很多困难。

ChatGPT 的出现改变了北美很多前沿实验室的研发方式。以前 FAIR 通常会先从比较小的想法出发，经过一系列实验验证，再逐步扩大规模。

后来，在 OpenAI 带来的竞争压力下，大家开始倾向于直接组织大团队、投入大量资源，希望迅速把一项技术做出来。

但 ChatGPT 的成功其实建立在此前很多年的研究和实验积累上。你不能只看到它最后大规模投入的阶段，就认为只要组织足够多的人、投入足够多的资源，就一定能够复制这种成功。

Chameleon 当时就遇到了类似的问题。虽然我们有一些初期积累，但还不够充分。在技术尚未完全成熟的时候，就组织大量资源去扩大规模，整个过程出现了很多波折。这件事情让我印象很深：如果一个技术方向还不够成熟，过早把它推到 Scaling 阶段，可能只会让它更快地失败。

DeepTech：这是否也解释了你为什么选择离开 Meta，回到上海交通大学？

陈明达：是一个重要原因。我觉得前沿实验室在不同时期的工作重心是不一样的。ChatGPT 出现之后，很多大公司的研究资源越来越集中在大语言模型上，希望把现有技术做得更好，同时推动商业化。

这种选择可以理解，公司需要考虑业务发展和研究投入的回报。但我个人更喜欢对自己未来的研究方向有更多决定权。

比如在公司里，研究项目可能每四到六个月就要接受一次评估。这种环境更适合做一些增量式改进，因为公司有足够多的资源，可以帮助你迅速把这些改进实现出来。

高校则允许研究者探索高风险问题。学校难以在算力和资源上与公司竞争，更需要依靠研究想法取胜。我希望回到高校之后，能够利用这种自由度，探索一些真正有可能带来突破的研究问题。

从记住知识到学会解决问题：AI 如何利用过去的经验？

DeepTech：过去几年，AI 在问答、写作等常见任务上的表现越来越可靠。从研究者的角度看，这种进步主要来自哪些方面？

陈明达：首先肯定是模型整体能力在提高，包括训练方式、模型架构，以及规模上的持续改进。但我觉得还有一个很重要的因素，就是真实用户数据的积累。

随着越来越多的人使用 AI，模型开发者获得了大量真实的用户交互数据，可以根据这些反馈不断优化模型在实际使用场景中的表现。这些数据非常宝贵。大部分人的使用场景其实比较相似，比如问答、写作、信息查询等。通过大量反馈，模型在这些常见任务上的表现已经有了很大的提升。这些数据的积累，搭配上 RSI 这个强大的工具，极大的加快了模型迭代的速率。

不过，我认为在复杂场景里，模型仍然有很大的进步空间。

DeepTech：如果从常见的问答、写作进一步转向复杂任务，AI 面临的挑战可能就不只是回答是否准确，还包括如何利用过去的信息和经验。随着 AI 智能体开始执行持续时间越来越长的任务，现有的长上下文和外部记忆技术，能够满足这些需求吗？

陈明达：这两种方法都有自己的优势和局限。长上下文能够让模型一次看到更多信息，相对比较准确，但计算效率比较低。外部记忆模块的效率更高，却可能在检索准确性方面存在问题。

还有一个很大的困难，是我们缺少来自真实使用环境的长程任务数据。模型如果要学会完成持续很长时间的复杂任务，就需要相应的数据进行训练。

而且，复杂任务对记忆的要求，和我们过去理解的记忆不太一样。以前谈到模型记忆，我们可能更多关注事实性知识。比如一个人的出生日期是什么，模型只需要把这项信息记住，需要时再取出来。

但复杂任务的困难，很多时候来自不同步骤之间的关系，以及每一步需要作出的推理和判断。这种能力涉及另一类知识，也就是流程性知识（Procedural Knowledge）。它关注的是解决问题的过程，以及应该按照什么方法、什么步骤完成任务。

DeepTech：也就是说，对于复杂任务而言，AI 不仅需要记住信息，还需要学会解决问题的方法。你在 Meta 的最后一项研究就涉及流程性知识，能否结合这项工作谈谈，它与传统的事实性知识有什么不同？

陈明达：比如事实性知识，你可以知道一个定理是什么，或者某个结论是什么，把它记录下来就可以了。但在复杂任务里，更困难的事情是怎样从已知条件一步步推导出结果。你需要判断先做什么、后做什么，中间遇到困难时应该采用什么方法。

很多时候，我们能够找到大量描述最终结果的数据，却很难找到完整记录解决过程的数据。比如一篇文章可能告诉你某件事情是怎样的，但不会详细解释，作者究竟经历了哪些思考，才得出了这个结论。所以我们希望让模型能够利用这些解决问题的过程，学习其中的方法和策略。

我在 Meta 的最后一篇论文，就研究了这一类问题。这篇工作发表在今年的 COLM 会议上。我们通过大规模收集和整理流程性知识，研究模型能否像利用事实性知识一样，利用已有的推理过程来改善复杂任务中的表现。

实验也观察到，这类知识具有一定的 Scaling 潜力。随着知识规模的增加，模型解决复杂任务的能力有机会进一步提升。如果能够把解决问题的过程提炼出来，让模型在遇到新任务时利用类似的方法，就有机会改善它的推理表现。

真正困难的是怎样让模型获得更强的能力，尤其是那些涉及复杂判断的能力。

DeepTech：这种利用过去经验改进复杂任务表现的能力，对于 AI 研究本身也很重要。过去一年，随着 AI 编程能力快速提升，你在 Meta 有没有感受到，AI 正在改变研究人员的工作方式？

陈明达：变化非常明显。Claude Code 出现之后，我们就在公司内部尝试利用 AI 让一部分科研工作自动化。它给我们的感受还是比较意外的。

以前在 FAIR，一个比较常见的工作方式是，一位研究科学家和一位工程师合作。科学家提出研究想法，工程师帮助实现其中的技术工作。但随着 Coding Agent（编程智能体）能力快速提升，很多工程实现工作已经可以交给 AI 完成了。

按照我自己的感受，AI 研究人员过去大约 80% 到 85% 的相关工作量，已经能够由这些编程工具承担。很多时候，你只需要和编程智能体沟通，让它按照研究需求实现代码，完成实验中的一些具体工作。它已经可以在相当大程度上扮演研究工程师的角色。

研究者可以把更多精力放在关键的判断和决策上。这也是为什么现在一些大型 AI 公司的研究迭代速度能够变得这么快。我认为 AI 编程能力的提升，是其中一个非常重要的原因。

DeepTech：如果 AI 已经能够承担大量工程实现工作，那么距离真正自主开展研究，关键可能就在于剩下的判断和决策。这也是递归自我改进（RSI）希望实现的目标之一。你认为，目前 AI 距离自主改进 AI 系统，还缺少哪些关键能力？

陈明达：RSI 的发展，很大程度上就是从 AI 编程能力的成熟开始的。当大部分工程实现工作已经可以被 AI 完成之后，接下来的问题，就是能不能让它进一步承担剩下那些需要研究者判断和决策的工作。

我们之前在公司内部也推动过一些相关项目。我觉得当前主要有两个瓶颈。

第一个是长程任务的能力。AI 研究通常需要经过很多轮实验和迭代，才有可能达到最终目标。这个过程可能持续很长时间，涉及大量上下文信息，以及不断变化的实验结果。

模型需要能够处理这些长期积累的信息，也需要足够多的长程任务数据来训练。随着长上下文和长程任务能力的发展，这方面的问题有望逐步改善。

第二个瓶颈是每一个关键节点上的判断能力。比如做了一轮实验之后，研究者需要判断结果有没有价值、下一步应该调整哪个方向，或者某种方法是否还值得继续投入。这些判断是比较困难的。

我认为前面提到的流程性知识，有可能在这里发挥作用。我们已经在研究中观察到，这类知识具有规模化扩展的潜力。如果未来能够收集和利用更大规模的流程性知识，模型在复杂决策上的能力就有机会继续提高。

甚至有可能在进一步 Scaling 之后，出现科研智能的涌现，从而展示出接近顶级 AI 研究者的判断能力。当然，这仍然是一个需要继续探索的方向。

语言模型之外，下一代 AI 的突破在哪里？

DeepTech：你此前参与过 Chameleon 等多模态研究。过去几年，视频生成模型的进步非常明显，已经能够生成相当逼真的画面，但在空间关系、物体运动和物理规律等方面，仍然会出现一些错误。从研究者的角度看，这说明今天的多模态模型还缺少什么？

陈明达：首先，我觉得“多模态”是一个比较宽泛的概念。现在我们谈多模态，有时候指的是以语言为中心的模型，比如你给 GPT 上传一张图片，然后向它提问，它可以根据图片回答问题。另一类则是视频生成模型，你给它一段文字描述，它就能够生成对应的动态画面。

这些方向都取得了很大的进步，特别是视频生成，效果已经相当不错。但我认为，我们现在还没有真正找到一种足够成熟的多模态基座模型训练方法。

自然语言处理也是经过了很多年的探索，才逐渐找到了 GPT 这样的技术路线。在那之前，有 BERT、GPT、T5 等不同的模型和方法，研究者进行了大量尝试。多模态领域还没有经历同样充分的探索，它在很大程度上是跟随 GPT 这一波技术的发展向前推进的。

我们之前做 Chameleon，就是希望在这个方向上进行探索。但最终的效果没有达到预期，一个重要原因是，我们还没有充分理解应该怎样处理图像和文本之间的差异。

DeepTech：你提到，多模态领域还没有找到足够成熟的基座模型训练方法。具体来说，现有的视频生成模型在学习视觉信息时，面临哪些问题？

陈明达：一个很关键的问题是训练数据。GPT 能够取得今天这样的进展，很重要的原因是互联网上有大量自然产生的文本数据。模型可以通过这些数据学习语言中的规律，不需要每条数据都有人进行额外标注。

但现在很多视频生成模型依赖的是文本和视频之间的配对数据。你需要有一段视频，以及与它对应的文字描述，让模型学习两者之间的关系。问题在于，这些文字描述并不能完整表达视频中的所有信息，并且这种数据并不是自然产生的，所以数据量和丰富度上面相比与纯文本或者纯视频、纯图像的数据也是相对有限。

比如一段视频包含物体之间的空间关系、运动和相互作用，但文字描述通常只涵盖人类关心的部分。模型如果主要依赖这些描述学习，就可能忽略视频中的大量信息。这也可能解释为什么视频生成模型在空间关系、物体运动等方面仍然存在问题。

我认为，多模态基座模型应该能够像 GPT 学习语言那样，从大量没有人工标注的数据中，学习视觉世界底层的规律。包括物体如何运动、空间关系如何变化，这些规律都应该能够通过对原始数据的学习获得，只依靠人工标注或者文字描述，很难完整地学到这些东西。

杨立昆很多年前提出过一个蛋糕比喻：无监督学习是提供基座能力的蛋糕胚，监督学习和强化学习则像奶油。今天我们已有海量未经标注的图片、视频，但还没有找到足够成熟的方法充分利用这些数据。

DeepTech：如果希望模型直接从大量无标签的视觉数据中学习，世界模型是否可能是一条技术路线？你目前更看好哪些方向？

陈明达：世界模型本身是一个比较宽泛的概念。我们之前在 FAIR 工作，经常会接触到杨立昆关于世界模型的想法，所以也一直对这个方向比较关注。

现在世界模型有很多不同的技术路线，我觉得还很难判断哪一条一定更好。这有点像早期的自然语言处理，当时有 BERT、GPT、T5 等不同路线，大家都在探索，也很难提前知道最后哪一种方式会取得更大的成功。

目前，在我对基座模型的定义下，JEPA 这类方法是比较值得关注的。它尝试通过大量无标签数据，学习视频等非语言模态中的信息和规律。另外一些偏生成式的路线，目前在文生视频方面取得了比较明显的成功。虽然主观上大家（包括我自己）有不同的偏好，但是客观地说我不觉得现在已经到了可以确定哪条路线胜出的阶段。

我们在交大也在开展一些多模态研究，包括视频表征、模型评测，以及世界模型等方向。比如现在的视频生成主要用于娱乐，但我们也希望探索，它能不能生成真正具有知识性的内容。

假设你想学习修理自行车，或者给钢琴调音，有些操作很难完全通过文字讲清楚，需要通过视频演示。能不能让模型生成这样的教学视频，就是一个值得研究的问题。

我更愿意把这些工作理解成对非语言模态的探索。我们的目标是找到一种更有效的方法，让 AI 能够利用大规模的非语言数据，获得新的能力。

DeepTech：不过，通用大模型的能力边界也在不断扩大。比如 GPT-6 Astra 已经在具身智能等领域展现出很强的能力。未来有没有可能，随着通用大模型继续发展，世界模型或者其他专用模型的功能也逐渐被它覆盖？

陈明达：我觉得 GPT 的能力边界，确实比很多人之前想象的更宽。这一波大语言模型的发展也让我意识到，很多专用模型可能只是临时的解决方案。随着通用模型能力提升，它可能逐渐覆盖原来需要专用模型才能完成的任务。

但任何一个通用模型，都有自己的能力边界。GPT 本身最擅长的是语言相关的任务，而代码又可以延伸到非常多的应用场景，所以它能够覆盖的范围很广。

不过，我们之前在多模态研究中能够明显感受到，文本和非文本之间仍然存在很大的差异。现在的大语言模型虽然能够处理图片、视频等信息，但通常需要增加额外的模型组件和训练步骤，才能获得相应的能力。

从这个意义上讲，它在文本领域具有很强的通用性，但在非语言领域是否能够实现同样程度的通用性，我认为还需要更多证据。

而且，通用和专用也是相对的。比如 JEPA 这类模型，在视频等特定模态内部，也可以被理解为一种通用模型。反过来，如果你把 GPT 放到具身智能场景里，它未必就天然拥有这个领域需要的全部能力。

所以我认为，世界模型研究很重要的一个目标，是探索我们能不能在非语言模态中，也建立起真正具有通用能力的基座模型。

DeepTech：我们前面讨论了很多 AI 尚未具备的能力。如果展望未来三到五年，除了探索新的技术路线，让现有模型的能力变得更加可靠，是否也是一个同样重要的方向？

陈明达：我们前面谈到，AI 有些原本做不到的事情，现在仍然做不到。但从 60 分提升到 90 分，也是一件非常困难的事情。

有很多任务，AI 现在已经可以完成一部分，但要真正交给普通人使用，就需要达到很高的准确率。比如未来你使用一个个人智能体，让它帮你订机票。它可能大部分时候都能够正确执行任务，但只要订错了一天，就可能给用户造成很大的损失。

很多现实场景能够容忍的错误率其实非常低。我之前和一些人讨论过，现在开发 AI 产品，经常需要专门设计一个回退机制。因为 AI 可能会犯错，你必须给用户保留一条能够纠正错误、恢复到之前状态的路径。

过去很多传统软件不需要把这种能力放在如此重要的位置，但 AI 产品需要认真考虑这个问题。

所以我认为，未来 AI 还有两类非常重要的突破：一类是让模型获得今天尚不具备的能力，另一类是让已经具备的能力变得足够准确、可靠并且经济实用，真正能够进入现实世界来满足各种不同的需求。前者强调的是模型在通用能力上的突破，而后者是模型对于具体场景需求上专业能力的突破。

运营/排版：何晨龙