强化学习之父萨顿：现在的AI还不够强大，实现自主智能要从数据驱动转向经验驱动

出品｜搜狐科技

作者｜梁昌均

7月17日，2026世界人工智能大会暨人工智能全球治理高级别会议主论开幕，2024年图灵奖得主、强化学习之父、阿尔伯塔大学计算机科学教授理查德·萨顿发表主题演讲。

他表示，虽然现在AI在快速进步，有人夸大炒作，有人感到恐惧，但现在的AI智能还不够强大，它是比较弱小而且是不可靠的。

“所有AI模型，它们主要是在使用人类知识的力量，并且把它再交付给我们，他们并没有能力发现自己的知识，思考过程中还是存在一些问题，并不是如此强大。”

萨顿通过心理学、图灵理论等介绍了对智能的定义，提出呼吁建立统一的通用心智科学，而强化学习是心智科学的开始。

同时，他认为，现在的AI是人类数据驱动，但现在已经达到极限，很多高质量的数据源被用完了。“我们现在在迈入所谓的经验时代，AI需要新的数据来源。”

萨顿表示，新的数据源来自智能体，随着智能体越来越强，它能不断增长、不断改善，这些不是静态的数据集，而是智能体和环境在互动中产生。

“AI现在终于转向从经验来进行学习，而不是从人类的数据进行学习，这样它会变得更加强大，因为它可以持续学习新的东西。”

萨顿表示，AI现在还不是真正的智能，或者真正的自主智能，我们也还没有来到真正超级智能的时代，或者智能增强人类的时代，但经验型的AI正在到来。

以下是演讲全文（经编辑）：

非常高兴今天能来发言，分享我对人工智能未来的想法。现在我们应该怎么样，今后应该怎么走向什么样的方向，我非常支持合作的观点，共赢的观点和建立合作伙伴关系的观点。

人工智能现在在发生快速的变化，但也要思考一下背后的推动力，可能也夸大了它的进步或重要性。现在有很多突破，我觉得应该是科学上的突破，机器可以非常熟练使用语言的能力，同时可以生成视频、图片。

这催生了很多的新行业和产业，也给我们带来很多的经济上的应用和价值，这些非常重要。但是感觉好像这些还是比较大规模运用模式识别，智能和计算两者不能混淆，必须要把这两者的定义区分开。

AI的科学就是智能的科学，它真的在快速进步吗？我觉得并不是如此，它们现在对真正体系系统的理解是很少的。所有AI模型主要是在使用人类知识的力量，并且把它再交付给我们，它们并没有能力发现自己的知识，整个思考过程中还是存在一些问题，并不是如此强大。

我并不指望在这里告诉大家什么是智能，但希望可以引发大家的思考。智能是什么意思，威廉·冯特（Wilhelm Wundt），心理学的奠基之父，这是超过100多年前的事情了，他对于智能的定义可能并不一定是说的智能，而是所谓的心智，所谓心智就是要达成一定的目标，使用不同的手段。

这是一个目标，要有相同的结果，但是用不同的手段实现，我们要通过心智，通过智能实现一个目标。要像人一样行为，通常是通过图灵测试，但是图灵讲的是模仿游戏，所以可能大家普遍有一种误解，图灵不觉得这是人工智能的测试。

不过，我们现在已经普遍接受，现在有大语言模型在进行训练的时候要让它们像人一样进行行为，这也是其中的一个含义。但是这和威廉的定义不太一样，如果我们查字典，它的定义是获得和使用知识与技能的能力。

如果再回到人工智能之父，他说智能是通过计算来达成目标的能力。这里又提到了目标，又提到了计算，但我们讲的是人工智能，所以就算是自然的智能也需要计算，这些是各种各样的智能定义。

我也有智能的定义，通过行为的适应和调整来实现目标的能力。除此之外，我个人的观点，我是觉得我们应该要设立关于心智的科学，通用的心智科学，它拥有人类、动物、机器所有的这些心智共同的特征，同时也都是为了要实现目标，未来可能更多的心智是机器的心智。

但现在没有哪一门现有的科学把这些全部包含进去，无论是心理学、人工智能、认知科学，都没有办法做到这一点，我个人比较感兴趣的强化学习是通用心智科学的开始。

我们现在还处于人类数据的时代，所有的这些AI，它们都是预测下一个词，并且也是由人类专家进行微调，大部分的机器学习是要进行知识的转移，从人转到机器身上。

这种方法现在已经达到极限了，很多高质量的数据源被用完了，生成新的知识是这个范式没有办法做到的。我们现在在迈入所谓的经验时代，AI需要新的数据来源。随着智能体越来越强，它能不断增长、不断改善。它不是静态的数据集，因为静态的数据集是不够的。

我们要的数据源来自智能体，它有自己的经验，和世界的互动，它的经验是第一视角的。这些数据的信号不断来来传递，非常快速，是在智能的智能体和它创造的环境就是世界当中来传达的，这些奖励、行为、观察，去定义它的目标到底是什么，这是人和动物学习的方式。

无论是动物或者人进行各种行为的时候，现在我们都坐着，但是我们的身体会采取行动而且是快速采取行动，对周遭发生的事情反应。

我们是高带宽的信息处理，足球运动员在所有数据来了之后，马上要决定接下来应该怎么做，什么是比较明智的踢法。打棒球的人，当球来的时候，要在短的时间内马上要决定怎么来进行挥杆。人在这里交谈，有很多的信息处理，也是为了完成一个目标，同时也是基于经验。

因此，经验型的AI，就是智能体交互这些信号，它的行为，它的感知，它的经验，就是智能的全部。如果认为一个智能体是智能的话，它能够预测和控制经验，以及感知，如果说它没有经验，那么我觉得根本没有什么智能可言。

我们没有办法说这种行为的方式比另外一种行为的方式好，我们必须要有经验，要有奖励信号。现在的大语言模型没有这种奖励，它没有办法知道这个行为是好的还是不好。所以这是为什么它们有很大的限制，因为它们没有目标。

还有所谓的事实准确性，大语言模型基本上没有办法把真的和假的区分开。如果没有经验，就没有办理知道做出的预测到底是对的还是不对的，但是有了经验的AI就有奖励、目标。

图灵是计算机科学奠基之父，早在1947年他就说过，这时候甚至没有AI，他说我们需要的是一台机器，它可以从经验当中来自主学习。这是非常基本但又是非常深刻的想法，但它没有成为关键的现代AI组成部分。

但是我觉得这个想法现在慢慢变得越来越重要，特别是在机器人当中。所以我也很喜欢这样的说法，是维克多·雨果说的，他说“恰逢其时的思想，势不可挡”。

所以我觉得我们要从经验当中进行学习，这个想法恰逢其时，可能这个时代还没有真正到来，但我们正在迈入这样的时代。

总结来说，我觉得AI现在终于转向从经验进行学习，而不是从人类的数据进行学习，这样它会变得更加强大，因为它可以持续学习新的东西，虽然现在有很多的炒作，甚至是对AI的恐惧。

现在的AI智能还不够强大，我个人认为它是比较弱小而且是不可靠的，因为会产生很多的错觉，它告诉我们的东西可能是错的。但同时它是非常有用的，它也给我们带来催生了很多的产业，而且所有人可以使用，大家都感到非常激动。

AI现在还不是真正的智能，或者真正的自主智能，还没有达到这一步，但是我们在迈向这样的时代，现在还没有来到真正超级智能的时代，或者智能增强人类的时代。这会给我们带来巨大的变革，应该由人类推动，同时这个变革会惠普人类。

我自己本人就是从经验当中学习，一生都是如此。欢迎大家来到AI经验时代，非常感谢大家的聆听。

运营编辑 | 曹倩 审核｜孟莎莎