刘永谋：这么讲AI基本技术原理，大约高中毕业生都能听懂了

*中国人民大学吴玉章 讲席教授刘永谋首发于微信公众号，保留一切知识产权，侵犯必究。

昨天讲座，要给社会上学员讲AI基本技术原理。如何让完全不做这行的外行听懂呢？我琢磨了好一会，后来是这么讲的，感觉大家都听明白了。

普通老百姓用豆包、千问这些APP，感觉很神奇，甚至觉得它们和人一样有思想、有观点、有见识了。实际上，大模型的原理非常简单，基于统计学概率预测来输出内容的。

首先，我要告诉大家：AI不等于大语言模型。上个世纪五六十年代AI诞生后，几起几落，推出过不少拳头产品。比如，上一波热潮主要是DSS即决策支持系统，用来给决策者提供一些参考方案。大模型是这一波AI热潮对标志性产品，因为它能生成内容所以这一波AI热潮又被称为生成式AI热潮。

这里讲AI基本技术原理，实际说的是大语言模型基本技术原理。这个原理是什么呢？我一步步解释。

我们想象一下：给不识字的猴子一台打字机，让它乱敲，敲出来的东西肯定是乱七八糟、没有含义的。但是，它敲多了，很有可能敲出“我爱你”这么一句有意义的话。当然，即使猴子敲出这句话，它并不知道什么意思，谈不上理解。

如果猴子够多，打字机够多，乱敲的时间够长。从理论上说，它们是有可能碰巧敲出《莎士比亚全集》。对不对？只不过这种可能性即概率趋向于无穷小了。

从根本上说，豆包说话就是这么乱说出来的，即排列组合出有意义的话。但是，它不是简单地“碰巧”，因为这么做耗不起时间啊。据说，有人算过一只猴子乱敲敲出《莎士比亚全集》所需要的时间，超过了现在宇宙存在的时间。怎么减少时间呢？大模型不光乱敲，而是对人类语言规则有些了解，这样敲出的话首先就合乎人说话的基本规则。

有人设想了“中文屋实验”，说的是AI不需要理解，也可以和人说话。这个实验说的是：屋子里有几个不懂中文的人，但是他们有关于中文如何组织的各种规则。外面有人用中文问问题，中文屋中的人可以根据中文规则排列组合汉字输出内容与外面的人交流。但是，中文屋根本不知道自己输出的汉字是什么意思。

接下来的问题是，

怎么知道这些规则呢？通过“学习”人类的语言材料。显然，学得越多就越清楚这些规则。所以，大模型要“大”。再一个，所谓大“语言”模型，说的就是就是网上的人类数据语言，不光是文字，图片、语音这些都可以归在语言的范围。

海量学习之后，大模型对人类语言关联关系知道得很多了，知道“我爱”之后很可能是“你”。这个可能性可以进行统计的，某个连接方式有个概率数字。也就是说，豆包说话的方式是：某个字之后，最可能是什么，就跟上概率最大的那个字。当然，“字”并非豆包分析概率的基本单位，这个单位是Token。Token可能是一个字、一个标点、一个像素内容……总之是大模型运作的最小单位。

显然，以最大概率方式组合Token，很可能完全牛唇不对马嘴。为了减小混乱，大模型要考虑上下文来让预测更准确。比如，“我×你”，×是什么？如果光是“我×”预测就很难，有了“你”之后，×很可能是“爱”“恨”，预测就容易一些了。这个“你”就是下文。

考虑上下文的预测，是在一个更大的范围来处理，虽然准确不少，但是需要更多的计算。太长了，随着计算量指数型增长，我们会陷入“维数灾难”。所以，只能适可而止。于是，这样排列组合的话，永远都是可能出错。换言之，我们常听到的随机鹦鹉和AI幻觉从根本上是不可避免的。

总之，通过海量学习，我们建立一些预测、推断和规划的规则，这就是大语言模型的“模型”。这些模型是可以进行认为调整的，尤其是考虑到大模型输出的内容可能与人的目标不一致，更要进行符合我们价值观的调整，此即所谓对齐。

综上所述，我们明白了：大语言模型根本没有理解或思考，更没有心灵，完全是一架概率输出机器。很多人觉得豆包是人，原因在于人身上而不是豆包身上。人很容易把物当成人来思考问题，这叫拟人论思维。比如，天上打雷好害怕，不懂，想象有个雷公。在AI和机器人领域，更是如此，这就是AI拟人论思维支配下的伊利扎效应。

上述原理很简单，但是可以把它一遍两遍三遍……叠床架屋地搞得非常复杂。比如，仅仅回答一下“今天吃什么”就把网上所有的东西都学习了。有人将大模型称之为“暴力计算”产生的智能，就是这个意思。复杂性增加之后，大模型出现一些没有预计到的性能，有人称之为“涌现”，好像大模型发生了质变。我不同意这种夸张的说法，大模型很多问题没搞清楚，主要原因不是涌现，而是大家没有花精力研究这些科学问题。为什么？这一波生成式AI热潮主要是AI企业而非学院科学家掀起的，AI企业考虑是赚钱，对破解所谓“AI黑箱”之类的科学问题投入非常不够。

“暴力计算”还产生重大的生态风险。一个简单的事情都要海量计算，这严重耗能，耗能就耗水——因为耗能计算机温度升高要降温，就要水来降温。所以，大模型发展的物理学瓶颈主要是电和水的消耗。

这么说，是不是非常好懂了？