下一场AI革命，要取代Transformer

（来源：麻省理工科技评论）

来源：麻省理工科技评论App

2017 年夏天，Google 的 AI 研究人员发表了影响深远的论文《Attention Is All You Need》，提出了一种新的神经网络架构——Transformer。九年过去，Transformer 已经成为几乎所有主流大语言模型的核心架构。

“整个 AI 行业都建立在 Transformer 之上。”AI 初创公司 Subquadratic 联合创始人兼 CEO 贾斯汀·丹格尔（Justin Dangel）说，“它是计算机科学史上最重要的创新之一，也真正改变了世界。”

但如今，Transformer 开始显露出局限。近几年，大语言模型的能力不断提升：推理模型开始兴起，模型一次能够处理的信息也越来越多。但这些进步并不完全来自 Transformer 本身的突破。很多时候，研究人员其实是在通过各种工程手段，绕开或弥补这一架构原有的问题。

问题在于，这些方法过去虽然更省算力，但理解文本的能力通常不如稠密注意力。如今，这种情况可能正在改变。总部位于迈阿密的初创公司 Subquadratic 宣称，它开发出了第一种能够在部分任务上与主流顶级大模型竞争的稀疏注意力机制，包括搜索和编程任务。

Retention（保留机制，即把重要信息压缩成内部状态并持续保存）并不是一个全新的概念，相关研究已经存在了大约十年。Manifest AI 认为，经过新的改进后，这类方法第一次有机会真正与 Transformer 大模型竞争。

公司联合创始人兼 CEO 拉明·哈萨尼（Ramin Hasani）把这类模型称为“液态基础模型”（Liquid Foundation Models，简称 LFM）。相比大多数大语言模型，Liquid AI 的模型体积小得多，能耗也更低。公司已经为包括梅赛德斯在内的汽车制造商开发模型，可以直接运行在汽车内部的小型芯片上。最新版本甚至可以运行在售价约 50 美元、算力和功耗都十分有限的树莓派上。

传统大语言模型通常由一层层 Transformer 模块堆叠而成。Liquid AI 最近推出的 LFM 则采用混合架构，其中大约 20% 是 Transformer，另外 80% 使用液态神经网络。

真正困难的地方，是怎么把原本为图像设计的扩散技术搬到文字上。埃尔蒙举了一个例子。在图像里，如果一个像素要从蓝色变成红色，中间还可以经过紫色等一系列过渡颜色。但文字不是连续变化的。“如果你有‘猫’和‘狗’两个词，它们之间并不存在一个自然的中间状态。”

同样位于帕洛阿尔托的初创公司 Pathway，可能是这批公司中走得最远的一家。它提出的问题更加根本：AI 为什么一定要通过语言来“思考”？Pathway 开发了一款名为 Dragon Hatchling 的模型。

这个名字来自特里·普拉切特（Terry Pratchett）的小说《魔法的色彩》（The Color of Magic）。小说中的龙，只要被人足够强烈地想象，就会真正出现。目前，这款模型最引人注目的成绩来自一项数独测试。

Pathway 的办法，是改变 Transformer 背后的数学结构。它用一种叫作“状态空间”（state space，一种把大量信息压缩成内部状态，并随着新输入不断更新这种状态的数学表示方式）的结构，替代传统的注意力机制。

Transformer 更习惯沿着 token 序列逐步处理信息，而状态空间可以把信息压缩成更加抽象的内部表示。这样一来，Dragon Hatchling 仍然可以理解和生成文字，同时也能够进行一些不依赖文字序列的推理。

理论上，这不仅可以提高模型效率，还可能让它解决一些传统大语言模型难以处理的问题。斯塔米罗夫斯卡举了国际象棋和数学的例子。人在思考这类问题时，并不会真的在脑海里逐字生成一长串句子。

“你脑海里突然出现的那个‘啊哈’时刻，并不一定是语言。”她说，“我们的观点是，如果必须用语言推理，那本身就可能是一种限制。”她也承认，一个主流大语言模型当然可以先读一本数独教程，再写一段程序去解题。

但 Pathway 想做的，是一种不只会调用已有知识的 AI。“我们对 AI 的期待并不是让它解决数独，”斯塔米罗夫斯卡说，“而是希望它有一天能够治愈癌症。但怎么治愈癌症，并没有一本现成的书可以读。”在她看来，Transformer 从来都不应该被视为 AI 的终极架构。

她说，“Transformer 只是我们偶然找到的一种工程上很好用的方法。后来整个行业几乎把它变成了一种信仰。但如果认为未来不会再出现新的技术突破，那才是不合理的。”

https://www.technologyreview.com/2026/08/10/1141511/these-startups-are-chasing-the-next-big-thing-in-llms/

阅读最新前沿科技趋势报告，请访问21世纪关键技术研究院的“未来知识库”

未来知识库是 “21世纪关键技术研究院”建 立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。

截止到2月28日 ”未来知识库”精选的百部前沿科技趋势报告

（加入未来知识库，全部资料免费阅读和下载）