中国大模型简史01：模型越做越大，却没人知道它该变成什么

本文来自微信公众号： AI资本观 ，作者：邵神

2026年夏末，AI早已无处不在。

站在今天回头看，很多事情已经显得顺理成章。大模型当然要越做越大，公司当然要抢算力、做产品、争用户；模型越来越便宜以后，当然会有人做开放生态、做Agent，再把AI带进真正的工作。

可这些“当然”，曾经都不是当然。

把时间拨回几年前，有人把大模型想成一座“发电厂”，希望把数据变成智能，再输送给无数应用；有人想把AI从“作坊式”带进工业生产；有人相信知识应该成为模型理解世界的基础；还有人已经决定拿钱创业，却连第一款产品究竟应该做什么都不知道。

今天看，他们像是在走向同一个未来。

当时不是。

他们面对的是一片还没有名字的地方。有人后来站到了牌桌中央，有人改了方向，有人离开了牌桌；一些当时很有道理的判断后来错了，一些并不被看好的选择却活了下来。

这已经足够精彩。所以我们想重新梳理一遍，写一遍，就叫《中国大模型简史》。

不是做一张大事记，也不是几家明星公司的胜负录。我们更想知道，一个模型为什么会在那个时候被做出来，一个人为什么会做出那样的选择，而新的技术、算力、资本和用户，又怎样一次次改变这些选择。

这当然也不是一部英雄史。

真正值得留下的，是人在还不知道答案的时候，怎样理解眼前正在发生的事情，为什么会那样相信、那样下注，又怎样被后来出现的新事实逼着重新选择。

真正开始研究以后，我们发现，资料其实并不缺。更容易丢掉的，是另一件事：

当时的人究竟知道什么，又不知道什么。

从今天往回看，最早那一轮选择，开始显出越来越清楚的后果。2023年资本押下去的一些公司已经走到二级公开市场面前；“有一个自己的大模型”不再足以定义一家公司；模型、公司和产品开始分开，Agent又把竞争推进文件、浏览器和真实工作。

几年前提出的问题，有些终于有了一部分答案。

也正因为如此，我们才更想回到那些答案还不存在的时候。因为我们想记录的，本来就不是一个已经知道答案的时代。

所以，就从所有人还不知道答案的时候写起。

那是2021年的初夏。

第一章｜没人知道它究竟该变成什么

ChatGPT出现以前，中国已经能把模型做到千亿、甚至万亿参数。算力、数据和组织方式都在迅速改变，却没人真正知道这样的大模型最后该长成什么。 真正悬着的问题是： 做出来以后，它究竟应该变成什么？

01｜一个1.75万亿参数的“孩子”

“儿童节日快乐。”

2021年6月1日，北京智源大会开幕式上，唐杰把这句祝福送给了刚刚发布的“悟道2.0”。

“对开发人员来说，‘悟道2.0’就是一个孩子。”他说。这个孩子的“智商还不能达到期许的水平”，以后还要继续教。

唐杰当时四十四岁，清华大学计算机系教授，也是智源研究院的学术副院长。他做了很多年知识图谱、数据挖掘和机器学习。再过两年，随着ChatGLM走红，越来越多人会把他的名字和智谱联系起来；但在那个儿童节，他站在台上首先要介绍的，还不是一家明星大模型公司，而是一个由一百多位研究人员一起做出来的科研工程。

悟道2.0也不是后来人们熟悉的那种聊天产品。智源把中文语言、多模态、认知、蛋白质预测等不同方向的模型放进了同一个“悟道”体系，其中最大的一个把参数规模推到了1.75万亿。当时Google的Switch Transformer为1.6万亿参数，GPT-3是1750亿。仅从参数数目看，这个被唐杰称为“孩子”的东西已经大得惊人。

参数当然不是智力分数。一个模型有十倍参数，并不意味着它聪明十倍，不同结构的模型也不能这样简单比较。但1.75万亿仍然很能说明2021年正在发生什么：人工智能研究开始变成一种规模惊人的工程。

训练它，需要的不再只是一个聪明的算法。还要有足够大的数据集、训练框架、计算集群，以及能够把许多不同机构的人组织到一起的能力。悟道团队开发FastMoE，就是为了让MoE（Mixture of Experts，混合专家）这类超大规模稀疏模型真正能够训练。它不是每次都让整个模型一起工作，而是根据输入调用其中一部分“专家”。

这样，模型可以继续变大，又不至于让每一次计算都跟着一起膨胀。悟道使用的中英文和图文数据达到4.9TB。

早年间，实验室里一名研究员想到一个好主意、找几块显卡把实验跑出来的AI研究，和这种工作之间，已经隔着一道越来越宽的沟。

02｜为什么模型突然越做越大

这道沟，其实是在一年前突然变得清晰的。

2020年，OpenAI发表GPT-3论文。

今天再说“1750亿参数”，这个数字已经很难带来当年的冲击。但对当时不少做自然语言处理的中国研究员来说，GPT-3真正令人不安的地方，不只是它很大，而是它好像在告诉人们：模型做大以后，事情会发生某种变化。

过去的自然语言处理研究往往分成许多具体题目。机器翻译是一件事，情感分析是一件事，阅读理解又是一件事。不同任务有自己的数据集、自己的训练办法，有时甚至可以形成一名研究员长年经营的方向。

GPT-3展示的是另一幅图景。一个模型先在海量文本上完成训练，然后，只需要给它一些例子或者一段提示，它就能尝试完成许多过去彼此分开的任务。

刘知远对这种冲击记得很深。

他是清华大学自然语言处理方向的研究员，也是当时的“智源青年科学家”。多年以后回忆GPT-3刚出现的时候，他说，那之前自己的团队还在用单机、两三张GPU做研究，已经觉得和国际前沿没有离得太远。GPT-3一出来，规模差距一下被拉到了另一个数量级。

刘知远去找智源院长黄铁军，提交了一份关于大模型发展趋势的报告，希望能申请更多算力。几天以后，申请获得批准。智源很快给团队集中了一批算力资源。同期公开材料显示，第一版CPM实际使用64张V100完成训练。

这个细节很能说明那个阶段的大模型是什么。

算法怎么做当然重要。可模型一旦大到这个程度，最先冒出来的却是一个异常朴素的问题：你得先有机器。

一个研究团队可以读懂GPT-3的论文，可以认同它的方向，甚至可能有不同的算法想法，但如果手里只有几张GPU，就没有办法验证一个需要成百上千块GPU的假设。越来越大的模型，把算力从科研的背景条件推到了台前。

刘知远去申请机器的时候，“继续把模型做大”其实已经不是一个凭空冒出来的念头。此前几年，几件事情慢慢改变了这个领域的信念。

2017年，Google的研究团队在一篇论文里提出了Transformer。这个新的神经网络架构让训练更容易并行，也让继续扩大模型规模少了一层工程上的阻力。2018年，Google又发布了BERT，把“先做一次大规模预训练，再拿这个底座去适配不同任务”变成一种重要范式。中国团队也很快开始围绕中文、知识和自己的数据条件探索预训练模型。

2020年初，OpenAI又发表了Scaling Laws（规模定律）。这个名字后来会继续出现，直到2026年，Scaling依然是理解前沿模型训练时很难绕开的一条底层规律。论文把模型规模、数据量、训练计算与训练表现之间的关系画得更清楚：在相当大的范围内，继续增加前三者，训练损失会呈现相对稳定的下降规律。它没有保证模型越大一定越聪明，但继续增加模型、数据和训练计算以后，训练表现大致会怎样变化，开始比过去更可预测。

智源恰好是一个能在这时候提供资源的地方。

它成立于2018年11月，是北京市支持设立的一家新型研发机构。北大、清华、中科院以及百度、字节、美团、小米等高校、研究机构和企业都参与其中。它既不像一所大学，也不是一家公司的研究院；最初的设计，就是希望把不同机构的科学家围绕一些基础问题组织起来。

第一任理事长张宏江的履历也很特别。他做过微软亚太研发集团首席技术官，也当过金山软件CEO，既在实验室待过，又真正经营过公司。

2019年底，智源内部就开始讨论是不是应该从原来分散的研究方向中选一个重点。等GPT-3出来，事情突然清楚了。张宏江后来回忆，黄铁军、唐杰、刘知远、文继荣等人很快把机器学习和信息系统方向的研究员组织起来，悟道项目由此启动。智源自己的大事记把时间记在2020年10月。

不到一年，悟道2.0站到了台上。

03｜发电厂、工业化和知识

就在那场儿童节的发布会上，张宏江也讲起了他眼里的大模型。唐杰把悟道2.0叫作一个“孩子”，张宏江想到的却不是某一款应用，而是一座“发电厂”。

数据是燃料，大模型把数据转换成智能，再把智能输送给各种AI应用。如果有一天，大模型和足够多的应用连在一起，他想象整个社会可能形成一张类似电网的“智网”。

这是一个很有2021年味道的比喻。

它听起来宏大，却并非没有逻辑。既然同一个大模型已经可以完成许多过去需要分别训练的任务，那么最自然的下一步，就是把它想成一种公共能力。先集中巨大的成本把“智能”生产出来，其他应用再来使用。

一个多月前，深圳。

2021年4月25日，华为开发者大会。田奇上台介绍刚刚发布的盘古大模型时，用了一个比“发电厂”朴素得多的词。

“作坊式。”

田奇是华为云人工智能领域首席科学家，在加入华为以前长期做计算机视觉和机器学习研究。他说的“作坊”，指的是当时企业使用AI的一种常见状态：来了一个需求，找一批数据，重新标注，再为这个场景训练一套模型。需求换了，数据和模型往往也要跟着换。

盘古想省掉其中一部分重复劳动。

当天发布的盘古NLP有千亿参数，用40TB中文文本训练；盘古系列还有视觉模型，华为随后还计划把它扩展到多模态和科学计算。田奇说，希望一个预训练大模型能够在许多场景里通用、泛化和复制，让AI开发从“作坊式”走向“工业化”。

华为会这样理解大模型，并不奇怪。

它已经有昇腾芯片、MindSpore（华为自己的AI计算框架）和华为云，也有大量需要部署AI的企业客户。对于这些客户来说，人工智能并不是一个新鲜词。真正让人头疼的是，一套AI能力怎样从一次性交付变成可以反复使用的东西。

所以“盘古”这个名字虽然很大，它面对的却是一个相当具体的工程问题：模型能不能少做几遍，数据能不能少标一点，一个行业里已经做过的东西，换个场景以后能不能接着用？

张宏江把大模型想成发电厂，田奇想到的更像一条工业生产线。两个比喻并不相同，但都透露出当时一种很自然的期待：如果训练模型越来越昂贵，那么最好不要每解决一个问题，就从头再来一次。

百度比他们更早碰到了这件事。

2019年，百度发布ERNIE 1.0的时候，“大模型”还远没有后来那么热。那几年王海峰经常讲的一个词是“知识”。

这和百度自己过去二十年做的事情有关。

搜索引擎每天面对的是网页、词条、人名、地点、问题和答案。到2020年，百度公开的知识图谱已经包含超过50亿实体和5500亿事实，每天被调用超过400亿次。对一家长期和这些东西打交道的公司来说，一个语言模型如果只是学会词与词怎样排列，还不够。百度CTO王海峰和团队希望它能把实体、短语和知识关系也学进去。

ERNIE 1.0就是沿着这个方向出现的。

它会把一个完整短语或者实体遮住，让模型根据上下文把它猜回来，而不只是随机遮住单个字词。这个看起来不算惊天动地的变化，使百度后来一直把“知识增强”放在文心路线非常靠前的位置。

两年以后，模型已经大了许多。

2021年12月8日，鹏城实验室和百度联合发布ERNIE 3.0 Titan，2600亿参数。王海峰和中国工程院院士、鹏城实验室主任高文一起出现在发布现场。支撑这个模型的，除了百度的飞桨，还有鹏城云脑Ⅱ。百度当时特别强调的仍然是知识、小样本和降低产业应用的门槛。

后来，人们会很习惯地把悟道、盘古和文心排进同一张国产大模型表格，比较参数、能力和发布时间。

在当时，它们更像是三段不同历史长出来的东西。

智源是一个新型科研机构，它首先要回答怎样把分散的研究员和算力组织起来，去碰足够大的科研问题。华为从企业AI和计算基础设施里走出来。百度背后是搜索、知识图谱、深度学习框架，以及已经运行多年的AI业务。

大模型还没有把它们变成同一种公司。

恰恰相反，大家都先用自己过去最熟悉的方式理解它。

04｜模型有了，答案还没有

到了2022年，唐杰的名字又一次出现在一个超大模型项目里。

这次没有儿童节，也没有1.75万亿参数那种特别适合登上新闻标题的数字。

模型叫GLM-130B，1300亿参数，由清华和智谱团队完成。项目公开时，他们给自己定下的一个目标，是做一个中英文都能用、而且真正开放的千亿参数模型。

但这一次，论文里最有意思的部分之一，是他们把麻烦也写了进去。

研究团队说，在训练这个模型的过程中遇到了许多没有预料到的技术和工程问题，尤其是loss spike和训练发散。

loss spike这个词翻成中文不复杂：训练过程中，原本应该逐渐下降的损失值突然向上跳。

真正麻烦的是它发生在一个1300亿参数模型身上。

模型小的时候，实验失败了，改一改参数再跑一次。等规模到了千亿级，每一次失败后面都是更多GPU、更长时间，以及真实存在的计算成本。一个训练任务已经运行了许久，最后才发现模型开始发散，“重新来一次”就不再是实验室里一句很轻松的话。

GLM团队后来把模型权重、代码、训练日志以及不少经验一起开放。

他们还做了一件方向几乎相反的事：模型已经做到1300亿参数，却继续想办法把它塞进更便宜的机器里。经过INT4量化（用更低精度保存模型参数、减少显存占用的办法）以后，GLM-130B可以在一台配有4张RTX 3090的服务器上做推理。RTX 3090是一张面向消费市场的高端显卡。也就是说，一个1300亿参数模型，已经可以只靠4张这样的卡跑起来。

GLM-130B｜训练时间线｜清华官方

一边是越来越昂贵的训练，另一边，是想办法让已经训练好的模型离更多人近一点。

这种拉扯后来会反复出现在中国大模型的故事里，只是在2022年，它还主要属于研究人员和工程师。

普通人很少知道这些事情。

人们不知道什么是loss spike，也没有必要知道一块A100和一块3090差在哪里。绝大多数人甚至没有真正使用过一个能够让他们意识到“大模型和以前的人工智能不一样”的产品。

但已经有人开始尝试，做给普通人用的大模型产品。

2021年底，北京知春路一家酒店的大堂里，明势资本创始人黄明明第一次见到准备创业的闫俊杰。黄明明后来记得，他们远远看见一个人坐在那里，抱着笔记本电脑写代码。闫俊杰跟他们讲Transformer、AGI，以及一种不用为每个场景重新定制模型的人工智能。

几个人并没有全听懂。

大约十天以后，他们决定投钱。黄明明多年后回忆这次投资，很坦率地说，当时看到的只是“一个模模糊糊的未来”。

放回2021年底，这笔钱显得比后来更冒险。那时候，大模型最显眼的存在方式仍然是论文、研究院和大厂。把它做成一家独立公司，既要自己承担训练成本，也还不知道产品最后会是什么。

闫俊杰后来创办的公司叫MiniMax。

他也是少数在ChatGPT出现以前，就决定直接做通用模型创业的人之一。只是连他自己也不知道产品最后会是什么样子。后来他回忆，团队做第一批产品时，既没有ChatGPT，也没有Character.AI这样的美国先辈可供模仿，“产品都是撞出来的”。

到了2022年10月，他们有了第一版大约300亿参数的模型。能力并不算强。闫俊杰后来讲得很直接：它做不了后来ChatGPT那类可靠的通用助手，只能先去做一些娱乐性的事情。

于是有了Glow。

用户可以创造一个AI角色，跟它聊天，让它扮演某个人物，进行带有想象性质的互动。模型容易“编造”，在很多场景里是缺点；可到了这种产品中，编造并不总是坏事。

这很像那个年代的大模型。

能力已经冒出来了，人们却还不知道应该怎样安放它。

产品不是先在会议室里被完整设计好，再等待模型实现。更多时候，是模型先到达某个不高不低的水位，团队顺着它当时能做到的事情往前走。

今天回看2021和2022年，很容易把这一切排成一条通往ChatGPT的道路。

那时的人没有这张地图。

有人把大模型叫发电厂，有人想把AI从作坊变成工业生产，有人相信知识增强，有人仍在解决一个千亿参数模型为什么会突然训练崩掉。还有人已经决定创业，却连第一款真正应该做什么的产品都没有想明白。

到2022年夏天，中国已经能够训练真正意义上的千亿级、甚至万亿级模型，也已经有了几种不同的组织方式和技术路线。

“怎么把模型做大”，正在变成一个越来越具体的问题。

另一个问题仍然悬在那里：

做出来以后，它究竟应该变成什么？

05｜十月的芯片，十一月的聊天框

答案已经很近了。

但在它出现以前，另一件事先改变了中国团队继续把模型做大的条件。

一件事，和芯片有关。

其实变化在十月以前已经开始。8月26日，美国政府通知NVIDIA，对未来向中国出口A100和即将推出的H100增加新的许可要求。几天后，NVIDIA在提交给美国证券交易委员会的文件中披露了这件事。A100正是当时训练大模型最重要的高端GPU之一。

10月7日，美国商务部工业与安全局又发布了一整套新的先进计算和超级计算出口管制规则。限制不只针对某一张卡，还覆盖达到特定性能门槛的先进计算芯片、包含这些芯片的计算系统，以及与超级计算相关的一些用途。

前面几年里，算力的难题一直很具体：机器贵，卡不够，训练要排队。到这里，问题第一次多出另一层含义。最先进的GPU能不能长期拿到，不再只由预算和采购能力决定。

11月初，NVIDIA又确认正在向中国客户提供A800，一款为满足新的出口管制要求而调整的A100替代产品。规则已经开始写进卖给中国的GPU型号里。

模型还在往大里做，但中国团队面对的条件已经变了。

另一件事，看上去只是一个聊天框。

2022年11月30日，OpenAI把ChatGPT作为免费的Research Preview（研究预览版）放到网上。它基于GPT-3.5系列继续训练，页面很简单：用户输入文字，模型用文字回答。

2022年12月15日版ChatGPT早期界面。图中仍标注“Free Research Preview”

以前想体验一个大模型，很多时候得读论文、调用API，或者等研究团队做出Demo。ChatGPT把这件事变得异常简单。

你可以继续追问，它会接着前面的对话回答；它会承认错误，质疑错误的前提，也会拒绝一部分不合适的请求。OpenAI当时仍然把它当作一次公开测试，希望从用户反馈里继续了解模型的能力和问题。

那些论文、参数、GPU和训练方法，此刻都退到了屏幕后面。

普通人看到的，只剩一个框。

只要在里面打下一句话。

（未完待续）

第②章预告｜一张突然值钱的船票 聊天框已经出现，真正的震动才刚刚开始。当所有人突然意识到这件事可能真的重要，问题就不再是“它有什么用”，而变成了另一句更急迫的话：我是不是已经来晚了？ 那是一个个值得记录的人物，陆续做出选择的历史画面。

｜本章关键来源附录

• 北京智源研究院公开资料、智源大会材料，以及唐杰、张宏江、刘知远等相关公开访谈

• CPM论文、模型卡及同期公开资料

• 华为云2021年开发者大会及盘古大模型公开材料

• 百度、鹏城实验室关于ERNIE系列的公开资料

• GLM-130B论文及项目公开资料

• 闫俊杰、黄明明等关于MiniMax早期创业的公开访谈

• Transformer、BERT及《Scaling Laws for Neural Language Models》等原始论文

• NVIDIA向SEC提交的文件、美国商务部BIS 2022年先进计算出口管制文件

• OpenAI 2022年11月30日ChatGPT发布材料

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4888341.html?f=wyxwapp