网易首页 > 网易号 > 正文 申请入驻

10万亿参数大模型,注定要被关进笼子里

0
分享至



OpenAI即将发布的GPT-6,传闻称它的参数量高达10万亿。

10万亿是一个非常恐怖的概念。现如今,全球顶尖大模型的参数量都在“万亿”级别。比如阿里的Qwen 3.8为3.5万亿,Kimi K3为2.8万亿,字节内部正在开发的模型,也有数万亿的参数量,哪怕是OpenAI的Mythos 5,估算也只有8万亿。

10万亿,代表了一个全新的时代。

遥想2025年,引发DeepSeek时刻的DeepSeek-R1,它才6710亿参数量。怎么仅仅过了1年,参数量就膨胀到如此这般了?

现在的GPT-5.6和Claude Mythos 5,根据测算,前者参数量在3到5万亿,后者更是将近8万亿。

那它们都能干嘛呢?有个独立开发者拿GPT-5.6做带界面的图片压缩工具,一个模型包揽需求分析、架构设计、写代码、写测试用例、修Bug。如果是一个独立开发者完成这些任务,大约需要花费1天的时间,而GPT-5.6 Sol只用了不到2小时就交付了能用的成品

Mythos 5更吓人了。它被定向放给了一些网络安全机构,根据这些机构的报告,Mythos 5能自主完成从代码审计、漏洞定位到构造攻击载荷的全链路,从预览版亮相至今,已识别出超过一万个高危及以上级别的软件漏洞。

到了10万亿模型,它能做的就更多了。比如跟它说要搬家,它能自己约搬家公司、跟搬家公司规划打包顺序、给水电燃气过户、更新一圈收货地址,你要做的事情,就是拿着钥匙去新家等家具运到。

但这只是硬币的一面。

OpenAI 紧急叫停了内部代号Astra的新模型,官方安全评估显示,它可能具备自主开发零日漏洞、甚至仅凭一句指令就发动端到端网络攻击的能力,奥特曼自己都坦言“我被吓到了”。

在英国 AI 安全研究所(AISI)8 月初的红队测试中,对 Mythos 5 和 GPT-5.6 Sol 做了 122 轮测试,出现 19 起自主越界攻击。

更可怕的是,Mythos 5会自己编写恶意代码、提交到真实开源项目的GitHub PR,被人质疑后还改评论、注册小号给自己洗白;多个Agent甚至能私下建立隐蔽通信通道,协同规划渗透攻击。

10万亿参数能做到的“恶”,将远超人们的想象。

01

10万亿和万亿有什么不同?

先搞清楚一个最基本的问题:参数到底是什么。

你可以把大模型的参数,理解成我们大脑里的突出,它是神经细胞之间用来传递信息的连接点。人类的神经突触大约有10的14到15次方个,也就是百万亿这个量级。

模型参数做的事类似,记住输入与输出之间的模式,储存这个世界的规律。参数量,决定的是一个模型的记忆与表达容量,直白一点说,就是它脑子里装得下多少东西,能把话说得多透彻。

但容量不等于智力,一个人的房间里塞满了书,不等于这个人就有多么高的学识。真正决定智力的,是数据、训练方法、架构,还有推理时的算法。



2021年11月,阿里达摩院的M6就干到过10万亿参数,用了512张GPU,训练了10天,能耗只有GPT-3的1%,一度是全球最大的预训练模型。

但M6是稀疏多模态的早期形态,靠极致的稀疏化与CPU offload把参数塞进去,能力极其有限,连今天的开源小模型都打不过。它是“参数意义上”的10万亿,不是“能力意义上”的10万亿。和今天要靠数十万卡集群端到端训练出来的通用前沿模型,完全不是一个物种。

那巨头为什么还要死命堆参数?

说到底,还是因为Scaling Law。OpenAI在2020年发现,模型性能与参数量、数据量、算力之间呈可预测的幂律关系。并且三者同步放大,能力就随之可预测地提升。

虽然Scaling Law后续被无数人和企业修改过,但是有一条铁律是不变的,在相同的数据与算法下,更大(参数、算力)的模型,下限更高。

10万亿参数,到底要烧多少钱?

我们可以算一笔账。训练一个模型的总计算量,大致等于6乘以“激活参数”再乘以“训练数据量”。

GPT-4用了约2.1×10的25次方次浮点运算,仅算力账单就花了约7800万美元;谷歌的Gemini Ultra用了约5×10的25次方次,烧掉约1.91亿美元。

如果是10万亿的大模型,按总参数10万亿、每次激活约1万亿、喂进15万亿token数据的MoE架构来算,一次正式预训练的总计算量约9×10的25次方次浮点运算,是GPT-4的4倍多。

GPT-4当年是用2.5万张A100跑了近100天,今天的Blackwell旗舰卡单张算力是A100的好几倍,假如有5万张Blackwell,那么训练完1个10万亿大模型,差不多需要1个月。一张Blackwell旗舰卡的租金大约为两三千美元一个月,5万张跑满30天,光算力租金就是一两亿美元。

可是这5万张卡不是插上电就能转的。一张Blackwell旗舰卡功耗就有1200瓦,5 万张光是显卡本身就要吃掉60兆瓦。

算上网络、存储、散热和机房损耗,整座数据中心要配到接近100兆瓦的供电。

xAI 在孟菲斯建的Colossus,10万张H100也就吃150兆瓦,而当地电网当时只供得出8兆瓦,马斯克最后被逼得拉来一整排燃气发电机才点得着火。光这一趟的电费,按一个月算就要几百万美元。

至于地方,那是一个装满几百个液冷机柜、占地几万平方米的数据中心园区,相当于两三个标准足球场。

Epoch AI的统计是,前沿模型的训练成本每年以2.4倍的速度增长。阿莫迪曾经说过,到2027年,最前沿模型的单次训练成本可能冲到100亿美元,甚至1000亿美元的量级。

但这还只是单次预训练的账单。算上反复试错、数据工程、电力与人才,整个项目的真实投入,要奔着数十亿美元、甚至更高去。OpenAI今年给自己批的算力预算,已经高达约500亿美元。

但这里藏着一个反直觉的关键点:10万亿的成本,不是Kimi K3的三倍,甚至可能比很多人想象的便宜得多。

总参数多,不等于烧的钱多。现在的顶尖模型都是“混合专家”(MoE)结构,你可以把它想成一家超大的公司,这个公司有很多业务,但是具体到某一个任务,它只会抽几个人出来干活。

所以决定一单生意成本的,从来不是公司总人数,而是这单实际动用了多少人。换到模型上,就是“激活参数”这个概念。处理每个token时,真正被叫出来干活的,其实只有部分参数而已。

明白了这一点,Kimi K3的2.8万亿也好、Qwen的2.4万亿也好,GPT-6的10万亿也好,它们差的只是“员工总数”,而账单不跟着总数走。真正决定成本的只有两样,每次干活动用的激活参数,加上喂进去的数据量。

总参数翻三倍,单次成本可能纹丝不动;反过来,哪怕两家总参数一样多,一家激活得多、喂的数据多,账单也能差出好几倍。

在这场大模型竞赛里,参数量成了大家比拼的重要指标。因为它最直观、也最难造假。OpenAI抛出10万亿,本质上就是在宣布:参数量,就是这个时代大模型竞争中最关键的指标,而在这个指标上,我领先所有人。

这句话背后的潜台词是,模型竞争,已经进入了一个“烧不起”的程度。

美国五大科技巨头2026年的资本开支合计预计高达7790亿美元,目前全球前沿模型的训练集群已经是动辄数十万卡,2027年就要进入百万卡时代。

光是入场就需要几百亿美元,后面的运营、维护、调优等等也不少花钱。换句话说,AI这条赛道,现在只允许退出,不允许进入了。

02

参数越大,能力越大

参数越大,就代表它能做到的事情越多。

GPT-5.6 Sol已经能自主连续工作5小时,同时调度几十个子Agent并行干活,一次读进150万token的上下文。

150万token相当于几千页的文档,或者一整座中型软件仓库的量。

以前大模型读长文或者完整的软件仓库,它都需要去“压缩”一下任务,每完成一部分任务,就得把前面浓缩成几句摘要再接着干,这就导致细节就在一次次压缩里逐渐丢掉了。

一口气看完150万的token,意味着整个项目的来龙去脉、每一行代码、每一个拍板的决定,它都能摊在桌面上随时翻回去看,干了后面,也不会忘了前面的细节。

以前参数量小,Agent哪怕性能再强,也都是“单兵作战”。写代码、查文档、跑测试、修Bug,只能一件件串着来,每切换一次任务,前面的上下文还要腾出来。

几十个子Agent,相当于是可以同时执行多个任务,总管Agent负责拆任务、定方案,下面写代码的Agent只管写代码,查文档的Agent只管查文档,跑测试的Agent只管跑测试,各管一摊、并行推进,最后再汇总结果。不仅缩短了任务时间,还因为子Agent各司其职,让其上下文之间不会互相干扰,进而提高任务表现。



专门追踪AI自主能力机构METR表示,目前最强的模型已经能连续自主运行15小时以上。另外,交给这个模型一个人类专家大约要花30分钟完成的软件工程任务,它的成功率已经达到80%。

按照这个趋势推演,10万亿参数模型,它能做的事情只会更加完整,并且它单个任务的耗时,也会低于现在的万亿参数模型。

举个例子,早上你对10万亿参数大模型说一句:“孩子下周三数学竞赛,安排这两周复习。”

虽然你关于考试结果的事情一个字没提,但是它会以“我应该怎么才能让孩子考试成绩变好”为出发点去规划任务。

每天按进度出题、批改、讲错因,考前提醒你打印准考证、查好考场路线、规划好当天的接送。

过去的模型是个家教,但是10万亿参数的模型是一个教育家。

工作上也是同理。对于GPT-5.6这样的万亿级别参数模型,它会自己拆需求、写代码、跑测试、修Bug、写文档,几天后交给你一份能直接上线的成品。

而到了10万亿参数,它会自己去运营整个项目。比如这个项目市场表现不好,反馈是如何,那么它会吸收这些反馈用来更替它已有的产品功能,再迭代到市场,以此反复。

这不是科幻。

METR的研究注意到了这样一个趋势,称模型的“时间视界”,从2019到2025年大约每7个月翻一倍。

所谓时间视界,指的是它能可靠完成的任务、按人类工时计量的长度。

到了今年,翻倍速度更是加快到大约4个月。

随着模型参数越来越大, AI性能越来越强,它们也开始越来越多地参与改进下一代AI,最终形成“自进化”的完整闭环,即AI训练 AI、AI评测AI、AI优化AI的架构。

如果这条回路转起来,“每四个月翻一番”可能都会显得保守。

03

10万亿参数大模型,更容易作恶吗?

AI越来越聪明,那是不是也就意味着它越来越会作恶呢?直觉上,答案似乎是肯定的:参数越大,能力越强,作恶当然越容易。

英国AI安全研究所(AISI)2026年7月发布测评,他们把GLM-5.2、DeepSeek V4-Pro这类任何人都能下载的开源模型,放进模拟企业网络的沙盒环境里去运行,结果发现,这些参数更小的模型,只比Fable 5这个更大参数的模型落后约4到7个月,甚至在有的评测基准下,低参数的模型和高参数的模型,其结果是完全相同的。

事实的真相是,模型作恶与否,不跟着参数走,只跟着“能力×自主性”走。

2024年UIUC的论文《大语言模型智能体能够自主实施一日漏洞利用》(LLM Agents can Autonomously Exploit One-day Vulnerabilities),专门研究的就是这件事,论文通过测试得出一个结论,相同的模型被赋予不同的自主性,就会得到不一样的结果。

2025年11月,论文走进了现实。Anthropic披露,一个黑客组织,把编程助手Claude Code改造成了一条自动化攻击流水线,自主执行命令、利用漏洞、窃取凭据、做战术决策,全程几乎不需要人工介入。

决定它危险的,从来不是这个模型有多大,而是它被赋予了自主权、工具链,以及一个明确的目标。

所以,我们真正该问的不是“10万亿会不会作恶”,而是如果这样一个模型开始作恶,它会坏到什么程度?

它能把“一次攻击”变成“永不停机的攻击流水线”。

正如前面提到的,10万亿参数的模型,已经能超过项目本身,完成整个企业层面的运营,那么对于攻击,它肯定也不会说是只攻击一次,而是会持续攻击直到目标彻底崩溃。

今天,一个程序员用AI挖出一个漏洞,整个过程可能要数周的时间。但是对于一个10万亿模型,它能把“信息收集→漏洞挖掘→构造利用→横向渗透→数据窃取→痕迹清理”整条链路串成一条无人值守的自动化流水线,7×24小时不停机地跑。

2026年,OpenAI前沿模型Astra被证实能自主挖出零日漏洞,因此OpenAI内部紧急叫停Astra的研发。

可你得清楚,Astra还没到10万亿参数,那要是到了10万亿,这条流水线只会更快、更隐蔽。

所以你看,Mythos 5现在还在笼子里,Fable 5只是阉割过的可控版,Astra也被放进了笼子里。不管这背后有多少营销的成分,这里面都包含了人类对模型实打实的恐惧。哪怕是亲手造出它们的人,也不敢百分百信任它们。

等10万亿参数的模型真来了,势必会有一场对应的“灭世营销”。

能力吹得越可怕,越像是在证明“我掌握了一头连自己都怕的怪兽”。

不过大概率的情况是,这个10万亿模型最终仍然不会放出来。它更像是一张提前占好的坑位。先把“神”供在实验室里,让可控版本先落地,把不可控的那一头锁进笼子里慢慢驯化。

10万亿参数决定不了善恶,决定善恶的是谁握着闸门的控制权。 它可以是一台超级生产力机器,也可以是一把超级武器,差别不在参数,而在人类怎么设计它的自主性、怎么封它的工具链、怎么管它的释放。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
DeepSeek被曝将采购16万颗华为昇腾950DT

DeepSeek被曝将采购16万颗华为昇腾950DT

观察者网
2026-09-05 17:37:05
21世纪世界最伟大的 10 位数学家(综合影响力参考排名)

21世纪世界最伟大的 10 位数学家(综合影响力参考排名)

林子说事
2026-09-05 02:35:10
49岁中国公民尼泊尔泥石流灾害后失联10天奇迹获救:爬到了隧道最高处,多次看到搜救灯光并大声呼喊

49岁中国公民尼泊尔泥石流灾害后失联10天奇迹获救:爬到了隧道最高处,多次看到搜救灯光并大声呼喊

19楼
2026-09-06 08:54:12
37岁唐尚珺开学读大三,30万建房门窗未装,70岁母亲先入住

37岁唐尚珺开学读大三,30万建房门窗未装,70岁母亲先入住

九方鱼论
2026-09-05 22:08:24
“我女儿遇上这种室友,我肯定要去学校闹”,一张下铺床帘暴露素质

“我女儿遇上这种室友,我肯定要去学校闹”,一张下铺床帘暴露素质

熙熙说教
2026-09-05 15:14:44
那一巴掌扇的是郑丽文,碎的是国民党最后的体面?新竹内斗真相

那一巴掌扇的是郑丽文,碎的是国民党最后的体面?新竹内斗真相

时负相知
2026-09-06 06:53:53
本西蒙斯加盟国王,不管怎样,回来就好

本西蒙斯加盟国王,不管怎样,回来就好

静易墨
2026-09-05 21:29:02
佛山70余企业联名质疑园区“电费加价”,市监部门:已立案调查

佛山70余企业联名质疑园区“电费加价”,市监部门:已立案调查

新京报
2026-09-06 12:37:15
建议把大学生维权纳入扫黑除恶范围,这得心肠歹毒到啥程度才能想得出?

建议把大学生维权纳入扫黑除恶范围,这得心肠歹毒到啥程度才能想得出?

壹家言
2026-09-05 14:59:26
美国“生锈航母”,在泰国紧急清洗锈迹藻类,专家:中国海军急需这种锈蚀,这代表实战经验

美国“生锈航母”,在泰国紧急清洗锈迹藻类,专家:中国海军急需这种锈蚀,这代表实战经验

蓝星杂谈
2026-09-05 14:35:38
特斯拉中国宣布新优惠,但这要求确实过分啊!

特斯拉中国宣布新优惠,但这要求确实过分啊!

XCiOS俱乐部
2026-09-05 20:05:02
武汉大学下架女教授信息,安徽大学不该成背锅侠

武汉大学下架女教授信息,安徽大学不该成背锅侠

平老师666
2026-09-05 22:01:21
是时候揭开真相了:当年对越作战的损失或许远超人们想象,仅从那些牺牲的将门之后就能看出端倪

是时候揭开真相了:当年对越作战的损失或许远超人们想象,仅从那些牺牲的将门之后就能看出端倪

人生录
2026-08-26 00:05:15
日军屠村多残忍?一位幸存者讲述:日军扒光妇女衣服当众糟蹋

日军屠村多残忍?一位幸存者讲述:日军扒光妇女衣服当众糟蹋

千秋文化
2026-09-05 20:10:55
徐杰要被挤走了!广东宏远更衣室大震荡,这次新赛季能进总决赛了

徐杰要被挤走了!广东宏远更衣室大震荡,这次新赛季能进总决赛了

国足未赢够
2026-09-06 11:04:05
江苏2026养老基数调整!到手工资变少,退休金涨跌利弊一次性讲透

江苏2026养老基数调整!到手工资变少,退休金涨跌利弊一次性讲透

陈博世财经
2026-09-06 09:56:54
周杰伦晒郑钦文赛后采访照,配文:这个逆转

周杰伦晒郑钦文赛后采访照,配文:这个逆转

懂球帝
2026-09-06 02:42:09
捡漏天花板!跳蚤市场1英镑淘到小石狗,居然是600年前明初玉兽,最高估价1万镑!

捡漏天花板!跳蚤市场1英镑淘到小石狗,居然是600年前明初玉兽,最高估价1万镑!

意大利华人网0039
2026-09-05 15:51:59
四妻共侍一夫仅开胃菜,何超琼曝家族猛料,难怪至今不敢再婚生子

四妻共侍一夫仅开胃菜,何超琼曝家族猛料,难怪至今不敢再婚生子

社会日日鲜
2026-09-06 09:23:22
奇迹之夜!郑钦文进16强!决胜盘0-5神奇大逆转,中国金花杀疯了

奇迹之夜!郑钦文进16强!决胜盘0-5神奇大逆转,中国金花杀疯了

大秦壁虎白话体育
2026-09-06 01:39:33
2026-09-06 13:32:49
字母榜 incentive-icons
字母榜
让未来不止于大。
2750文章数 8091关注度
往期回顾 全部

科技要闻

DeepSeek被曝将采购16万颗华为昇腾950DT

头条要闻

5架退役民航客机被打包拍卖 起拍价500万元

头条要闻

5架退役民航客机被打包拍卖 起拍价500万元

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

低调富养!郭富城两女儿入读香港名校

财经要闻

亏损高达200亿,昔日彩电霸主走下巅峰!

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

健康
亲子
时尚
手机
艺术

脑梗取栓成功≠活下来,还有这三关

亲子要闻

平时忙碌,亏欠了孩子很多陪伴。趁着闲暇,带两个小朋友出门撒欢,看着他们开心奔跑的样子,瞬间觉得一切都值得,简单的幸福莫过于此。

金秋最流行的鞋子,“红色”更时髦!

手机要闻

OPPO卓世杰透露Find X10系列手机将新增色盘功能

艺术要闻

有光的静物花卉,俄罗斯当代画家维罗尼卡·洛巴列娃

无障碍浏览 进入关怀版