网易首页 > 网易号 > 正文 申请入驻

DeepSeek冲向10万亿参数,我翻完华为的技术方案,发现普通人最该关心三件事

0
分享至

10万亿参数是什么概念?

DeepSeek-R1的参数量是6710亿,10万亿是它的十五倍。阿里当前旗舰Qwen 3.8-Max约2.4万亿,DeepSeek现役V4-Pro为1.6万亿。也就是说,10万亿这个数字,是国产已发布模型里最大那个的四倍还多。

华为CANN社区10月5日公开了一份技术文档,标题叫《基于昇腾950超节点的万亿MoE模型预训练系统参考实践》。里面在讲DeepSeek预训练支持时,明确提到“分析550B、1.6T模型的切分策略,以及向10T规模外推时的部署权衡”。

这是DeepSeek公开技术材料中,模型规模第一次触及10万亿参数量级。

我花了一个晚上把这份文档翻了一遍。技术细节很多,但普通人真正该关心的,其实是另外三件事。

10T模型能做什么,得先搞懂MoE

很多人看到“10万亿参数”第一反应是:这跟我有什么关系?

要回答这个问题,得先理解一个概念。DeepSeek用的是MoE架构,全称混合专家模型。

打个比方。稠密模型像一个全能选手,什么问题都得自己上,你问它什么它都要调动全部脑细胞。MoE模型像一个团队,里面有擅长写代码的、擅长翻译的、擅长做数学题的。你问代码问题,只叫代码专家出来,其他人不用动。

总参数是团队总人数,激活参数是每次实际干活的人数。 DeepSeek-V3总参数6710亿,但每次推理只激活约370亿。

DeepSeek V4-Pro的总参数是1.6万亿,激活参数49B。V4-Flash更极端,总参数284B,激活只有13B。

10万亿参数的MoE模型,总参数涨了,但激活参数不一定同比例涨。这意味着它的能力上限大幅提升,但推理成本不会等比例飙升。

所以10T模型能做什么?更强的推理能力、更长的任务链、更复杂的多步骤规划。这些“没见过的新能力”,往往先出现在最大的模型上,再慢慢下放到你手机里那个免费的AI助手。



华为昇腾的方案,到底解决了什么问题

翻完文档,我觉得最有价值的信息藏在“部署权衡”这四个字里。

训练一个10万亿参数的模型,不是把更多芯片堆在一起就能跑起来的。模型大了,显存不够用、芯片之间通信变慢、计算效率下降,这些都是硬骨头。

华为的方案里,有几个关键设计。

一个是FSDP、EP、CP三层并行策略。简单说就是把模型切碎,分布到不同的芯片上去。切法很有讲究,切不好就会出现“有的芯片忙死,有的芯片闲着”的情况。

另一个是FlexMuon分布式优化器,针对参数布局重组、层级流水做了优化。还有GraphTrainer,通过图像映射来编排通信和计算,减少串行等待。

昇腾950超节点以单机柜64张NPU卡为基本单元,最大支持8192张NPU卡高速互联。 这是个什么规模?8192张卡同时跑一个模型,通信延迟控制不好的话,训练效率会大打折扣。

DeepSeek V4已经在这套硬件上跑出了实际数据。V4-Pro在8K输入场景下,单卡Decode吞吐4700TPS,TPOT约20ms。V4-Flash单卡吞吐1600TPS,TPOT约10ms。

这些数字什么水平? 够用。不是最顶尖,但已经能支撑起大规模推理服务。



跟阿里比,DeepSeek的路线有什么不同

阿里在9月云栖大会上宣布,下一代Qwen模型计划扩展到5万亿到10万亿参数。CEO吴泳铭亲自站台,说这是“迈向超级人工智能的关键路径”。

DeepSeek创始人梁文锋在投资者会议上说过一句话,大意是:算力资源撑不住10万亿的训练,即使训出来了,研究所需的算力也远远不够,不如优先做好几千万激活的模型。

这两条路线其实不矛盾。

阿里在推“递归式自我改进”,Qwen3.8-Max已经在无人参与的情况下自主搭建训练流程、构造数据、设计实验,持续迭代超过一个月,完成33轮有效迭代。这条路走的是让AI自己改进自己。

DeepSeek在推“性价比路线”,用更小的激活参数打出旗舰效果,同时通过CANN社区的技术文档展示自己有能力向10T外推。这条路走的是“我有能力做大,但现在不做”。

从产业角度看,字节也在训练10万亿参数模型,据报需要约3万张GPU连续跑三到六个月。三家都在往同一个方向走,只是节奏不同。



训练成本是什么量级,API会涨价吗

聊完技术,说点实际的。

训练一个10万亿参数的MoE模型,需要数万甚至十万级别的AI加速卡,训练周期数月。仅算力硬件投入就是百亿级别。电费、集群运维、芯片采购,每一项都是天文数字。

有人估算,如果用英伟达GB200/GB300构建集群,光硬件成本就可能达到180亿美元。

但这笔钱跟你的API账单关系不大。

MoE架构的特点决定了,10万亿参数的模型不会让每次推理都跑10万亿次计算。真正影响你使用成本的,是激活参数而不是总参数。

DeepSeek在8月已经涨过一轮价了。V4-Pro高峰时段输出价格从6元涨到27元/百万tokens,缓存命中输入价格从0.025元涨到0.3元。V4-Flash空闲时段输入缓存未命中1.5元/百万token,输出4.5元。

10T模型短期内不会直接替代V4系列。它更像是一个“储备项目”,用来探索能力上限,等成熟了再逐步下放。你日常用的还是V4-Flash和V4-Pro,价格不会因为10T项目就突然跳涨。



这件事跟你到底有什么关系

回到最开始的问题:10万亿参数,普通人需要关心吗?

如果你只是用DeepSeek聊天、写东西、做表格,短期内感知不到差别。

但有两件事值得留意。

一是能力下放。10T模型探索出来的新能力——更强的推理、更长的任务链、更复杂的规划——迟早会流到日常产品里。就像几年前只有超大模型才有的代码补全能力,现在你手机上的免费AI也能做。

二是国产算力的进展。DeepSeek V4从训练到推理已经完整适配了华为昇腾NPU,自研的细粒度专家并行方案在昇腾上实现了1.50到1.73倍的加速比。梁文锋甚至说过,华为950超节点可以完全平替英伟达GB300。

这句话的分量在于:这意味着国产芯片已经能撑起万亿参数模型的训练和推理,不是只能做小模型的玩具。

昇腾950DT预计2026年第四季度推出,DeepSeek计划在内蒙古乌兰察布的数据中心部署至少16万颗昇腾950DT芯片。

当算力不再被卡脖子,模型能跑多大这件事,就变成了一个工程问题,不是资源问题。

10万亿参数是一个信号。它说明中国AI公司已经开始认真思考“能力天花板”这件事,而不只是“怎么把成本打下来”。

对普通人来说,最好的态度可能是:不用焦虑,但别忽视。 那些今天在10T模型上跑通的能力,三年后就是你手机里那个AI助手的标配。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吴宜泽北爱签表解析:16进8或遇艾伦,半决赛上演世界第一争夺战

吴宜泽北爱签表解析:16进8或遇艾伦,半决赛上演世界第一争夺战

夜深聊球
2026-10-07 20:06:18
专家警告:每天吃一颗红枣,就等于给心脏“踩刹车”?真相来了

专家警告:每天吃一颗红枣,就等于给心脏“踩刹车”?真相来了

芹姐说生活
2026-10-02 23:41:36
中国可能要全面双休,全面双休意味着什么?对中国人有啥影响呢?

中国可能要全面双休,全面双休意味着什么?对中国人有啥影响呢?

真的好爱你
2026-09-17 06:46:29
国乒男单12人被淘汰!WTT中国大满贯:16强2席,张本智和对手出炉

国乒男单12人被淘汰!WTT中国大满贯:16强2席,张本智和对手出炉

徐徐解说
2026-10-07 23:41:58
婚变传闻迎来大结局,吴奇隆正式官宣息影,和刘诗诗走上了两条路

婚变传闻迎来大结局,吴奇隆正式官宣息影,和刘诗诗走上了两条路

少女的烦恼
2026-10-05 19:07:15
72.1万元!雷克萨斯新车正式上市

72.1万元!雷克萨斯新车正式上市

沙雕小琳琳
2026-10-06 11:51:25
曼联小梅西索要百万年薪,拒绝切尔西确定去欧洲!无意与曼联和解

曼联小梅西索要百万年薪,拒绝切尔西确定去欧洲!无意与曼联和解

罗米的曼联博客
2026-10-07 11:41:17
续航2300km+油耗1.8L!比亚迪第六代DM-i 6.0要让加油站倒闭?

续航2300km+油耗1.8L!比亚迪第六代DM-i 6.0要让加油站倒闭?

沙雕小琳琳
2026-10-06 15:50:14
场均50分的张伯伦,为何拿不了MVP?

场均50分的张伯伦,为何拿不了MVP?

篮球实录
2026-10-08 02:02:55
中国公开赛战报:再爆大冷世界第3出局,8强决出7席郑钦文在列

中国公开赛战报:再爆大冷世界第3出局,8强决出7席郑钦文在列

求球不落谛
2026-10-07 21:36:42
体制内的人出现了明显的转向!

体制内的人出现了明显的转向!

职场资深秘书
2026-10-07 17:40:02
孩子脱臼复位只收100元,家长举报乱收费!卫健委:应收110元,你还少给了!家长拒缴费后离开!

孩子脱臼复位只收100元,家长举报乱收费!卫健委:应收110元,你还少给了!家长拒缴费后离开!

医脉圈
2026-04-25 20:04:06
体坛丑闻!嗜赌只是冰山一角,婚内出轨睡有妇之夫,太毁三观

体坛丑闻!嗜赌只是冰山一角,婚内出轨睡有妇之夫,太毁三观

橙星文娱
2026-04-25 11:14:17
C罗,撂挑子了?

C罗,撂挑子了?

中国新闻周刊
2026-10-07 11:54:09
12306终于想通了:与其让1亿人抢票,不如让他们先举手

12306终于想通了:与其让1亿人抢票,不如让他们先举手

笑熬浆糊111
2026-08-10 12:02:09
乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

乐基儿年轻时真漂亮,看曾志伟的眼神就知道了

娱你同欢
2026-09-13 20:22:17
网友喊话南通交警:别太尽职!老百姓赚钱不容易!

网友喊话南通交警:别太尽职!老百姓赚钱不容易!

濠河神聊
2026-10-07 11:57:43
他到离休年龄继续当省委一把手,别人有意见,上级:调出来当社长

他到离休年龄继续当省委一把手,别人有意见,上级:调出来当社长

娱乐圈的笔娱君
2026-10-01 07:57:23
贵阳花果园:共 240 栋 45 层以上住宅,房价从 3 千涨到 1.4 万,如今严重分化

贵阳花果园:共 240 栋 45 层以上住宅,房价从 3 千涨到 1.4 万,如今严重分化

专业聊房君
2026-10-05 13:18:45
女人长期保持漂亮的方式,就一个字:少!

女人长期保持漂亮的方式,就一个字:少!

心灵悦读
2026-09-15 10:02:54
2026-10-08 04:03:00
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
83文章数 2关注度
往期回顾 全部

科技要闻

诺贝尔化学奖揭晓,两位科学家摘得大奖

头条要闻

中国新婚夫妇在马尔代夫度假溺亡 有人1天目睹2起溺水

头条要闻

中国新婚夫妇在马尔代夫度假溺亡 有人1天目睹2起溺水

体育要闻

从骑马舞到开口全中文 德约在北京不止七冠

娱乐要闻

蔡康永风波再升级!这次谁也救不了他

财经要闻

谷歌签下科技史上最大核能协议

汽车要闻

智能化再提升 2027款东风标致、东风雪铁龙新车更人性化了

态度原创

健康
家居
艺术
旅游
时尚

刷酸祛痘,为什么有人翻车?

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

全球十大顶级风光摄影师作品,太美了!

旅游要闻

新场景新玩法释放京城文旅消费活力

50套高智感通勤穿搭,怎么穿都时髦好看!

无障碍浏览 进入关怀版