网易首页 > 网易号 > 正文 申请入驻

一场昂贵的工程排雷:DeepSeek为何要用昇腾死磕预训练?

0
分享至

在算力圈的江湖叙事里,一直存在着一条隐秘的分界线:用国产芯片做推理(给用户提供服务),叫支持国产;用国产芯片做基座预训练(从零训练千亿级大模型),常被视作地狱级难度。

现在,这条线正在被重量级玩家试探。

近日,据多家媒体援引产业链人士消息,DeepSeek下一代大模型DeepSeek V5,计划基于华为昇腾芯片进行预训练。

必须首先厘清一个事实边界:这是一项尚未官宣、仍在推进中的工程计划,绝非已经验证完成的既成事实。 此外,这并非国产算力在预训练上的零的突破。此前,科大讯飞星火 X2.5 曾披露基于昇腾万卡集群开展基座预训练工作(完整细节未对外公开);美团 LongCat-2.0 也已公开确认全程基于国产算力集群完成预训练与推理(厂商未逐一点名);昇腾官方也曾披露过数十个原生预训练模型。

在这个背景下,DeepSeek V5的动作之所以引发震动,是因为它是国内主打开源生态、极致性价比路线的头部模型厂商里,为数不多、分量最重的一次旗舰基座从零预训练尝试。如果跑通,它将证明国产算力底座不仅能用,而且能支撑世界级顶尖模型的从0到1。

跨越鸿沟:预训练与后训练的物种隔离

在探讨技术难度前,必须明确一个极易混淆的技术界定:全参数后训练(CPT)不等于从零开始的基座预训练。

据悉,在此前的V4-Pro阶段,已有项目披露依托昇腾完成过全参数后训练与增量续训的验证。但V5计划挑战的是基座预训练。后训练更多是让模型对齐特定任务,而基座预训练是从随机初始化开始,用海量数据调整万亿级参数。这对万卡集群的长时间稳定性、互联通信带宽以及软件栈的要求,完全不在一个量级。

目前,具体的芯片代际尚未披露,而不同代际在FP8支持、HBM带宽和超节点规模上存在代差,这是直接决定预训练效率天花板的先决条件。


软件栈与工程细节:最难的不是跑通,是静默错误

要把大模型放到昇腾上跑,就必须跨越从CUDA到昇腾CANN的鸿沟。好消息是,昇腾的 torch_npu NPU 后端已并入 PyTorch 上游主线,成为可独立安装的国产加速后端。对于简单模型,工具链可以自动适配;但对于DeepSeek自研MLA架构、动态路由MoE等高度定制的模型,底层算子库、集合通信库(HCCL)和定制化调度依然需要深度的手工重构。

在长达数月的万卡预训练中,最核心的效率锚点是 MFU(有效算力利用率),但决定能不能跑完的,是稳定性与精度一致性。

需要说明的是,后训练阶段的MFU通常低于纯预训练。在业界公开数据中,昇腾910C集群在跑DeepSeek-V4-Pro全参数后训练时,MFU约在34.9%(属河套学院项目自报数据,不可直接外推至V5从零预训练);而英伟达H100跑Dense基座在典型场景区间常可达40%-50%,但跑MoE架构受AlltoAll通信拖累,实际集群MFU也会回落至35%-42%区间。

万卡集群的真正挑战在于:单卡过热降频,部分场景下尚可依托拓扑感知调度做容错;但真正的致命杀手是集合通信层面的静默不一致。在MoE架构中,负载倾斜会引发专家退化与通信热点,叠加硬件级的静默错误,一旦未被 SDC(静默数据损坏)检测拦截,模型就会在不知不觉中退化。此时必须依赖强力的Checkpoint回滚兜底。这才是工程排雷中最磨人的隐性成本。

产业博弈:是备选,也是反向定义硬件

DeepSeek为什么宁愿承担巨额的迁移成本,也要蹚这趟浑水?

除了高端芯片断供的供应链安全焦虑外,更深层的动机在于:反向定义硬件架构 ——不再单纯让算法去适配现成芯片,而是算法团队参与到算子、指令集的协同设计里。正如此前团队在 CUDA 生态中推出 FlashMLA、DeepGEMM 等组件,通过算法-算子协同压榨算力效率一样,与昇腾团队的联合调优,有望在未来把单位Token的训练和推理成本压到极致。

但博弈是双向的。供应链风险不是被消除了,而是被置换了。 选择昇腾,就要面对国产芯片产能爬坡、良率以及更上游的硬约束——目前高端HBM依然由海外头部厂商主导,国产HBM仍在验证与小批量爬坡阶段。即便软件栈跑通,万卡集群的物理交付依然面临先进封装和机房液冷能力的考验。

此外,软硬深度绑定的收益是非可移植优化:一旦大模型架构发生颠覆性演进,此前为昇腾定制的算子可能变成沉没成本;而未来若要切换其他国产卡,又需重新适配。这恰恰说明,在很长一段时间内,按训练阶段拆分算力的混合策略会是主流:基座预训练优先跑国产算力,SFT、RLHF 和推理弹性池保留英伟达作为补充(跨芯片异构混卡训练因通信壁垒极高,短期很难成为主流)。与此同时,摩尔线程、沐曦等其他国产路线,也会持续在不同模型形态上争夺预训练场景的验证机会。

结语:不是大结局,而是新考场

一家头部厂商的试水,绝不等于国内云大厂会立刻全面迁移。门已经被推开了,但走不走得通,不靠宣言,靠冷酷的工程指标。

未来半年,我们可以用三个量化指标来验证这场排雷的成色(以官方披露为准):

1. MFU与集群规模:是否披露从零基座预训练部分的集群规模、总训练Tokens及平均MFU?(以当前910C公开基线作为参照:若950超节点基座预训练稳定MFU高于30%即是里程碑;25%–30%区间,只要 TCO 具备优势,同样具备落地价值)。

2. 同配方对齐:在固定随机种子、相同算子精度(FP8/BF16)、并行策略及数据顺序下,昇腾版V5能否在收敛曲线上与英伟达版完全对齐,且综合TCO具备商业竞争力?

3. 长时间运行指标:千卡/万卡连续训练的MTBF(平均无故障时间)有多长?断点续训的恢复耗时能否压缩在分钟级?

门是推开了,但走不走得通,最终要靠那条平稳下降的收敛曲线来投票。


【信息说明】

● 文中关于 DeepSeek V5 的计划及芯片归属引自产业链公开报道,尚未获得官方证实。

● 34.9% 的 MFU 数据出自河套学院相关项目披露,非 DeepSeek 官方预训练基准,不代表 V5 最终表现。

● 各类算力基准对比引自公开行业文献及典型场景测算。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
男子和女子睡后很满意,想长期白嫖假装是富豪,被揭穿后闹大了

男子和女子睡后很满意,想长期白嫖假装是富豪,被揭穿后闹大了

江山挥笔
2026-11-17 08:55:44
机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

刘哥谈体育
2026-11-15 13:22:01
1955年授衔,李克农故意排在上将队尾,主席当众招手:没军功还往后缩?到前面来!

1955年授衔,李克农故意排在上将队尾,主席当众招手:没军功还往后缩?到前面来!

唠叨说历史
2026-11-05 16:39:59
我党唯一女性创始人,伟人皆称她“老祖母”,其死状令人胆寒!

我党唯一女性创始人,伟人皆称她“老祖母”,其死状令人胆寒!

大运河时空
2026-11-16 07:25:05
目前,全球还存在着7个流亡政府,他们还有希望复国吗?

目前,全球还存在着7个流亡政府,他们还有希望复国吗?

七号说三国
2026-11-05 19:09:34
医生直言:一片西地那非在你体内走了一趟,干了5件事你未必知道

医生直言:一片西地那非在你体内走了一趟,干了5件事你未必知道

健康之光
2026-07-22 14:53:21
“地府联名”?优衣库银衣T恤惹争议,网友:设计师一定不是广东人

“地府联名”?优衣库银衣T恤惹争议,网友:设计师一定不是广东人

LOGO研究所
2026-11-14 09:42:02
1987年专家打开残塔地宫看到“金钱铺地”,有13枚世界仅见开元通宝

1987年专家打开残塔地宫看到“金钱铺地”,有13枚世界仅见开元通宝

收藏大视界
2026-11-16 17:42:01
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
金刚网纱窗为啥没人装了?内行人说出4个缺点,一个比一个劝退

金刚网纱窗为啥没人装了?内行人说出4个缺点,一个比一个劝退

Home范
2026-11-15 12:55:03
首飞成功了!中国造出一架奇怪的飞机:不用跑道,靠太阳连续飞30个小时

首飞成功了!中国造出一架奇怪的飞机:不用跑道,靠太阳连续飞30个小时

互联鱼
2026-11-16 00:05:35
许家印的靠山,被起诉了

许家印的靠山,被起诉了

哲空空
2026-05-22 13:40:53
曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

烈史
2026-11-17 06:38:27
维尼修斯透露:与皇马漫长的续约谈判,给他带来很大心理负担

维尼修斯透露:与皇马漫长的续约谈判,给他带来很大心理负担

福酱的小时光
2026-11-17 09:23:14
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
戴安娜平分遗产二十年:威廉身家十亿,哈里却走歪,问题出在哪?

戴安娜平分遗产二十年:威廉身家十亿,哈里却走歪,问题出在哪?

艺利森
2026-11-17 08:20:33
9天时间,足球门将的膝盖,撞死2个前锋

9天时间,足球门将的膝盖,撞死2个前锋

起点人文
2026-11-16 21:31:19
东风导弹泄密案中,间谍郭万钧一家三口均被依法执行死刑

东风导弹泄密案中,间谍郭万钧一家三口均被依法执行死刑

人生录
2026-06-17 20:53:45
援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

麓谷隐士
2026-11-17 00:05:10
我军解放了很多城市,为何这四座城市,要安排元帅级别做市长?

我军解放了很多城市,为何这四座城市,要安排元帅级别做市长?

轮回历史
2026-11-16 19:21:41
2026-11-17 11:08:49
舒书 incentive-icons
舒书
战略与组织顾问,聚焦 AI 与科技公司深度观察,公众号青萍见
70文章数 8关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

本地
房产
旅游
数码
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

6.6亿!海口卖地!

旅游要闻

文化遗产耀中原|塔身倾斜约15度!探访周口太康高贤寿圣寺塔

数码要闻

中国纯CPU打赢美国GPU霸权!灵晟蝉联世界第一

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版