网易首页 > 网易号 > 正文 申请入驻

一场昂贵的工程排雷:DeepSeek为何要用昇腾死磕预训练?

0
分享至

在算力圈的江湖叙事里,一直存在着一条隐秘的分界线:用国产芯片做推理(给用户提供服务),叫支持国产;用国产芯片做基座预训练(从零训练千亿级大模型),常被视作地狱级难度。

现在,这条线正在被重量级玩家试探。

近日,据多家媒体援引产业链人士消息,DeepSeek下一代大模型DeepSeek V5,计划基于华为昇腾芯片进行预训练。

必须首先厘清一个事实边界:这是一项尚未官宣、仍在推进中的工程计划,绝非已经验证完成的既成事实。 此外,这并非国产算力在预训练上的零的突破。此前,科大讯飞星火 X2.5 曾披露基于昇腾万卡集群开展基座预训练工作(完整细节未对外公开);美团 LongCat-2.0 也已公开确认全程基于国产算力集群完成预训练与推理(厂商未逐一点名);昇腾官方也曾披露过数十个原生预训练模型。

在这个背景下,DeepSeek V5的动作之所以引发震动,是因为它是国内主打开源生态、极致性价比路线的头部模型厂商里,为数不多、分量最重的一次旗舰基座从零预训练尝试。如果跑通,它将证明国产算力底座不仅能用,而且能支撑世界级顶尖模型的从0到1。

跨越鸿沟:预训练与后训练的物种隔离

在探讨技术难度前,必须明确一个极易混淆的技术界定:全参数后训练(CPT)不等于从零开始的基座预训练。

据悉,在此前的V4-Pro阶段,已有项目披露依托昇腾完成过全参数后训练与增量续训的验证。但V5计划挑战的是基座预训练。后训练更多是让模型对齐特定任务,而基座预训练是从随机初始化开始,用海量数据调整万亿级参数。这对万卡集群的长时间稳定性、互联通信带宽以及软件栈的要求,完全不在一个量级。

目前,具体的芯片代际尚未披露,而不同代际在FP8支持、HBM带宽和超节点规模上存在代差,这是直接决定预训练效率天花板的先决条件。


软件栈与工程细节:最难的不是跑通,是静默错误

要把大模型放到昇腾上跑,就必须跨越从CUDA到昇腾CANN的鸿沟。好消息是,昇腾的 torch_npu NPU 后端已并入 PyTorch 上游主线,成为可独立安装的国产加速后端。对于简单模型,工具链可以自动适配;但对于DeepSeek自研MLA架构、动态路由MoE等高度定制的模型,底层算子库、集合通信库(HCCL)和定制化调度依然需要深度的手工重构。

在长达数月的万卡预训练中,最核心的效率锚点是 MFU(有效算力利用率),但决定能不能跑完的,是稳定性与精度一致性。

需要说明的是,后训练阶段的MFU通常低于纯预训练。在业界公开数据中,昇腾910C集群在跑DeepSeek-V4-Pro全参数后训练时,MFU约在34.9%(属河套学院项目自报数据,不可直接外推至V5从零预训练);而英伟达H100跑Dense基座在典型场景区间常可达40%-50%,但跑MoE架构受AlltoAll通信拖累,实际集群MFU也会回落至35%-42%区间。

万卡集群的真正挑战在于:单卡过热降频,部分场景下尚可依托拓扑感知调度做容错;但真正的致命杀手是集合通信层面的静默不一致。在MoE架构中,负载倾斜会引发专家退化与通信热点,叠加硬件级的静默错误,一旦未被 SDC(静默数据损坏)检测拦截,模型就会在不知不觉中退化。此时必须依赖强力的Checkpoint回滚兜底。这才是工程排雷中最磨人的隐性成本。

产业博弈:是备选,也是反向定义硬件

DeepSeek为什么宁愿承担巨额的迁移成本,也要蹚这趟浑水?

除了高端芯片断供的供应链安全焦虑外,更深层的动机在于:反向定义硬件架构 ——不再单纯让算法去适配现成芯片,而是算法团队参与到算子、指令集的协同设计里。正如此前团队在 CUDA 生态中推出 FlashMLA、DeepGEMM 等组件,通过算法-算子协同压榨算力效率一样,与昇腾团队的联合调优,有望在未来把单位Token的训练和推理成本压到极致。

但博弈是双向的。供应链风险不是被消除了,而是被置换了。 选择昇腾,就要面对国产芯片产能爬坡、良率以及更上游的硬约束——目前高端HBM依然由海外头部厂商主导,国产HBM仍在验证与小批量爬坡阶段。即便软件栈跑通,万卡集群的物理交付依然面临先进封装和机房液冷能力的考验。

此外,软硬深度绑定的收益是非可移植优化:一旦大模型架构发生颠覆性演进,此前为昇腾定制的算子可能变成沉没成本;而未来若要切换其他国产卡,又需重新适配。这恰恰说明,在很长一段时间内,按训练阶段拆分算力的混合策略会是主流:基座预训练优先跑国产算力,SFT、RLHF 和推理弹性池保留英伟达作为补充(跨芯片异构混卡训练因通信壁垒极高,短期很难成为主流)。与此同时,摩尔线程、沐曦等其他国产路线,也会持续在不同模型形态上争夺预训练场景的验证机会。

结语:不是大结局,而是新考场

一家头部厂商的试水,绝不等于国内云大厂会立刻全面迁移。门已经被推开了,但走不走得通,不靠宣言,靠冷酷的工程指标。

未来半年,我们可以用三个量化指标来验证这场排雷的成色(以官方披露为准):

1. MFU与集群规模:是否披露从零基座预训练部分的集群规模、总训练Tokens及平均MFU?(以当前910C公开基线作为参照:若950超节点基座预训练稳定MFU高于30%即是里程碑;25%–30%区间,只要 TCO 具备优势,同样具备落地价值)。

2. 同配方对齐:在固定随机种子、相同算子精度(FP8/BF16)、并行策略及数据顺序下,昇腾版V5能否在收敛曲线上与英伟达版完全对齐,且综合TCO具备商业竞争力?

3. 长时间运行指标:千卡/万卡连续训练的MTBF(平均无故障时间)有多长?断点续训的恢复耗时能否压缩在分钟级?

门是推开了,但走不走得通,最终要靠那条平稳下降的收敛曲线来投票。


【信息说明】

● 文中关于 DeepSeek V5 的计划及芯片归属引自产业链公开报道,尚未获得官方证实。

● 34.9% 的 MFU 数据出自河套学院相关项目披露,非 DeepSeek 官方预训练基准,不代表 V5 最终表现。

● 各类算力基准对比引自公开行业文献及典型场景测算。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨瀚森翻译:开拓者队已经通知我,后续不会雇我随队,杨瀚森表态

杨瀚森翻译:开拓者队已经通知我,后续不会雇我随队,杨瀚森表态

他是她的岛熊
2026-05-29 14:53:58
炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

小徐讲八卦
2026-09-17 09:49:48
当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

说得说不得
2026-10-30 09:37:40
HLE官宣Homme离队,GEN官宣Kiin、Canyon离队,LCK多队清仓重组

HLE官宣Homme离队,GEN官宣Kiin、Canyon离队,LCK多队清仓重组

电竞小英雄
2026-11-17 08:37:29
“浪已经杀过来了!”马化腾、刘炽平内部讲话谈AI:远处的浪潮在吞没一个个山丘,不能还坐着欣赏

“浪已经杀过来了!”马化腾、刘炽平内部讲话谈AI:远处的浪潮在吞没一个个山丘,不能还坐着欣赏

澎湃新闻
2026-11-16 17:18:04
台积电招技术员,只需高中学历:可以零经验,起薪一年16万人民币

台积电招技术员,只需高中学历:可以零经验,起薪一年16万人民币

鬼菜生活
2026-11-17 08:02:02
美防长曾直言如果中美开战,10艘航母对阵中国,20分钟全军覆没?

美防长曾直言如果中美开战,10艘航母对阵中国,20分钟全军覆没?

经纬戎韬
2026-11-17 03:09:17
亚马尔涉辱华!本人+巴萨均未回应 官媒怒批:不应该以沉默回避

亚马尔涉辱华!本人+巴萨均未回应 官媒怒批:不应该以沉默回避

念洲
2026-11-16 16:37:23
西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

凡人侃史
2026-11-16 16:11:51
80岁,她决定离婚

80岁,她决定离婚

北青深一度
2026-11-16 16:12:52
寿命与大便次数有关!研究表明:寿命长的人,每天排便在这个次数

寿命与大便次数有关!研究表明:寿命长的人,每天排便在这个次数

王医生健康讲坛
2026-08-05 20:00:10
患上高血压,最凶险的风险只有一个!想要保命,注意这 8 点

患上高血压,最凶险的风险只有一个!想要保命,注意这 8 点

王二哥老搞笑
2026-11-17 06:59:43
深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

深珠通道没影了?珠海唐家湾房价从3万8砸穿1万4,高管全套牢

珠三角港
2026-11-14 21:49:30
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

背包旅行
2026-11-16 09:55:48
相声班主和东北王的关系!

相声班主和东北王的关系!

八卦疯叔
2026-11-16 09:43:21
陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

陈冠希73岁爸爸陈泽民罕露面,看起来像50岁,比45岁的儿子还“抗老”?

小徐讲八卦
2026-11-16 09:00:48
美媒表示:中国055驱逐舰已服役10艘,排名世界第一,敌舰根本不敢靠近,西方没想到速度这么快

美媒表示:中国055驱逐舰已服役10艘,排名世界第一,敌舰根本不敢靠近,西方没想到速度这么快

绝对军评
2026-11-16 09:11:55
“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

蝴蝶花雨话教育
2026-11-14 00:05:16
中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

中国出现了一个很可怕的现象:父母在集体撤退,孩子在进攻!

解说阿洎
2026-11-13 08:23:20
俄媒称,克宫敦促统俄党议员为在对乌克兰的战争中取得“胜利”做好准备

俄媒称,克宫敦促统俄党议员为在对乌克兰的战争中取得“胜利”做好准备

山河路口
2026-11-17 09:47:13
2026-11-17 10:59:00
舒书 incentive-icons
舒书
战略与组织顾问,聚焦 AI 与科技公司深度观察,公众号青萍见
70文章数 8关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

头条要闻

牛弹琴:美国又掉链子 民众一觉醒来发现钱"看不见"了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

时尚
教育
健康
旅游
家居

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

教育要闻

孩子休学,学费能退多少?成都市教育局把退费规则写进了一句话

情绪真能让健康人"伤心至死"?

旅游要闻

文化遗产耀中原|塔身倾斜约15度!探访周口太康高贤寿圣寺塔

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版