网易首页 > 网易号 > 正文 申请入驻

2.8T参数、1.6万张显卡,微软38天训完

0
分享至

2.8T 参数的大模型,训练要多久?微软给出的答案是 38 天。在技术博客中,微软披露了 MAI-Base-2 的训练细节:这个拥有 2.75 万亿参数的模型,动用了 1.6 万张显卡,在 38 天内完成了全量预训练。


按规模算,它是迄今为止由 NVIDIA 硬件训练的最大模型之一。参数堆到这个量级,通常意味着训练周期被拉长、资源调度变复杂,而微软把时间压在了不到六周。

支撑这个速度的,是训练技术和计算资源的组合。微软方面表示,通过优化并行化和算法,大规模模型可以实现较快的迭代周期。换句话说,参数规模不再是拖慢训练的唯一变量,工程侧的调优空间比想象中大。

预训练只是第一步。MAI-Base-2 随后又做了一轮微调,专门针对量子校准方向进行优化,用来弥补通用模型在特定任务理解上的不足。相比通用模型,这一轮微调带来了更高的准确率。

但专项能力并非全面领先。在部分基准测试中,MAI-Base-2 的成绩超过了其他模型,包括 Qwen;到了最严格的量子校准评测环节,它的表现仍然不如专门的 Qwen 3.8。

这组对比说明了一件事:通用大模型靠规模和算力可以快速拉高上限,但在垂直领域,专项训练的模型依然守得住阵地。领域专项,仍是竞争中的关键变量。

把几个数字摆在一起看——2.75 万亿参数、1.6 万张显卡、38 天——大规模模型的迭代节奏正在被重新定义。训练效率的提升,让"更大"和"更快"第一次不那么互斥。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

扶苏聊历史
2026-08-27 16:15:02
法国总统晚宴不请中国车企,第二天车展挤进22个中国品牌

法国总统晚宴不请中国车企,第二天车展挤进22个中国品牌

华庭讲美食
2026-10-18 14:56:37
证监会主席吴清:将完善违规减持处罚规则,制定证券市场先行赔付指导意见

证监会主席吴清:将完善违规减持处罚规则,制定证券市场先行赔付指导意见

红星资本局
2026-10-19 18:54:04
《经济日报》质疑懂车帝的文章,经不起质疑

《经济日报》质疑懂车帝的文章,经不起质疑

黔有虎
2026-10-18 23:38:49
3种一吃就“拉屎”的蔬菜!秋天吃正当时,鲜嫩营养,润燥养人,便便顺畅了,肠道也舒服了!

3种一吃就“拉屎”的蔬菜!秋天吃正当时,鲜嫩营养,润燥养人,便便顺畅了,肠道也舒服了!

秀厨娘
2026-10-19 15:44:59
恩里克:刚开始我不喜欢对阵巴萨,如今已学会享受这样的比赛

恩里克:刚开始我不喜欢对阵巴萨,如今已学会享受这样的比赛

懂球帝
2026-10-19 22:02:18
中央明令整顿国企:防止仅5%的中高层拿走80%工资总额!

中央明令整顿国企:防止仅5%的中高层拿走80%工资总额!

职场资深秘书
2026-10-19 14:10:25
岸本一张草图,把池本十年连载秒了

岸本一张草图,把池本十年连载秒了

国创漫话
2026-10-17 12:48:54
宇树科技大涨超10%

宇树科技大涨超10%

财闻
2026-10-19 10:49:04
斯帅:球队的态度让我无法接受;我需要审视自己与球队的关系

斯帅:球队的态度让我无法接受;我需要审视自己与球队的关系

懂球帝
2026-10-19 06:02:24
王曼昱,拟记大功

王曼昱,拟记大功

新京报政事儿
2026-10-19 17:02:07
人民日报“点名”后,被批“不男不女”的周深,终于传来好消息

人民日报“点名”后,被批“不男不女”的周深,终于传来好消息

雅儿姐游世界
2026-10-11 00:30:42
4-3!法甲“离谱判罚”,巴黎点球绝杀,判4个点球,属34年来首次

4-3!法甲“离谱判罚”,巴黎点球绝杀,判4个点球,属34年来首次

汪星人哟
2026-10-19 09:15:26
一场4-1大胜!却揪出皇马阵中最大水货!或惨遭穆里尼奥弃用!

一场4-1大胜!却揪出皇马阵中最大水货!或惨遭穆里尼奥弃用!

缤纷体坛
2026-10-19 10:16:38
强推6部狂暴电影,尺度拉满,尤其是最后一部

强推6部狂暴电影,尺度拉满,尤其是最后一部

小Q侃电影
2026-10-19 22:15:49
特朗普接班人已明朗?美国或出现历史上第一个,被中国制裁的总统

特朗普接班人已明朗?美国或出现历史上第一个,被中国制裁的总统

福建睿平
2026-10-19 07:11:50
1-0!全场仅1次射正+幸运折射破门 13.8亿豪门新赛季11战10胜+联赛紧追榜首

1-0!全场仅1次射正+幸运折射破门 13.8亿豪门新赛季11战10胜+联赛紧追榜首

狍子歪解体坛
2026-10-19 01:24:39
放弃外交官改做演员,嫁普通丈夫生两女儿,结婚后没做过家务

放弃外交官改做演员,嫁普通丈夫生两女儿,结婚后没做过家务

荒野老五
2026-10-19 22:13:47
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
官方:武网冠军赫瓦林斯卡因左腿伤势退出宁波网球公开赛

官方:武网冠军赫瓦林斯卡因左腿伤势退出宁波网球公开赛

懂球帝
2026-10-19 16:15:44
2026-10-19 22:47:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
243文章数 86关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

男子在稻城高反死亡 多人称其姐姐不愿出钱请马帮救援

头条要闻

男子在稻城高反死亡 多人称其姐姐不愿出钱请马帮救援

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

本地
旅游
艺术
家居
公开课

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

旅游要闻

千城百县看中国丨河南开封:菊香满城宋韵浓

艺术要闻

俄罗斯当代画家 叶夫根尼·戈洛洛博夫风景油画选

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版