网易首页 > 网易号 > 正文 申请入驻

MiniMax 计划推出2.7万亿参数模型,追赶全球头部前三水平

0
分享至

昨天柒哥在社群刷到一则消息说中国 MiniMax 计划推出 2.7 万亿参数模型,有助于加速中国开源 AI 模型在全球范围内的扩张。

2.7万亿参数什么概念?跟之前比提升了很多倍,也会超过国内大部分的模型,怕不是要直接跻身全球第一梯队了。专家说最快Q3推出,真是悬念拉满,一起去扒一下这个访谈有哪些干货。以下新模型简称M3.1,旧模型简称M3。


新模型技术提升在哪些方面?

从训练反馈看,新模型 loss 收敛速度和 benchmark 中间表现均超出预期,内部信心充足,目标是做到"国内最好"并追赶全球头部三家

M3.1 相比 M3 的核心改进在于补足了后训练阶段的短板

M3 因开发时间紧张缺乏充分的后训练,导致预训练基础虽好、benchmark 表现漂亮,却出现"复杂任务优异、简单任务易错"的反差问题; M3.1 通过充分的后续训练(包括 SFT 和强化学习)基本解决了M3的遗留问题,使模型在简单任务和复杂任务上的表现更加均衡。在数据层面,M3.1 显著提升了数据质量和数量,在长程任务数据支持下实现倍数级能力提升,同时通过优化数据筛选机制和增强训练约束,显著降低了幻觉率

整体而言,M3.1 是基于 M3 经验、用更充分的训练时间和更优质的数据,把预训练阶段埋下的好底子真正释放出来,并为后续版本更大规模数据和更长训练时间的优化积累了经验。

核心创新是什么?

核心创新在于将 MSA 架构升级至MSA 2.0,从而实现训练效率和成本的双重优化。

MSA 架构的技术优势在于支持超长序列任务,成量级降低 Attention 开销,极致提高硬件利用效率并缩短训练时间,其强扩展性可支撑2.5 万亿参数扩展,具备复杂任务处理能力,是模型公司的核心竞争力所在。

选择自研 MSA 而非沿用现有架构,是MiniMax 基于实际训练和推理任务特性、综合考量性能与计算资源后的决策——在数据规模巨大、模型需持续学习而非快速收敛,以及显卡算力、显存等硬件受限的多重约束下,自主创新架构能最大化硬件利用效率,同时保障模型稳定提升,避免简单套用其他模型带来的效率瓶颈。


关于算力基础设施

MiniMax 认为模型竞争的关键除算法和数据外,还在于 Infra 端算力与集群能力,因此持续布局以确保技术生态优势。

具体而言,竞争体现在数据资源积累与算力集群优势两方面,集群部署优化直接影响训练效率和业务应用——公司训练端集群建设与系统部门协同仅数月,便实现了高稳定性和性能提升,达到大云集群水平,自主组网不仅节省成本和时间,其高稳定性还超过预期,体现了强大的技术实力。

在海外算力方面,公司合规获得优质海外算力,已全面升级至最新一代显卡,领先多数仍停留在 Hopper 代的同行。国产算力方面,验证结果显示基本可用,但产能有限,预计2026 年 Q3 末搭建首个国产集群,采取推理先行、训练随后的策略,符合当前生态培养阶段。

专家表示我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件,坦言"给我多少卡我都能用得完",算力永远不嫌多,但战略层面配置已足够合理。

关于Coding格局的判断

在 Coding 竞争格局方面,MiniMax的 M3 系列预训练效果优异,但 M3 因后期强化不足存在缺陷,M3.1 通过提升数据质量和数量显著改善了这一问题。

在 Coding 方面的改进主要体现在三个层面:一是长程复杂任务能力显著提升,数据量和质量均有倍数级增长;二是前端审美表现优异且将持续保持;三是在复杂设计、代码扩展等难题上的攻克能力将比简单问题更突出,因为简单 Coding 各家已拉不开差距。

关于 Coding 数据飞轮,市场上存在两派观点:一派主张领先模型通过自循环数据持续领先,另一派主张依赖高质量专业代码数据。

专家偏向后者,认为数据质量和训练方案更为关键

理由是 GitHub Copilot 作为最早大规模做 Coding 的项目并未长期领先,说明先发优势有限;Coding 领域的数据获取相对容易(团队本身就是程序员,专家支持直接),不依赖难以替代的专业知识(如医药)。因此 Coding 壁垒不在先发,而在数据质量、数量及训练方案,这是相对确定且可控的。

从市场竞争格局看,当前国内外 Coding 领域混战,无明显领跑者,M3 及 2.7 版本已显著提升,更大参数版本预计将达到市场最佳水平。整体对 Coding 能力持续提升持乐观态度。

新模型在商业化上会带来什么变化?

采用MSA降低计算开销,毛利率预计超过M2。专家从技术和需求判断使用使用反馈良好,销售市场也会稳定增长。

专家反馈M3使用量增长较快,内部也一直在上优化和加卡,即使这样,目前高峰期负载偶尔会过载,表明市场需求和销量保持活跃状态。整体来看,销售和优化仍然保持良性循环,没有明显瓶颈。M3模型输出速度国内领先,用户体验好。

而新模型M3.1在数据量和质量上有很大提升,从内部视角看,coding能力的提升和体验方面目前都稳妥,后续也会继续保持优势。

柒哥整理完这个访谈,只能说每一条都非常硬气! 参数实实在在上去了,创新架构构成核心竞争力,coding能力解决了最关键的数量和质量问题直接去解决复杂问题, 算力还是领先于同行,这一把真的是要去冲击全球前三了!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
冲上热搜!青海省文旅厅原厅长,咋成了网约车司机?

冲上热搜!青海省文旅厅原厅长,咋成了网约车司机?

仕道
2026-09-21 08:46:02
震惊!日本亚运会给运动员颁奖时,工作人员都是70、80岁的老奶奶老爷爷,网友:我们到了这样岁数,当保安都没人要了,做礼仪更不可能

震惊!日本亚运会给运动员颁奖时,工作人员都是70、80岁的老奶奶老爷爷,网友:我们到了这样岁数,当保安都没人要了,做礼仪更不可能

火山詩话
2026-09-21 06:58:38
一段“千金母女散步”视频,伤害了网友的眼睛:求你们自卑一点吧

一段“千金母女散步”视频,伤害了网友的眼睛:求你们自卑一点吧

世界圈
2026-09-21 15:34:07
网友又发现12306购票页面的“小秘密”:部分车次带“车”标识,客服称系“自行车随身行”服务,收费88元/辆

网友又发现12306购票页面的“小秘密”:部分车次带“车”标识,客服称系“自行车随身行”服务,收费88元/辆

极目新闻
2026-09-21 13:27:13
付政浩:篮协开出超千万年薪,杜锋拒绝了!

付政浩:篮协开出超千万年薪,杜锋拒绝了!

体育哲人
2026-09-22 02:45:06
真是没想到!18岁张本美和刚刚豪言冲4连冠!亚运乒乓比赛首日,就遭到孙颖莎狠狠一记下马威!满是深深地无力感

真是没想到!18岁张本美和刚刚豪言冲4连冠!亚运乒乓比赛首日,就遭到孙颖莎狠狠一记下马威!满是深深地无力感

锐评利物浦
2026-09-21 15:28:20
骑行圈丑闻曝光!准新娘和男队友骑行22天就搞在一起,涉事男女照片流出

骑行圈丑闻曝光!准新娘和男队友骑行22天就搞在一起,涉事男女照片流出

小徐讲八卦
2026-09-21 12:38:26
“云南两幼童被胡蜂蜇亡案”21日开庭,孩子父亲:没有义务共情养蜂人,做不到大度原谅,全家人都活在痛苦中,希望能顶格判处

“云南两幼童被胡蜂蜇亡案”21日开庭,孩子父亲:没有义务共情养蜂人,做不到大度原谅,全家人都活在痛苦中,希望能顶格判处

封面新闻
2026-09-21 10:00:08
涨价涨到普通人不值得买的10样东西,大家听听是不是这么回事?

涨价涨到普通人不值得买的10样东西,大家听听是不是这么回事?

流苏晚晴
2026-09-21 13:07:44
新能源车趋大困局:5米大车扎堆,车位快装不下了

新能源车趋大困局:5米大车扎堆,车位快装不下了

第一财经资讯
2026-09-21 17:02:14
亚运会奖牌榜排行:韩国16枚,日本22枚,中国代表团表现如何?

亚运会奖牌榜排行:韩国16枚,日本22枚,中国代表团表现如何?

纪中百大事
2026-09-21 16:17:51
我想你了,你丈夫在家吗?男子半夜带女下属爬山,还问女下属:你丈夫晚上给你“交作业”了吗

我想你了,你丈夫在家吗?男子半夜带女下属爬山,还问女下属:你丈夫晚上给你“交作业”了吗

汉史趣闻
2026-09-21 19:55:48
郭士强称“中国男篮所有人都非常辛苦”,央媒发声:如果训练结果无法转化为得分,这种“苦劳”是资源的浪费、机会的错失

郭士强称“中国男篮所有人都非常辛苦”,央媒发声:如果训练结果无法转化为得分,这种“苦劳”是资源的浪费、机会的错失

政知新媒体
2026-09-21 16:40:42
中国女排3-2泰国晋级决赛!时隔22天复仇出口恶气 吴梦洁28分成英雄

中国女排3-2泰国晋级决赛!时隔22天复仇出口恶气 吴梦洁28分成英雄

颜小白的篮球梦
2026-09-21 18:21:54
中美会谈非常成功!高市慌了,抢先喊话特朗普:台湾问题不能让步

中美会谈非常成功!高市慌了,抢先喊话特朗普:台湾问题不能让步

国际法大视野
2026-09-21 21:34:05
这条“流氓”新闻,引起公愤了!

这条“流氓”新闻,引起公愤了!

胖胖说他不胖
2026-09-21 11:55:20
小米雷军澄清“打新宇树科技赚了100多亿”:是顺为投资的,而且不是打新

小米雷军澄清“打新宇树科技赚了100多亿”:是顺为投资的,而且不是打新

IT之家
2026-09-21 20:39:10
枣庄16岁少年与14岁女孩发生性关系获刑3年,申诉被驳回

枣庄16岁少年与14岁女孩发生性关系获刑3年,申诉被驳回

澎湃新闻
2026-09-21 19:36:26
杭州电梯女子诬告猥亵后续:女当事人再起号,发声诉苦,闺蜜力挺:她一直活在痛苦中

杭州电梯女子诬告猥亵后续:女当事人再起号,发声诉苦,闺蜜力挺:她一直活在痛苦中

李晚书
2026-09-21 09:46:34
莫斯科这一幕,震惊全世界

莫斯科这一幕,震惊全世界

牛弹琴
2026-09-21 07:31:47
2026-09-22 06:32:49
天天开柒 incentive-icons
天天开柒
天天开柒是有前瞻、有判断的科技行业观察者。这里有关于行业深度分析和热辣小道。
149文章数 80关注度
往期回顾 全部

科技要闻

吃AI红利的凡人,年薪10万美元,每天3万步

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

体育要闻

跟着华裔天才重仓AI,勇士旧将成资本大佬

娱乐要闻

张佳宁穿搭宽松小腹微凸 引发怀孕猜测

财经要闻

酒鬼酒经销商半年跑了40%

汽车要闻

全系800V/红旗司南智驾 红旗天工07预售权益价16.99万起

态度原创

教育
时尚
本地
健康
公开课

教育要闻

名校女博士称初复审全通过,却被取消资格:专业要求不符;主管单位回应:反映事项不实

夏秋换季,学宋慧乔“挂件衣服”出门

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

专家提醒:癫痫发作别掐人中!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版