网易首页 > 网易号 > 正文 申请入驻

MiniMax 计划推出2.7万亿参数模型,追赶全球头部前三水平

0
分享至

昨天柒哥在社群刷到一则消息说中国 MiniMax 计划推出 2.7 万亿参数模型,有助于加速中国开源 AI 模型在全球范围内的扩张。

2.7万亿参数什么概念?跟之前比提升了很多倍,也会超过国内大部分的模型,怕不是要直接跻身全球第一梯队了。专家说最快Q3推出,真是悬念拉满,一起去扒一下这个访谈有哪些干货。以下新模型简称M3.1,旧模型简称M3。


新模型技术提升在哪些方面?

从训练反馈看,新模型 loss 收敛速度和 benchmark 中间表现均超出预期,内部信心充足,目标是做到"国内最好"并追赶全球头部三家

M3.1 相比 M3 的核心改进在于补足了后训练阶段的短板

M3 因开发时间紧张缺乏充分的后训练,导致预训练基础虽好、benchmark 表现漂亮,却出现"复杂任务优异、简单任务易错"的反差问题; M3.1 通过充分的后续训练(包括 SFT 和强化学习)基本解决了M3的遗留问题,使模型在简单任务和复杂任务上的表现更加均衡。在数据层面,M3.1 显著提升了数据质量和数量,在长程任务数据支持下实现倍数级能力提升,同时通过优化数据筛选机制和增强训练约束,显著降低了幻觉率

整体而言,M3.1 是基于 M3 经验、用更充分的训练时间和更优质的数据,把预训练阶段埋下的好底子真正释放出来,并为后续版本更大规模数据和更长训练时间的优化积累了经验。

核心创新是什么?

核心创新在于将 MSA 架构升级至MSA 2.0,从而实现训练效率和成本的双重优化。

MSA 架构的技术优势在于支持超长序列任务,成量级降低 Attention 开销,极致提高硬件利用效率并缩短训练时间,其强扩展性可支撑2.5 万亿参数扩展,具备复杂任务处理能力,是模型公司的核心竞争力所在。

选择自研 MSA 而非沿用现有架构,是MiniMax 基于实际训练和推理任务特性、综合考量性能与计算资源后的决策——在数据规模巨大、模型需持续学习而非快速收敛,以及显卡算力、显存等硬件受限的多重约束下,自主创新架构能最大化硬件利用效率,同时保障模型稳定提升,避免简单套用其他模型带来的效率瓶颈。


关于算力基础设施

MiniMax 认为模型竞争的关键除算法和数据外,还在于 Infra 端算力与集群能力,因此持续布局以确保技术生态优势。

具体而言,竞争体现在数据资源积累与算力集群优势两方面,集群部署优化直接影响训练效率和业务应用——公司训练端集群建设与系统部门协同仅数月,便实现了高稳定性和性能提升,达到大云集群水平,自主组网不仅节省成本和时间,其高稳定性还超过预期,体现了强大的技术实力。

在海外算力方面,公司合规获得优质海外算力,已全面升级至最新一代显卡,领先多数仍停留在 Hopper 代的同行。国产算力方面,验证结果显示基本可用,但产能有限,预计2026 年 Q3 末搭建首个国产集群,采取推理先行、训练随后的策略,符合当前生态培养阶段。

专家表示我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件,坦言"给我多少卡我都能用得完",算力永远不嫌多,但战略层面配置已足够合理。

关于Coding格局的判断

在 Coding 竞争格局方面,MiniMax的 M3 系列预训练效果优异,但 M3 因后期强化不足存在缺陷,M3.1 通过提升数据质量和数量显著改善了这一问题。

在 Coding 方面的改进主要体现在三个层面:一是长程复杂任务能力显著提升,数据量和质量均有倍数级增长;二是前端审美表现优异且将持续保持;三是在复杂设计、代码扩展等难题上的攻克能力将比简单问题更突出,因为简单 Coding 各家已拉不开差距。

关于 Coding 数据飞轮,市场上存在两派观点:一派主张领先模型通过自循环数据持续领先,另一派主张依赖高质量专业代码数据。

专家偏向后者,认为数据质量和训练方案更为关键

理由是 GitHub Copilot 作为最早大规模做 Coding 的项目并未长期领先,说明先发优势有限;Coding 领域的数据获取相对容易(团队本身就是程序员,专家支持直接),不依赖难以替代的专业知识(如医药)。因此 Coding 壁垒不在先发,而在数据质量、数量及训练方案,这是相对确定且可控的。

从市场竞争格局看,当前国内外 Coding 领域混战,无明显领跑者,M3 及 2.7 版本已显著提升,更大参数版本预计将达到市场最佳水平。整体对 Coding 能力持续提升持乐观态度。

新模型在商业化上会带来什么变化?

采用MSA降低计算开销,毛利率预计超过M2。专家从技术和需求判断使用使用反馈良好,销售市场也会稳定增长。

专家反馈M3使用量增长较快,内部也一直在上优化和加卡,即使这样,目前高峰期负载偶尔会过载,表明市场需求和销量保持活跃状态。整体来看,销售和优化仍然保持良性循环,没有明显瓶颈。M3模型输出速度国内领先,用户体验好。

而新模型M3.1在数据量和质量上有很大提升,从内部视角看,coding能力的提升和体验方面目前都稳妥,后续也会继续保持优势。

柒哥整理完这个访谈,只能说每一条都非常硬气! 参数实实在在上去了,创新架构构成核心竞争力,coding能力解决了最关键的数量和质量问题直接去解决复杂问题, 算力还是领先于同行,这一把真的是要去冲击全球前三了!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李在明被逼无奈下“罪己诏”,向全国低头谢罪,承认自己现在飘了

李在明被逼无奈下“罪己诏”,向全国低头谢罪,承认自己现在飘了

经纬戎韬
2026-09-21 15:50:06
亚运会女足8强出炉!1/4决赛对阵:中国VS越南 胜者半决赛或遇朝鲜

亚运会女足8强出炉!1/4决赛对阵:中国VS越南 胜者半决赛或遇朝鲜

我爱英超
2026-09-21 20:41:04
北京突然调头!巨资砸向二环内,新城不香了?

北京突然调头!巨资砸向二环内,新城不香了?

生活魔术专家
2026-09-22 00:20:54
4-2横扫张本智和!19岁国乒天才连斩5大世界名将,一战封神

4-2横扫张本智和!19岁国乒天才连斩5大世界名将,一战封神

阿讯说天下
2026-05-30 14:20:24
iPhone 20 Pro Max工程机突然曝光,这变化让我等不及了

iPhone 20 Pro Max工程机突然曝光,这变化让我等不及了

搞机小帝
2026-09-21 15:33:28
1984年,张宗逊之子张又侠仅用8个多小时拿下松毛岭,此时预备队还没上呢

1984年,张宗逊之子张又侠仅用8个多小时拿下松毛岭,此时预备队还没上呢

海佑讲史
2026-09-04 08:50:30
竞争激烈!亚运会男子100米蛙泳:董志豪并列夺金,覃海洋获铜牌

竞争激烈!亚运会男子100米蛙泳:董志豪并列夺金,覃海洋获铜牌

全景体育V
2026-09-21 16:57:32
13岁于子迪成绩超14岁菲尔普斯,今年世界第一,状态压倒麦金托什

13岁于子迪成绩超14岁菲尔普斯,今年世界第一,状态压倒麦金托什

杨华评论
2026-09-22 02:31:14
中国女排战胜泰国,向队史的第10座亚运会冠军奖杯发起冲击

中国女排战胜泰国,向队史的第10座亚运会冠军奖杯发起冲击

澎湃新闻
2026-09-21 18:44:07
宅基地权属彻底敲定!就算老宅垮塌、房顶全塌,大伙犯不上瞎扯皮

宅基地权属彻底敲定!就算老宅垮塌、房顶全塌,大伙犯不上瞎扯皮

三农雷哥
2026-09-20 19:44:43
“有人根本不配穿皇马球衣!”德比惨败引发大地震,西媒怒撕穆帅师徒

“有人根本不配穿皇马球衣!”德比惨败引发大地震,西媒怒撕穆帅师徒

中场哨
2026-09-21 12:06:43
89.9元“溜溜凳”塞满发霉木板废旧海绵!“交个朋友”爆款你买过吗?

89.9元“溜溜凳”塞满发霉木板废旧海绵!“交个朋友”爆款你买过吗?

听心堂
2026-09-20 19:26:20
刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

静若梨花
2026-08-29 10:42:55
西贝创始人贾国龙最新发声

西贝创始人贾国龙最新发声

第一财经资讯
2026-09-21 12:56:20
为什么越来越多人用苹果手机?网友一句话说透:但凡不穷就会换苹果!

为什么越来越多人用苹果手机?网友一句话说透:但凡不穷就会换苹果!

一个有灵魂的作者
2026-09-21 16:41:15
业主:拒缴物业费不犯法,因为业主作为买方,有不购买服务的自由

业主:拒缴物业费不犯法,因为业主作为买方,有不购买服务的自由

三农老历
2026-09-19 13:35:51
曾是足坛第3人!37岁皇马传奇沙滩秀炸裂身材 退役3年半仍有8块腹肌

曾是足坛第3人!37岁皇马传奇沙滩秀炸裂身材 退役3年半仍有8块腹肌

我爱英超
2026-09-21 19:52:21
8强出7席!中国女足5-1头名出线,淘汰赛对手圈定,避开日本女足

8强出7席!中国女足5-1头名出线,淘汰赛对手圈定,避开日本女足

过期少女致幻录
2026-09-21 23:35:55
中国人在肯尼亚开小卖部,肯国总统喊话:这些生意是留给当地人的

中国人在肯尼亚开小卖部,肯国总统喊话:这些生意是留给当地人的

冰语历史
2026-09-22 01:08:28
骇人听闻的推测:中美日可能都暗自期待着一场中日大战

骇人听闻的推测:中美日可能都暗自期待着一场中日大战

孝沛与世界
2026-09-19 20:11:18
2026-09-22 05:43:00
天天开柒 incentive-icons
天天开柒
天天开柒是有前瞻、有判断的科技行业观察者。这里有关于行业深度分析和热辣小道。
149文章数 80关注度
往期回顾 全部

科技要闻

吃AI红利的凡人,年薪10万美元,每天3万步

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

体育要闻

跟着华裔天才重仓AI,勇士旧将成资本大佬

娱乐要闻

张佳宁穿搭宽松小腹微凸 引发怀孕猜测

财经要闻

酒鬼酒经销商半年跑了40%

汽车要闻

全系800V/红旗司南智驾 红旗天工07预售权益价16.99万起

态度原创

数码
艺术
本地
游戏
公开课

数码要闻

vivo X500系列发布:售5499元起 Pro Max配备2亿像素长焦

艺术要闻

一生难得一见!国宝级书画全卷展开,看到就是赚到!

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

《凯恩的遗产:挑战 重制版》实体版11月发售

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版