北京
微软AI研究团队周四公布了一个新的大语言模型，官方说法是：比目前主流的开源方案效率高出一大截。
这个模型叫 MAI-Base-2，但它并不是一个可以直接拿来聊天的成品LLM，而是一个基础模型——可以理解成毛坯房。开发者要把它变成能用的LLM，还得再经过好几轮额外训练，通常用来补上推理能力和安全护栏。
目前市面上最能打的开源基础模型是 DeepSeek-V4-Pro-Base。微软称，在一系列内部基准测试中，MAI-Base-2 的表现超过了它，测试内容涵盖科学、编程和数学题目。更关键的是，按某些指标衡量，MAI-Base-2 的硬件效率最高可达前者的12倍。
效率从哪来？答案是架构。MAI-Base-2 采用了混合专家（MoE）架构，处理提示词时只调用一部分人工神经元，而不是把整个神经网络全部激活。这个模型总共有 2万亿参数，但收到一条提示时，实际激活的只有 800亿。
语言模型的人工神经元按层组织。微软上一代基础模型是把 MoE 层和基于 FFN 这种效率较低设计的模块混在一起用；MAI-Base-2 则全部由 MoE 层构成，这是它性能提升的原因之一。
训练规模也摆在这里：微软用了 16000块英伟达 GB200 芯片，训练了 38天，数据集包含 50万亿 token。其中大约五分之一用于训练一个集成进模型的计算机视觉模块，这个模块让它在理解科学图表这类任务上比前代更强。
训练过程中有两个技术细节值得注意。开发LLM靠的是观察模型怎么完成任务、再给反馈，反馈以数学对象“梯度”的形式在模型的各层之间传递，逐层重新校准以提升输出质量。但梯度每穿过一层都会变化，某些情况下会引发bug、打断训练流程。微软用了梯度裁剪来防止这个问题影响 MAI-Base-2，同时还用了开源AI工具 Muon 来加速训练。
落地方式上，微软会通过 Azure 云平台把 MAI-Base-2 的权重授权给“可信合作伙伴”。另外，这个模型还会用来驱动一系列新的LLM，更多信息微软说会在不久后公布。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
