北京
分享至
微软AI（MAI）在社交平台宣布，他们已经在3T参数量级上拥有了达到SOTA水平的预训练基础模型，而且这个模型完全由MAI内部自研完成。
这条消息的信息量集中在两个点上：一是参数规模，二是"built entirely in-house"——不是合作、不是授权，是自研。
3T参数是什么概念
3T即3万亿参数级别。微软AI把这一量级的预训练基础模型称为"state-of-the-art"，也就是当前同类中的最优水平。这个判断来自微软AI自己，不是第三方评测。
值得注意的是，微软AI强调这些模型是"完全在MAI内部构建"的。对于一家此前在大模型上高度依赖外部合作的公司来说，这个表述本身就是一个信号。
后训练结果还没放出来
微软AI同时表示，后训练（post-training）的结果"即将公布"，并让外界保持关注。也就是说，目前公开的只是预训练基础模型这一层，真正面向应用的能力表现还在后面。
更多技术细节，微软AI称写在了他们的技术博客里。
从节奏上看，这是一次分两步走的发布：先亮预训练底座，再放后训练成绩。对关注大模型自研进展的人来说，后半段可能比前半段更有看头。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
