Kimi K3正式开源！3万亿参数开源模型大战，Kimi打响第一枪

今天，Kimi K3正式开源了，包括模型权重、技术报告、大模型Infra技术：MoonEP、FlashKDA和AgentEnv等等，下面我带大家来拆解这些代表了当今一流模型水平的硬核技术。

Kimi K3的模型权重已经开放下载，无论是拿来做内部研发，还是直接嵌入终端用户的产品里，都可以自由使用。这种开放程度，在2万亿级别参数模型里，是头一回，Kimi引领了新一轮开源模型的技术发展。

另外要说明一下，这三项Infra技术里，FlashKDA之前就已经开源过了，这次是MoonEP和AgentEnv正式加入开源阵营，等于把训练链路上通信、算子、沙箱环境这三块关键拼图一次性补齐了。

开源之后没多久，K3就在Hugging Face上创造了历史，成为了这个平台增长最快的模型，热度直接起飞。

这也从侧面说明了，全球开发者对这种级别的开源模型，是真的翘首以盼很久了。

首先是模型参数，2.8万亿参数，是K2.5的三倍。什么意思呢？就是同样的算力，能够多产生2.5倍的智能。放在算力紧张的大环境下，这个技术是非常有现实意义的。

这背后的支撑是Kimi Delta Attention、Attention Residuals等工程技术的创新。另外K3还具备原生视觉理解能力，并且把上下文窗口拉到了100万token，这个长度足以把数十万字的技术手册整个塞进去还有余量，对处理长文档、长代码库这类场景来说是实打实的刚需。

从技术细节来看，KDA和Gated MLA按3比1混合，专门为了搞定长上下文，还加了块级注意力残差让信息在层与层之间流动更顺畅。相当于给模型装了一条快速通道，减少信息在传递过程中的损耗。

MoE的部分，896个专家里每次只激活16个，稀疏度拉到极致但训练效果稳定。这种"广撒网精准捞"的思路，其实是在效率和效果之间找了个巧妙的平衡点。能在这么高的稀疏度下还稳得住，靠的是SiTU-GLU和Quantile Balancing这两项细节技术在背后撑着，简单理解就是既管住了激活函数的表现，又管住了专家负载的均衡，避免了大规模MoE训练里最常见的，某几个专家累死、大部分专家闲死的问题。

视觉编码器MoonViT-V2，用next-token prediction从零训练，不用对比学习那套流程，效果还能对齐SigLIP基线。这算是给视觉训练提供了一条新路子，少了预训练依赖，流程更干净，优化过程也更稳定，某种程度上也是在给视觉模型是否非要走对比学习，这个问题交出一份答卷。

后训练方面也有不少创新，技术报告里提到，团队在通用推理、通用Agent、编程Agent这三大方向上做了大规模的任务合成，还专门搭了一套支持百万token上下文的强化学习基建，最后拿近20个内部评测集做了完整评估。相当于把：能力怎么练出来、以及练得好不好怎么验证，这两件事都交代清楚了，比单纯秀跑分要实在得多。

Infra层面，MoonEP解决的是超大MoE场景下专家并行通信不均衡的问题，FlashKDA是自研的高性能算子，直接换掉flash-linear-attention能提速两倍左右。

AgentEnv则是团队与KVCache.ai合作打造的沙箱系统，支持快照恢复和分叉，方便大规模并行跑Agent任务。

对做训练的团队来说，这几件东西基本可以直接上手可用，省去不少重复造轮子的成本。

个人认为，K3开源意义重大，尤其是在中美AI竞争的大背景之下。

就在K3开源前不久，黄仁勋在X上发表了自己人生第一篇帖子，一封名为《Open Weights and American AI Leadership》的公开信，呼吁华盛顿方面支持开源模型，不要对开源模型搞封禁和制裁。

这封信发出之后，包括英伟达、微软、Meta、OpenAI、Google在内的多家头部科技公司，纷纷联名签署支持，阵仗之大，堪称近年少见。

这也说明，开源这条路线，早已不只是某一家公司的选择，而是整个行业越来越清晰的共识。

而Kimi K3的完全开源，恰好发生在这样一个关键节点上，不仅体现了Kimi硬核的技术实力，也让世界看到中国AI公司的格局。

官方在发布里也提到了自己的价值观：开放权重能降低获取智能的门槛，推动创新，还能让用户对数据有更大的控制权、隐私保护和所有权。对于AGI这种影响深远的技术，一个足够开放的生态系统，可能真的比封闭模型更符合时代要求。

期待更多开发者能在K3的基础上构建千行百业的应用，共同谱写属于中国AI的华丽乐章。

来源 | AI新猿人（ID：aixyr2023）

作者 | AI猿 ; 编辑 | 虾饺

内容仅代表作者独立观点，不代表早读课立场