Kimi K3 发布，2.8T 参数开源最大，性能仅次于 Fable 5 和 GPT-5.6 Sol

7 月 16 日，赶在 WAIC 开幕前，月之暗面发布了 Kimi K3——2.8 万亿参数，1M 上下文窗口，原生多模态。

这是目前全球参数规模最大的开源模型，比 DeepSeek V4 Pro（1.6T）大约 75%。月之暗面称，虽然 K3 整体仍落后于最强闭源模型 Claude Fable 5 和 GPT-5.6 Sol，但在全套评测中展现出前沿水平，并稳定超过了其他所有模型。完整权重将于 7 月 27 日前发布。

这也是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理等前沿智能场景而设计。

价格上，K3 价格对标 Sonnet 模型，每百万 Token 输入：2 元（命中缓存）和 20 元（未命中缓存），输出：100 元。官方声称，借助 Mooncake 分离式推理架构，Kimi 官方 API 编程场景的缓存率超过 90%，实际输入价格仅为标准输入价格的 1/4。

目前 K3 已经可以在 Kimi 网页版、Kimi App 和 Kimi Work 以及官方 API 中使用，当前默认思考强度为 max（极致），后续更新后会增加 low 和 high 两种模式。

⬆️关注 Founder Park，最及时最干货的创业分享

Founder Park 正在持续寻找值得被看见的 AI 团队与项目。

我们将通过「AI 产品市集」、内容报道、社群分发等方式，帮你触达早期用户、获得真实反馈，以及建立关键连接。

如果你正在做 AI 相关的事，欢迎和我们聊聊。

01参数上，把规模推到 3 T 参数级

Kimi K3 是一个 MoE 模型，总参数 2.8 T。模型拥有 896 个专家模块，每次推理只激活其中 16 个。这种高稀疏度设计意味着，虽然模型「知道」的东西极多，但每次回答问题时调用的计算量被严格控制。

架构上，K3 引入了两项关键创新：

Kimi Delta Attention（KDA）：一种混合线性注意力机制。传统 Transformer 的注意力机制在处理超长文本时计算成本呈平方增长，KDA 用线性注意力替代了大部分计算，同时保留少量全注意力层处理需要精确检索的场景。具体比例是 3:1——每 4 层中有 3 层用 KDA，1 层用全注意力。结果是 KV 缓存使用量减少 75%，在 100 万 token 上下文长度下解码吞吐量提升最高 6 倍。

Attention Residuals（AttnRes）：传统深层模型在各层均匀累积信息表示，AttnRes 则让模型能有选择地跨层检索信息。简单说，模型变深之后，底层学到的东西不容易被顶层「忘掉」。

这两项技术合在一起，让 K3 相比上一代 K2 的整体训练效率提升了约 2.5 倍。月之暗面在官方博客中的说法是：「能更有效地把算力转化为能力。」

此外，K3 采用了量化感知训练（MXFP4 权重 + MXFP8 激活），从 SFT 阶段就开始适配低精度推理，这意味着模型从训练阶段就在为部署效率做准备。

价格上，K3 对标 Sonnet 5 模型，比 K2.6 贵了不少，对于重度用户，感觉 token plan 可能更划算。

根据 Artificial Analysis 的数据，K3 在智能指数（Intelligence Index）上的平均任务成本为 0.94 美元，接近 GPT-5.6 Sol 的 1.04 美元，约为 Opus 4.8（1.80 美元）价格的一半。

02性能：逼近闭源最强，但还没追上

先看数据和评测。

月之暗面的定位是：K3 整体仍落后于 Fable 5 和 GPT-5.6 Sol，但稳定超过了其他所有模型。

在 Kernel 优化竞技场（一个让模型在 GPU 沙箱里自主优化内核的测试环境）中，K3 在最大思考强度下的表现接近 Fable 5（含回退机制），明显领先 Opus 4.8、GPT-5.6 Sol 和 GPT 5.5。

在 AA-Briefcase（长程智能体知识工作测试）中，K3 得分 1527，排名第二，超过了 GPT-5.6 Sol Max 的 1495。

知识工作领域的提升也是本次模型的亮点。

不过具体体感如何，也期待各位的实测。

03任务演示：48 小时设计一颗芯片

Benchmark 数据之外，K3 有几个能力展示值得单独说。

Kernel 优化竞技场。月之暗面搭建了一个内核优化测试环境，每个模型在独立的 GPU 沙箱中运行，最多 24 小时内完成分析、重写和验证。测试覆盖 H200 GPU 上的 Attention Residuals、KDA 线性注意力、512 头维度 MLA 内核，以及某国产 GPU 上的 KDA 任务。K3 在最大思考强度下的表现接近 Fable 5。

从零构建 GPU 编译器。K3 开发了 MiniTriton，一款类 Triton 编译器。它基于 MLIR 构建了自己的 tile 级中间表示层，实现了完整的优化 pass 到 PTX 代码生成流水线。在 Roofline 基准测试中，MiniTriton 在部分工作负载上的性能超过了 Triton 和 torch.compile。作为端到端验证，团队用 MiniTriton 训练了 nanoGPT，并观察到正常收敛。

自主设计芯片。在 48 小时连续运行中，K3 基于开源 EDA 工具和 Nangate 45nm 工艺库，独立完成了一颗芯片的设计、优化和验证。芯片面积 4 mm²，集成 146 万个标准单元，在 100 MHz 下完成时序收敛，仿真解码吞吐超过每秒 8700 个 token。月之暗面的描述是：「一颗由模型设计、为模型服务的芯片。」

科研编程。在一个计算天体物理的案例中，K3 用约两小时复现了 I-Love-Q 普适关系，阅读交叉验证了 20 多篇论文，评估了 300 多种状态方程，生成了 3000 多行代码。这个工作通常需要一名资深研究人员一到两周。

行业研究。在 Kimi Work 中，K3 完成了一份推理芯片行业研究报告，覆盖 ASIC 行业 42 年历史，经过 120 多轮递归自我改进。过程中完成了 2800 多次网页搜索、1100 多次终端数据拉取，处理了 87 份季报和 99 份 PDF，合计超过 11000 页。

查看完整交互式报告 https://asic42cn.ok.kimi.link/

这些案例的共同特征是长程自主性，持续数小时甚至数天地独立完成复杂工程任务。这是 K3 区别于上一代模型最核心的能力升级。

04已知局限

月之暗面在发布博客中列出了三条局限：

1. 对历史思考内容敏感： Kimi K3 在后训练过程中全程使用思考历史保留模式，如果 agent 框架未按要求回传全部历史思考内容，或从其他模型正在进行的会话中切换到 Kimi K3，则有可能引发上下文干扰，导致内容生成质量不稳定。建议使用 Kimi Code 等经过兼容性验证的 Agent 框架，并避免在会话中途切换到 Kimi K3。

2. 过于主动：Kimi K3 的训练重点优化了长程、高难任务。因此，在任务执行过程中遇到小问题或用户意图模糊时，它可能会替用户做出非预期的决定。如果你的应用希望 agent 更有边界感、不要过于自由发挥，请在 system prompt 或 AGENTS.md 中对 Kimi K3 施加更明确的行为约束。

3. 尽管 Kimi K3 总体上是一个非常有竞争力的模型，但与 Claude Fable 5 和 GPT-5.6 Sol 相比，在用户体验上仍有一定差距。

转载原创文章请添加微信：founderparker