网易首页 > 网易号 > 正文 申请入驻

Kimi K3正式开源!拆解2.8万亿参数背后的硬实力

0
分享至

今天,Kimi K3正式开源了,包括模型权重、技术报告、大模型Infra技术:MoonEP、FlashKDA和AgentEnv等等,下面我带大家来拆解这些代表了当今一流模型水平的硬核技术。
Kimi K3的模型权重已经开放下载,无论是拿来做内部研发,还是直接嵌入终端用户的产品里,都可以自由使用。这种开放程度,在2万亿级别参数模型里,是头一回,Kimi引领了新一轮开源模型的技术发展。另外要说明一下,这三项Infra技术里,FlashKDA之前就已经开源过了,这次是MoonEP和AgentEnv正式加入开源阵营,等于把训练链路上通信、算子、沙箱环境这三块关键拼图一次性补齐了。
首先是模型参数,2.8万亿参数,是K2.5的三倍。什么意思呢?就是同样的算力,能够多产生2.5倍的智能。放在算力紧张的大环境下,这个技术是非常有现实意义的。这背后的支撑是Kimi Delta Attention、Attention Residuals等工程技术的创新。另外K3还具备原生视觉理解能力,并且把上下文窗口拉到了100万token,这个长度足以把数十万字的技术手册整个塞进去还有余量,对处理长文档、长代码库这类场景来说是实打实的刚需。
从技术细节来看,KDA和Gated MLA按3比1混合,专门为了搞定长上下文,还加了块级注意力残差让信息在层与层之间流动更顺畅。相当于给模型装了一条快速通道,减少信息在传递过程中的损耗。
MoE的部分,896个专家里每次只激活16个,稀疏度拉到极致但训练效果稳定。这种“广撒网精准捞”的思路,其实是在效率和效果之间找了个巧妙的平衡点。能在这么高的稀疏度下还稳得住,靠的是SiTU-GLU和Quantile Balancing这两项细节技术在背后撑着,简单理解就是既管住了激活函数的表现,又管住了专家负载的均衡,避免了大规模MoE训练里最常见的,某几个专家累死、大部分专家闲死的问题。
视觉编码器MoonViT-V2,用next-token prediction从零训练,不用对比学习那套流程,效果还能对齐SigLIP基线。这算是给视觉训练提供了一条新路子,少了预训练依赖,流程更干净,优化过程也更稳定,某种程度上也是在给视觉模型是否非要走对比学习,这个问题交出一份答卷。
后训练方面也有不少创新,技术报告里提到,团队在通用推理、通用Agent、编程Agent这三大方向上做了大规模的任务合成,还专门搭了一套支持百万token上下文的强化学习基建,最后拿近20个内部评测集做了完整评估。相当于把:能力怎么练出来、以及练得好不好怎么验证,这两件事都交代清楚了,比单纯秀跑分要实在得多。
Infra层面,MoonEP解决的是超大MoE场景下专家并行通信不均衡的问题,FlashKDA是自研的高性能算子,直接换掉flash-linear-attention能提速两倍左右,AgentEnv则是团队与KVCache.ai合作打造的沙箱系统,支持快照恢复和分叉,方便大规模并行跑Agent任务。对做训练的团队来说,这几件东西基本可以直接上手可用,省去不少重复造轮子的成本。
个人认为,K3开源意义重大,尤其是在中美AI竞争的大背景之下。不仅体现了Kimi硬核的技术实力,也让世界看到中国AI公司的格局。官方在发布里也提到了自己的价值观:开放权重能降低获取智能的门槛,推动创新,还能让用户对数据有更大的控制权、隐私保护和所有权。对于AGI这种影响深远的技术,一个足够开放的生态系统,可能真的比封闭模型更符合时代要求。
期待更多开发者能在K3的基础上构建千行百业的应用,共同谱写属于中国AI的华丽乐章。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

极目新闻
2026-11-18 19:24:20
彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

魔都姐姐杂谈
2026-11-18 13:09:03
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

澎湃新闻
2026-11-15 10:26:02
莫言:退休后,亲友可有可无、房子可有可无、老伴可有可无、儿女的孝心可有可无、原单位的好处、饭局可有可无......日子就特别好过

莫言:退休后,亲友可有可无、房子可有可无、老伴可有可无、儿女的孝心可有可无、原单位的好处、饭局可有可无......日子就特别好过

二胡的岁月如歌
2026-11-05 09:38:15
白人又要回到白奴时代了,一部分人已经先过上了白奴生活

白人又要回到白奴时代了,一部分人已经先过上了白奴生活

百花谷周伯通
2026-11-17 07:16:50
波切蒂诺带来体能与力量教练图亚,是曼联首位女性教练组成员

波切蒂诺带来体能与力量教练图亚,是曼联首位女性教练组成员

懂球帝
2026-11-18 11:26:18
胖东来走了,腾讯也走了:留下空铺子和降下来的房租,是谁赢了?

胖东来走了,腾讯也走了:留下空铺子和降下来的房租,是谁赢了?

墨兰史书
2026-08-18 07:25:11
11月18日俄乌:对俄远程打击遭美国谴责,欧洲多国继续大力援乌

11月18日俄乌:对俄远程打击遭美国谴责,欧洲多国继续大力援乌

山河路口
2026-11-18 20:30:13
“恭喜BLG,但我早不玩英雄联盟了”

“恭喜BLG,但我早不玩英雄联盟了”

中国企业家杂志
2026-11-17 19:40:04
突发! 澳洲重磅警告: 危机即将来临, 全民囤好紧急物资! 官方推出应急包, 有华人提前半年囤货

突发! 澳洲重磅警告: 危机即将来临, 全民囤好紧急物资! 官方推出应急包, 有华人提前半年囤货

澳微Daily
2026-11-18 15:35:24
轰40+11+8三分,垫底鱼腩养出超级奇兵!末节独揽25分终结12连败

轰40+11+8三分,垫底鱼腩养出超级奇兵!末节独揽25分终结12连败

锅子篮球
2026-11-18 15:30:14
智商高、还有本事的三大星座

智商高、还有本事的三大星座

别人都叫我阿螫
2026-11-18 05:58:52
比亚迪新车官宣:11月18日即将上市,续航1630km

比亚迪新车官宣:11月18日即将上市,续航1630km

科技阿维
2026-11-18 22:31:26
向太曝马伊琍已再婚:当年文章过不了心理那关

向太曝马伊琍已再婚:当年文章过不了心理那关

娱乐看阿敞
2025-12-12 15:50:00
日本10月份出口同比增长20.5%

日本10月份出口同比增长20.5%

每日经济新闻
2026-11-18 07:56:11
人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

北纬的咖啡豆
2026-11-18 09:44:39
有没有发现,身边有很多60、70后,银行里存有上百万,也有退休保障,却不舍得花钱,甚至一杯奶茶都没喝过,就知道存钱

有没有发现,身边有很多60、70后,银行里存有上百万,也有退休保障,却不舍得花钱,甚至一杯奶茶都没喝过,就知道存钱

犀利辣椒
2026-10-20 06:22:18
爆炸沉没!霍尔木兹海峡

爆炸沉没!霍尔木兹海峡

陆弃
2026-11-17 11:10:41
狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

大爱狗狗控
2026-11-18 20:48:36
2026-11-19 03:48:49
技术领导力 incentive-icons
技术领导力
Mr.K,出过书,做过CTO
157文章数 631关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
本地
家居
时尚
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版