网易首页 > 网易号 > 正文 申请入驻

Kimi K3正式开源!拆解2.8万亿参数背后的硬实力

0
分享至

今天,Kimi K3正式开源了,包括模型权重、技术报告、大模型Infra技术:MoonEP、FlashKDA和AgentEnv等等,下面我带大家来拆解这些代表了当今一流模型水平的硬核技术。
Kimi K3的模型权重已经开放下载,无论是拿来做内部研发,还是直接嵌入终端用户的产品里,都可以自由使用。这种开放程度,在2万亿级别参数模型里,是头一回,Kimi引领了新一轮开源模型的技术发展。另外要说明一下,这三项Infra技术里,FlashKDA之前就已经开源过了,这次是MoonEP和AgentEnv正式加入开源阵营,等于把训练链路上通信、算子、沙箱环境这三块关键拼图一次性补齐了。
首先是模型参数,2.8万亿参数,是K2.5的三倍。什么意思呢?就是同样的算力,能够多产生2.5倍的智能。放在算力紧张的大环境下,这个技术是非常有现实意义的。这背后的支撑是Kimi Delta Attention、Attention Residuals等工程技术的创新。另外K3还具备原生视觉理解能力,并且把上下文窗口拉到了100万token,这个长度足以把数十万字的技术手册整个塞进去还有余量,对处理长文档、长代码库这类场景来说是实打实的刚需。
从技术细节来看,KDA和Gated MLA按3比1混合,专门为了搞定长上下文,还加了块级注意力残差让信息在层与层之间流动更顺畅。相当于给模型装了一条快速通道,减少信息在传递过程中的损耗。
MoE的部分,896个专家里每次只激活16个,稀疏度拉到极致但训练效果稳定。这种“广撒网精准捞”的思路,其实是在效率和效果之间找了个巧妙的平衡点。能在这么高的稀疏度下还稳得住,靠的是SiTU-GLU和Quantile Balancing这两项细节技术在背后撑着,简单理解就是既管住了激活函数的表现,又管住了专家负载的均衡,避免了大规模MoE训练里最常见的,某几个专家累死、大部分专家闲死的问题。
视觉编码器MoonViT-V2,用next-token prediction从零训练,不用对比学习那套流程,效果还能对齐SigLIP基线。这算是给视觉训练提供了一条新路子,少了预训练依赖,流程更干净,优化过程也更稳定,某种程度上也是在给视觉模型是否非要走对比学习,这个问题交出一份答卷。
后训练方面也有不少创新,技术报告里提到,团队在通用推理、通用Agent、编程Agent这三大方向上做了大规模的任务合成,还专门搭了一套支持百万token上下文的强化学习基建,最后拿近20个内部评测集做了完整评估。相当于把:能力怎么练出来、以及练得好不好怎么验证,这两件事都交代清楚了,比单纯秀跑分要实在得多。
Infra层面,MoonEP解决的是超大MoE场景下专家并行通信不均衡的问题,FlashKDA是自研的高性能算子,直接换掉flash-linear-attention能提速两倍左右,AgentEnv则是团队与KVCache.ai合作打造的沙箱系统,支持快照恢复和分叉,方便大规模并行跑Agent任务。对做训练的团队来说,这几件东西基本可以直接上手可用,省去不少重复造轮子的成本。
个人认为,K3开源意义重大,尤其是在中美AI竞争的大背景之下。不仅体现了Kimi硬核的技术实力,也让世界看到中国AI公司的格局。官方在发布里也提到了自己的价值观:开放权重能降低获取智能的门槛,推动创新,还能让用户对数据有更大的控制权、隐私保护和所有权。对于AGI这种影响深远的技术,一个足够开放的生态系统,可能真的比封闭模型更符合时代要求。
期待更多开发者能在K3的基础上构建千行百业的应用,共同谱写属于中国AI的华丽乐章。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

墨韵兰亭l
2026-11-18 21:24:07
内娱姐妹花:决裂10年,拒绝复合

内娱姐妹花:决裂10年,拒绝复合

最人物
2026-11-18 15:45:33
墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

墨西哥女孩不听亲友劝阻远嫁中国,断了往来,5年后全家求援助

雅俗共赏1
2025-09-03 14:00:28
49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

板栗说事
2025-02-17 07:54:14
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
马刺12连胜被终结之夜,哈珀伤退,主帅称"什么都不知道"

马刺12连胜被终结之夜,哈珀伤退,主帅称"什么都不知道"

晚风知我意21
2026-11-19 01:04:30
詹姆斯轮休76人狂胜!恩比德赛后一句话,道出全队不敢说的真相

詹姆斯轮休76人狂胜!恩比德赛后一句话,道出全队不敢说的真相

吴蒂旅行ing
2026-11-18 12:50:04
克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

大卫的篮球故事
2026-11-18 19:39:37
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
比红薯通便,比芋头养人,11月使劲吃!一养肝、二通便、三健脾胃

比红薯通便,比芋头养人,11月使劲吃!一养肝、二通便、三健脾胃

阿龙美食记
2026-11-15 12:26:07
日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

日本为什么忌惮朝鲜!第一,朝鲜境内没有日企,人家不稀罕。第二,朝鲜人也不用日本的东西,你在朝鲜也几乎看不见日货

扶苏聊历史
2026-10-11 11:35:08
中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

林子说事
2026-11-17 07:18:15
湖人13胜2负高居西部第一,名嘴仍断言他们次轮出局

湖人13胜2负高居西部第一,名嘴仍断言他们次轮出局

元气满分吖
2026-11-19 03:16:52
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
安徽阜阳一校花太漂亮了 身高170 五官精致 美得让人移不开眼

安徽阜阳一校花太漂亮了 身高170 五官精致 美得让人移不开眼

生活新鲜市
2026-11-18 16:53:58
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
为啥很多人打破头皮也要进国企?网友:因为有人就图稳定啊,比如我

为啥很多人打破头皮也要进国企?网友:因为有人就图稳定啊,比如我

带你感受人间冷暖
2026-11-19 00:05:18
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

饭小妹说历史
2026-10-20 15:47:54
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
2026-11-19 03:36:49
技术领导力 incentive-icons
技术领导力
Mr.K,出过书,做过CTO
157文章数 631关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
游戏
亲子
健康
公开课

教育要闻

课堂上老师一句不及格哦 全班瞬间安静 学生党破防 建议看..

《GTA6》不设任务重玩菜单,提供15个存档槽

亲子要闻

宝宝被爸爸的动作整蒙了,一脸惊讶的表情

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版