网易首页 > 网易号 > 正文 申请入驻

Kimi少了一个天才少年

0
分享至


文 | 数智奔流,作者 | 熵野,编辑 | 沈校

10月15日,17岁的陈广宇在社交平台 X 宣布,自己最近已经离开月之暗面 Kimi 团队。

他没有解释离职原因和透露下一站去处,只感谢同事以及当初愿意雇用一个16岁年轻人的团队。他说,过去一年是自己迄今人生中最美好的时光。

但从他离职后的社交互动看,下一步的动向倒是有了痕迹。

Anthropic核心研究员Sholto Douglas在评论区祝贺他,问他原本去卡内基梅隆大学(CMU)的计划是否仍然不变,又邀请他去旧金山,与Prime、Base10等团队一起工作。陈广宇回复:“谢谢 Sholto!我正要去海湾区。”

Kimi团队研究者、论文共同作者Yulun Du则写道,他曾就陈广宇的决定与他进行过几次长谈。看到他离开“很难过,也很令人心碎”,但在这个年纪,尽可能探索和追随新的好奇心,可能是对他最好的选择。

2025年11月,16岁的陈广宇以实习生身份加入Kimi。不到一年后,他与张宇、苏剑林共同署名的 Attention Residuals 已经进入Kimi K3的架构。

外界记住了17岁的共同一作,Kimi留下的是一项被装进模型“地基”的技术。工牌上的经历很短,模型里的痕迹已经留下。


陈广宇的起点,和"天才少年" 四个字离得很远。

他2009年出生,没有奥赛金牌,没有跳级经历,也没有从小写代码的基础。2024年4月,读高一的他做了一个决定:暂停所有自己不喜欢的事。

他在博客里回忆,那段时间只想学计算机和人工智能。他学习大模型的方法,是把下载的论文上传给Gemini,再一遍遍提问。他在博客里把Gemini称作“导师”。

2025年5月,他在网上分享了一篇关于DeltaNet的技术博客,得到了DeltaNet关键贡献者之一杨松琳的回复。杨松琳当时正在麻省理工学院读博,同时也是线性注意力开源社区FLA的发起者。

随着这次互动,帖子被更多人看到,其中包括美国AI初创公司Tilde Research的CEO。对方主动约陈广宇通话,向他介绍公司正在做的项目。

据报道,陈广宇当时没有马上加入。他继续读论文、写代码,等到能够编写自定义的GPU计算内核,并把它用于训练,才去应聘。

那年7月,他独自前往加州帕洛阿尔托,开始了七周的实习。陈广宇后来回忆,自己每天在办公室待15个小时,和其他研究人员一起参与了内存优化混合专家模型MoMoE项目。

硅谷实习结束后,陈广宇收到了月之暗面的邀约。2025年11月,他加入Kimi团队,继续做模型架构研究。

今年1月,他在社交平台写下一个插曲:自己正和张宇研究一项很令人兴奋的模型架构改进,母亲打来电话祝他生日快乐,他才意识到,自己已经17岁了。

两个月后,AttnRes论文发布当天,硅谷半个 AI 圈被炸了出来。

OpenAI 联合创始人 Andrej Karpathy 评价,看来还没把 "Attention is All You Need" 这句话按字面意思理解透。特斯拉 CEO 马斯克在评论区留下一句 "Impressive work from Kimi"。

出圈之后,陈广宇在接受媒体采访时反复说"不要造神",希望外界看到的是团队共同完成的研究,以及它试图解决的底层难题。


AttnRes最初的想法和小规模实验,由苏剑林提出。看到初步结果后,张宇和陈广宇加入,在更大规模的模型上继续验证。

训练团队算了一遍账,认为这套方案在当时的训练环境下,还不够可行。苏剑林在复盘中用了一个很直白的说法:“说白了还是穷。”

要理解他们遇到的麻烦,可以把模型的多层计算想成一群接力做题的人。每个人做完一轮处理,都要把结果交给后面的人。

传统残差连接的做法,是将前面各层产生的信息不断相加。后面拿到的是合并后的结果,很难再单独挑出某一层的信息。

这类似于每个人都往同一份合并笔记里添内容,却没有保留一份可供随时查阅的逐层记录。层数越多,累加的信息越多,一些有用的早期信息也可能被冲淡。

AttnRes改变了这种做法:让后面的层能够参考前面各层的输出,根据当前需要决定侧重哪些信息。就像做题时可以回头翻不同人的笔记,把需要的部分找出来。

麻烦也随之而来。要随时翻到这些“笔记”,训练系统就得保存更多中间结果,还要在不同设备之间传输。新办法在小规模实验里有效,但放进大规模训练,还得处理显存和通信开销。

之后,陈广宇与张宇共同提出了Block AttnRes,也就是分块注意力残差。把上百层网络划分成若干区块,块内维持低成本的基础累加,只在块间做精细的注意力聚合,把显存复杂度从层数级降到了块数量级。

实验显示,只分成约8个块,就能找回全量版绝大部分性能,端到端推理延迟增量控制在 2% 以内。

Kimi团队在480亿参数的 Kimi Linear 架构上,用1.4万亿token实测,AttnRes达到同样效果,只需要基准模型约80%的算力。在GPQA-Diamond上拉升 7.5 分,Minerva Math涨3.6分,HumanEval涨3.1分。

2026年7月发布的Kimi K3总参数2.8万亿,是全球首个开放权重的3T级模型,AttnRes正是支撑它的底座技术之一。

陈广宇参与的另一项工作,是加速KDA的计算内核。

KDA是K3采用的一种线性注意力机制,处理长上下文时,能够降低部分计算和存储开销。陈广宇在离职帖中说,自己与张宇优化过它的内核,还尝试了各种可能的设计。

陈广宇离开前一个月,Kimi公布了新一轮全球人才招募。

9月9日,Kimi宣布招募7名无法被常规岗位描述定义的“Wild Card”人才,同时推出“穿越计划”。该计划面向校招生和实习生,不限专业、不限实习年级,也不把学历和资历作为主要门槛,优秀者可以获得期权。

这套招聘逻辑,和陈广宇的经历高度相似:先找到一个人,再决定他能解决什么问题;先看上限,再补齐岗位名称。

但这套机制也有代价。

非典型人才往往需要更高密度的交流、更快的反馈和更大的试错空间。他们不一定适应标准化的汇报线,也不一定愿意沿着传统职业路径留下来。公司能不能给出真实问题、足够算力、清晰的贡献归属,以及长期的选择空间,决定了这类人才最终是变成组织能力,还是只留下一个短暂的故事。

他在离职帖最后写道:“还有更多事情值得探索。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3大瓜!翟天临当爸、郭麒麟结婚、劣迹网红复出捞金,风波不断

3大瓜!翟天临当爸、郭麒麟结婚、劣迹网红复出捞金,风波不断

两只米老鼠
2026-10-18 18:10:00
医生在救人,手机却被患者偷了!十几万的纤支镜也被“顺走”,医院不是法外之地!秩序不能只靠医生维护,需要真正加强安保

医生在救人,手机却被患者偷了!十几万的纤支镜也被“顺走”,医院不是法外之地!秩序不能只靠医生维护,需要真正加强安保

梅斯医学
2026-10-19 07:55:46
别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

捣蛋窝
2026-10-03 09:50:51
穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

穆帅一石二鸟,妙手解决皇马中场顽疾!巴尔韦德移镇右后卫,皇马4:1大胜,穆帅称赞巴尔韦德全能!

福酱的小时光
2026-10-19 08:14:16
现场画面曝光!法国多地LV、劳力士门店被洗劫一空,爱马仕、苹果、丝芙兰等门店也成目标

现场画面曝光!法国多地LV、劳力士门店被洗劫一空,爱马仕、苹果、丝芙兰等门店也成目标

都市快报橙柿互动
2026-10-18 15:39:35
一个家庭最大悲哀,就是人到70多岁,却还在和外人随便说6件事!

一个家庭最大悲哀,就是人到70多岁,却还在和外人随便说6件事!

游戏收藏指南
2026-10-17 04:48:23
《伟大的长征》直到李德在会议上苦苦挣扎,才懂老蒋节节败退的深层逻辑

《伟大的长征》直到李德在会议上苦苦挣扎,才懂老蒋节节败退的深层逻辑

天玑影视说
2026-10-19 16:02:31
蒋劲夫回应太瘦了被说显老:无所谓啊,脸就一张皮要那么好看干啥

蒋劲夫回应太瘦了被说显老:无所谓啊,脸就一张皮要那么好看干啥

观鱼听雨
2026-10-17 23:48:03
国家德比:巴萨冲击皇马58年巅峰纪录,欲让皇马做垫脚石

国家德比:巴萨冲击皇马58年巅峰纪录,欲让皇马做垫脚石

林子说事
2026-10-19 14:58:32
演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

台州交通广播
2026-10-17 12:49:57
不透露爆燃手机的品牌,是想拉其他家下水吗?

不透露爆燃手机的品牌,是想拉其他家下水吗?

走读新生
2026-10-19 13:22:05
“他的智商已经不是普通人了”,宝妈公开厌恶天才儿子:只想揍他

“他的智商已经不是普通人了”,宝妈公开厌恶天才儿子:只想揍他

泽泽先生
2026-08-06 11:01:17
殡葬师曾忠告:不办仪式、当天火化的一日丧,决定前先想清这3点

殡葬师曾忠告:不办仪式、当天火化的一日丧,决定前先想清这3点

糖逗在娱乐
2026-10-18 05:33:56
2014年,山西一个六十岁的老汉,杀了全村唯一不嫌弃他的人——那个常给他送吃送喝的远房侄媳妇

2014年,山西一个六十岁的老汉,杀了全村唯一不嫌弃他的人——那个常给他送吃送喝的远房侄媳妇

扶苏聊历史
2026-09-29 15:32:03
握着王毅外长的手,拉夫罗夫亲口承诺,全力托住中方11月的重头戏

握着王毅外长的手,拉夫罗夫亲口承诺,全力托住中方11月的重头戏

司马平邦
2026-10-18 19:04:38
演都不演了!电影节上,周迅获奖她撇嘴满脸不屑,对着镜头翻白眼

演都不演了!电影节上,周迅获奖她撇嘴满脸不屑,对着镜头翻白眼

历史的烟火
2026-10-18 13:03:43
比亚迪新车官宣:10月20日,正式上市

比亚迪新车官宣:10月20日,正式上市

科技堡垒
2026-10-19 11:46:22
“太窒息了,我要是孩子直接跳了”,一顿廉价早餐,让母亲发小作文

“太窒息了,我要是孩子直接跳了”,一顿廉价早餐,让母亲发小作文

熙熙说教
2026-10-12 13:43:52
iPhone Duo乔布斯限量版官宣:10月18日上架,顶配14万元

iPhone Duo乔布斯限量版官宣:10月18日上架,顶配14万元

搞机小帝
2026-10-18 22:30:25
大幅拉升!英伟达、台积电,突传大动作!黄仁勋即将发声

大幅拉升!英伟达、台积电,突传大动作!黄仁勋即将发声

证券时报
2026-10-19 15:38:05
2026-10-19 17:16:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
140693文章数 862679关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

男子称入狱20多天被贷款、转走超38万 报警1年多无进展

头条要闻

男子称入狱20多天被贷款、转走超38万 报警1年多无进展

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

家居
艺术
亲子
旅游
数码

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

缅怀 | 著名油画家 宋惠民先生逝世,享年89岁

亲子要闻

0903+科普-5个民间“怀孕谣言”

旅游要闻

西宁下南关:千年古道上的烟火街巷

数码要闻

11.11 信仰价到!ROG玩家国度爆款游戏本享千元优惠再叠国补

无障碍浏览 进入关怀版