前两天刷到一条消息,我直接愣住了。
![]()
字节跳动在训练一个10万亿参数的大模型。
10万亿。。。
什么概念呢,国内最强的Kimi K3才2.8万亿。字节这一把,直接翻了好几倍。
更上头的是,张一鸣还放了个大招--拒绝蒸馏,不走捷径。
哪怕暂时落后也认了。
这哥们,到底在下什么棋?
一天翻一倍,数字跳得比体重还快
先说这个10万亿。
![]()
昨天晚点LatePost刚报"超5万亿",今天英国《金融时报》就说是10万亿。
一天之内翻了一倍。
如果是5万亿,已经超过国内最大的Kimi K3,接近Anthropic的Fable 5。如果是10万亿,直接超越约8万亿参数的Mythos 5。
![]()
这模型还在预训练阶段,要搞3到6个月。由Seed Foundation负责人项亮主导,跟预训练数据负责人沈科搭档。
两人都是从字节的搜广推体系打出来的。
但你再看另一面--
字节在最新一期全球LLM排行榜上,Seed 2.1 Pro只排第21位。而月之暗面、阿里、智谱都冲进了前十。
中国模型占了前十近半席位,但字节不在其中。
这就很抽象了。
论钱论人论算力论数据,字节样样不缺。抖音和TikTok坐拥全球最大内容池,数万张GPU全国铺开。
偏偏大模型榜单追不上。
问题出在哪?
三次"兵变",三次被否
出一个字--"轴"。
张一鸣拒绝蒸馏。
蒸馏是啥?说白了就是拿别人大模型的答案来训练自己的模型,行业里叫"抄作业",见效极快。
2025年以来,Seed内部至少闹过三次"兵变"。
DeepSeek-R1火了,有人提议蒸馏,张一鸣说不。英伟达新芯片让美国算力飙升,字节只能用阉割版H20苦撑,蒸馏呼声再起,又被否。Kimi K3冲进全球顶尖榜单,内部焦虑顶到天花板,张一鸣还是说不。
三次"兵变",三次被否。
他说了一句话:"为了实现长远目标,我们应该愿意牺牲一些短期利益。"
这话听着像鸡汤,但今年国内每隔几天就有新模型发布,他不进则退,主动选择"慢下来"。
蒸馏的本质,是你在用别人的天花板当你的地板。你跑得再快,也只是在追别人的影子。
就像近亲繁殖--基因多样性在流失,几代之后隐性缺陷集中爆发。《Nature》封面研究也证实了:模型反复用AI生成的数据训练,会产生不可逆的能力退化--所谓的**"模型坍缩"**。
张一鸣要的,不是追在别人身后,而是自己摸到天花板。
大洋彼岸在"送助攻"
有意思的是,大洋彼岸正在给字节"送助攻"。
Anthropic的Mythos 5因安全顾虑被禁用,Fable 5上线76小时就被美国政府强制下架。OpenAI也频繁爆出安全问题。
大洋彼岸接二连三"暴雷",给国内撕开了一个窗口期。多家中国实验室正在训练Fable 5规模的模型,字节是押注最激进的那家。
我突然想起一个比喻。
大模型竞赛像一场马拉松,有人抄近道跑到了前面,但裁判突然封了那条路。而那个一直跑正道的人,虽然暂时落后,但路是通的。
张一鸣赌的就是这个--不赌别人的路被封,赌自己跑的这条路才是终局。
豆包月活3.24亿,国内最受欢迎的AI应用。火山引擎去年收入约150亿,今年目标超400亿。
字节有资本等。
♟️ 看得远几步,忍得住寂寞
有人说张一鸣是长期主义,有人说他是赌徒。
我觉得都不是。
他只是个下棋的人--看得比别人远几步,忍得住寂寞。
走捷径的人,永远到不了没人去过的地方。
愿我们,都有不抄作业的勇气。
如果你是字节的工程师,看着隔壁Kimi K3冲上全球第二,自己团队排第21,领导还说"不准蒸馏、接受落后"--你能忍多久?你是站张一鸣的长期主义,还是觉得该先活下来再说?评论区看看大家的想法~
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.