网易首页 > 网易号 > 正文 申请入驻

张一鸣按下“蒸馏”暂停键:字节宁可落后,也不抄别人答案

0
分享至



上个月,一向低调的张一鸣做了一件很罕见的事。

面对Seed团队内部持续一年多的“要不要蒸馏”争论,他给到了定调:

“字节跳动应该愿意为更长期的目标,牺牲一些短期收益。”

据《The Information》披露,张一鸣明确表态:闭源模型不能蒸馏,开放权重模型也不能蒸馏。“Seed可以接受暂时的落后,但不接受依靠蒸馏竞争对手来消除这种落后。”

一句话,把字节AI团队想“抄答案”的路,给堵死了。

现在人人都喜欢说抄答案,可为什么字节不抄?



要理解张一鸣这个决策的分量,可能要先搞清楚“蒸馏”是怎么回事。

模型蒸馏(Knowledge Distillation)的概念类似让一个小模型(学生)去模仿一个大模型(教师)的输出概率分布,从而用非常小的代价和训练,去获得接近教师的能力。

提出这个模式的,是人工智能之父辛顿,他在2015年发表了相关论文,后来Google、OpenAI、Anthropic等大厂在做轻量版模型时也会使用蒸馏,完全合法。

不过,现在有一个不好的风气,很多AI大模型企业,不是蒸馏自己的模型,而是蒸馏竞争对手的模型,甚至是闭源模型,性质就变了。

抄自己过去的答案叫改进,抄别人的答案,那就真是抄袭了。



那么,这些模型厂商是怎么抄袭的呢?

首先,批量构造几百万个问题,然后扔给Claude/GPT这类头部模型,收集它们的回答。

这些回答里往往会带上推理路径、判断逻辑、表达策略,然后收集这些数据,用于训练自己的模型。

相当于用几个小时,就学会了别人十年的功夫。

省掉的不仅是算力,还有数据制作、强化学习、试错的全部成本。



2026年2月,Anthropic公开指控DeepSeek、MiniMax、月之暗面用超过24000个虚假账号、对Claude进行了总计超1600万次对话交互,通过蒸馏大规模提取其核心能力。

在控诉中,Anthropic详细描述了这些企业的“九头蛇架构”——用分布式架构将恶意流量伪装成正常请求,系统性地提取Claude的推理能力、工具调用与编程数据,其中MiniMax交互超1300万次,月之暗面超340万次,DeepSeek超15万次。

这份名单里,没有字节跳动的Seed。

这个细节,很关键。



Seed团队关于蒸馏的争论,在过去一年至少爆发了三次:

第一次,是2025年1月DeepSeek-R1发布后。

当时DeepSeek掀起了一阵科技自信潮,但内行人知道,DeepSeek用了一种很投机的方式——蒸馏。

这个方法被其他大模型企业知道后,字节内部的部分研究员也跃跃欲试,提议引入美国头部闭源模型生成结果,快速提升推理与综合表现。

但提议被否决。



第二次,是2025年底至2026年初,英伟达Blackwell系列GPU在美国大规模商用阶段。

受美国高端GPU出口管制影响,Seed训练所用的H20算力仅为B200的五十分之一。

显卡不足,算力就不够,算力不够,大模型就没有别人聪明,这个时候,字节内部又有人提出“实在不行就蒸馏”,这个动议获得较多支持,仍未获得张一鸣的批准。

第三次,是Kimi K3成功发布后。

7月16日,月之暗面推出Kimi K3,官方称其拥有2.8万亿参数、原生视觉能力和100万token上下文的开放模型,是地表“最强开源模型”,进入全球第一阵营。

相反,投入更大、人才更多的Seed却没有推出同级语言模型。

此时,蒸馏提议再度高涨:行业都在抄,抄袭的比用功努力的效果好多了,为什么我们不抄?如果怕法律制裁,那我们就蒸馏开源的模型不就行了吗?

在部分字节员工看来,公司不愿采用蒸馏,是其大语言模型落后于阿里巴巴,以及DeepSeek、智谱AI和月之暗面等国内AI公司的一项重要原因。



可张一鸣的回应是:闭源不能蒸馏,开放权重也不能蒸馏。

这说明张一鸣反对的不只是“侵权式蒸馏”,是任何形式的“用别人模型的输出作为自己能力的捷径”。

在他看来,抄袭或者蒸馏,只能在短期内上个榜,可这个毛病,会干扰真正意义上的技术突破。

事实上,字节对蒸馏的警惕并非临时起意。

早在2023年4月,字节引入GPT API调用规范检查后,即明令禁止将GPT生成数据加入训练集;随后开展内部抽样检测,核查模型输出与GPT的相似度,防止数据标注人员私自使用GPT。

在字节,这是一条已经延续了三年多的红线。



为什么张一鸣就是不肯抄作业?

外界猜测,可能是害怕美国制裁,毕竟TikTok在美国风险还是很高,字节不想给华盛顿抓把柄的机会。

但我们认为,张一鸣的野心是想做出有“定义权”的产品。

如果单靠蒸馏对手来追平榜单,那么企业开发的模型上限永远是对手的天花板,这就好比期末考试,你抄到了年级第一的答案,甚至发现了年级第一答案中的错误,加以改进,然后考的分数比年级第一还高。

可到了不能作弊的高考呢?



不抄袭的思路,和张一鸣一贯的产品哲学是一致的。

今日头条、抖音、TikTok,没有一个是从“抄美国模式”起家的,它们都是在中国市场的独特语境下,用算法和推荐系统重新定义了内容分发。

相反,阿里、百度、腾讯都不是。

所以字节的选择是,与其在乎一时的榜单排名,不如自己制定游戏规则。

怎么办?用好自己的数据。

据悉,字节正在启动一项包括5万亿参数的超大模型。由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作,Seed正在重新划分职责和分配资源。

8月6日上午,字节跳动举办了2026年度年中全员会,公司CEO梁汝波表示,在大语言模型上,接下来字节跳动会坚持自研,接受短期落后,坚持优化长期。

这句话和张一鸣的“愿意为长期目标牺牲短期收益”形成了双重定调:字节的最高层的管理者,在同一个星期内,向内外释放了同一个信号。

尽管现在的通用语言模型榜单上,Seed会继续被Kimi K3、Qwen3.8、DeepSeek压着,可一旦能跑通自有的5万亿参数模型,字节就将拥有国内首个真正意义上的“原生预训练超大模型”,和专注于开源模型的同行拉开差距。

某种意义上,这就像苹果手机和安卓手机一样。

为什么一些安卓手机厂商喜欢在发布会上嘲讽苹果,却都在产品上对标苹果?

只能说,懂的都懂。



开源虽然能集“百家之长”,可别人也能集你之长,虽然能“遥遥领先”一阵,但别人用你的成果再去训练自己的模型时,你拦都拦不住。

字节既然选了专有,也就必须选择“不蒸馏”。

在一个所有人都在抄答案、所有人都在卷榜单、所有人都在吹牛逼的时代,有一个人愿意站起来说“我们不抄”,这件事本身就是中国AI行业稀缺品。

至于这个稀缺品最后值多少钱?

要等。可能要等很久。

但历史一再证明,真正改变游戏规则的人,往往不是最聪明的那个,是最专注、最偏执的那个。

在AI的马拉松竞赛里,愿意慢下来的人,比愿意快起来的人,更值得尊敬。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国八大高钾食物,出汗多的人要多吃,腿不软心不慌

中国八大高钾食物,出汗多的人要多吃,腿不软心不慌

刘哥谈体育
2026-09-10 08:56:54
刘亦菲发合照把越南女星胡玉荷裁剪掉,只保留了自己与品牌CEO的画面,意外把《三十而已》的顾佳带上热搜

刘亦菲发合照把越南女星胡玉荷裁剪掉,只保留了自己与品牌CEO的画面,意外把《三十而已》的顾佳带上热搜

小椰的奶奶
2026-09-09 22:50:48
陈伟霆何穗带儿子去医院,开100万的车子,司机贴身跟随帮忙开门

陈伟霆何穗带儿子去医院,开100万的车子,司机贴身跟随帮忙开门

椰黄娱乐
2026-09-09 16:05:45
官宣!正式裁掉!17年NBA生涯结束了

官宣!正式裁掉!17年NBA生涯结束了

篮球教学论坛
2026-09-09 23:57:00
与何超琼同居14年,至今没领证没生娃没名分,地位早已超越陈百强

与何超琼同居14年,至今没领证没生娃没名分,地位早已超越陈百强

乡野小珥
2026-09-10 10:29:26
无证骑行,长沙一日拘留12名违法驾驶人

无证骑行,长沙一日拘留12名违法驾驶人

娱乐洞察点点
2026-09-10 07:11:33
糯康临死前道出实情:金三角毒枭不怕云南武警的枪口,他们内心真正忌惮的,是那道30年没人敢动的密令

糯康临死前道出实情:金三角毒枭不怕云南武警的枪口,他们内心真正忌惮的,是那道30年没人敢动的密令

磊子讲史
2026-09-08 16:20:36
小S女儿晒“辣照”,小S高情商评论,看得出来母女关系很好,像朋友,像姐妹

小S女儿晒“辣照”,小S高情商评论,看得出来母女关系很好,像朋友,像姐妹

萱小蕾o
2026-09-09 14:06:59
事情闹大了!美公布最新伤亡数据,一夜传遍全球,原来伊朗没说谎

事情闹大了!美公布最新伤亡数据,一夜传遍全球,原来伊朗没说谎

启迪你的思维
2026-09-09 16:47:34
万斯极有可能当选美国总统!一旦成真,全球大变局,中国首当其冲

万斯极有可能当选美国总统!一旦成真,全球大变局,中国首当其冲

铁锤侃侃而谈
2026-09-10 09:22:25
美联储加息,再升温!欧美股市,全线下挫!

美联储加息,再升温!欧美股市,全线下挫!

证券时报
2026-09-10 08:38:03
随着迈阿密国际1-1!产生三大不争事实!不是梅西,最大功臣是他!

随着迈阿密国际1-1!产生三大不争事实!不是梅西,最大功臣是他!

凡人说体育
2026-09-10 11:14:25
打赏陪睡案女主播合租室友发声:魏莹每月陪睡一两次,枕头没干过,经常哭到缺氧

打赏陪睡案女主播合租室友发声:魏莹每月陪睡一两次,枕头没干过,经常哭到缺氧

世界圈
2026-08-24 20:54:42
半导体CPO突然拉升!A股又行了?

半导体CPO突然拉升!A股又行了?

龙行天下虎
2026-09-10 10:48:11
三星连续发文疑嘲讽苹果iPhone Duo:等你们热完我们的剩饭再说

三星连续发文疑嘲讽苹果iPhone Duo:等你们热完我们的剩饭再说

快科技
2026-09-10 10:26:21
雷军发布小米迄今最贵手机,售价10999元起

雷军发布小米迄今最贵手机,售价10999元起

极目新闻
2026-09-07 20:38:42
全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

全红婵近照变化太大了,熬过了最难的发育关,小姑娘彻底长开了,模样跟以前判若两人

In风尚
2026-08-22 06:04:58
不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

天天热点见闻
2026-08-29 08:53:35
人形机器人IPO变天!宇树科技成科技股大笑话,监管层终于出手了

人形机器人IPO变天!宇树科技成科技股大笑话,监管层终于出手了

故事终将光明磊落
2026-09-09 21:22:52
某车企公关误发小米澎程攻防需求,媒体群紧急解散!

某车企公关误发小米澎程攻防需求,媒体群紧急解散!

鞭牛士
2026-09-09 16:19:24
2026-09-10 12:44:49
无相商业趋势 incentive-icons
无相商业趋势
聚焦新经济,解构新消费,洞察新趋势
1326文章数 37575关注度
往期回顾 全部

科技要闻

一文看懂:iPhone折叠屏顶配2万6,10月才卖

头条要闻

iPhone Duo拿出了苹果的看家本领 打工人可能买不起了

头条要闻

iPhone Duo拿出了苹果的看家本领 打工人可能买不起了

体育要闻

一年丢掉的积分排名,郑钦文用18天找回来

娱乐要闻

郭德纲被处罚2天,身边人传出好消息

财经要闻

银行新高!新一轮周期,刚开始!

汽车要闻

腾势Z9GT易三方闪充尊越型32.98万元上市

态度原创

时尚
游戏
旅游
数码
公开课

女人不管多大,都可以看看这些“条纹T恤”,非常减龄又简约

《PUBG》跨界新茶饮 携手7分甜推出联名活动

旅游要闻

文商旅体展融合新场景亮相服贸会,沉浸式体验激活首都文化消费新动能

数码要闻

3599元,Unihertz Titan 2 Elite全键盘5G智能手机国行发售

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版