网易首页 > 网易号 > 正文 申请入驻

张一鸣按下“蒸馏”暂停键:字节宁可落后,也不抄别人答案

0
分享至



上个月,一向低调的张一鸣做了一件很罕见的事。

面对Seed团队内部持续一年多的“要不要蒸馏”争论,他给到了定调:

“字节跳动应该愿意为更长期的目标,牺牲一些短期收益。”

据《The Information》披露,张一鸣明确表态:闭源模型不能蒸馏,开放权重模型也不能蒸馏。“Seed可以接受暂时的落后,但不接受依靠蒸馏竞争对手来消除这种落后。”

一句话,把字节AI团队想“抄答案”的路,给堵死了。

现在人人都喜欢说抄答案,可为什么字节不抄?



要理解张一鸣这个决策的分量,可能要先搞清楚“蒸馏”是怎么回事。

模型蒸馏(Knowledge Distillation)的概念类似让一个小模型(学生)去模仿一个大模型(教师)的输出概率分布,从而用非常小的代价和训练,去获得接近教师的能力。

提出这个模式的,是人工智能之父辛顿,他在2015年发表了相关论文,后来Google、OpenAI、Anthropic等大厂在做轻量版模型时也会使用蒸馏,完全合法。

不过,现在有一个不好的风气,很多AI大模型企业,不是蒸馏自己的模型,而是蒸馏竞争对手的模型,甚至是闭源模型,性质就变了。

抄自己过去的答案叫改进,抄别人的答案,那就真是抄袭了。



那么,这些模型厂商是怎么抄袭的呢?

首先,批量构造几百万个问题,然后扔给Claude/GPT这类头部模型,收集它们的回答。

这些回答里往往会带上推理路径、判断逻辑、表达策略,然后收集这些数据,用于训练自己的模型。

相当于用几个小时,就学会了别人十年的功夫。

省掉的不仅是算力,还有数据制作、强化学习、试错的全部成本。



2026年2月,Anthropic公开指控DeepSeek、MiniMax、月之暗面用超过24000个虚假账号、对Claude进行了总计超1600万次对话交互,通过蒸馏大规模提取其核心能力。

在控诉中,Anthropic详细描述了这些企业的“九头蛇架构”——用分布式架构将恶意流量伪装成正常请求,系统性地提取Claude的推理能力、工具调用与编程数据,其中MiniMax交互超1300万次,月之暗面超340万次,DeepSeek超15万次。

这份名单里,没有字节跳动的Seed。

这个细节,很关键。



Seed团队关于蒸馏的争论,在过去一年至少爆发了三次:

第一次,是2025年1月DeepSeek-R1发布后。

当时DeepSeek掀起了一阵科技自信潮,但内行人知道,DeepSeek用了一种很投机的方式——蒸馏。

这个方法被其他大模型企业知道后,字节内部的部分研究员也跃跃欲试,提议引入美国头部闭源模型生成结果,快速提升推理与综合表现。

但提议被否决。



第二次,是2025年底至2026年初,英伟达Blackwell系列GPU在美国大规模商用阶段。

受美国高端GPU出口管制影响,Seed训练所用的H20算力仅为B200的五十分之一。

显卡不足,算力就不够,算力不够,大模型就没有别人聪明,这个时候,字节内部又有人提出“实在不行就蒸馏”,这个动议获得较多支持,仍未获得张一鸣的批准。

第三次,是Kimi K3成功发布后。

7月16日,月之暗面推出Kimi K3,官方称其拥有2.8万亿参数、原生视觉能力和100万token上下文的开放模型,是地表“最强开源模型”,进入全球第一阵营。

相反,投入更大、人才更多的Seed却没有推出同级语言模型。

此时,蒸馏提议再度高涨:行业都在抄,抄袭的比用功努力的效果好多了,为什么我们不抄?如果怕法律制裁,那我们就蒸馏开源的模型不就行了吗?

在部分字节员工看来,公司不愿采用蒸馏,是其大语言模型落后于阿里巴巴,以及DeepSeek、智谱AI和月之暗面等国内AI公司的一项重要原因。



可张一鸣的回应是:闭源不能蒸馏,开放权重也不能蒸馏。

这说明张一鸣反对的不只是“侵权式蒸馏”,是任何形式的“用别人模型的输出作为自己能力的捷径”。

在他看来,抄袭或者蒸馏,只能在短期内上个榜,可这个毛病,会干扰真正意义上的技术突破。

事实上,字节对蒸馏的警惕并非临时起意。

早在2023年4月,字节引入GPT API调用规范检查后,即明令禁止将GPT生成数据加入训练集;随后开展内部抽样检测,核查模型输出与GPT的相似度,防止数据标注人员私自使用GPT。

在字节,这是一条已经延续了三年多的红线。



为什么张一鸣就是不肯抄作业?

外界猜测,可能是害怕美国制裁,毕竟TikTok在美国风险还是很高,字节不想给华盛顿抓把柄的机会。

但我们认为,张一鸣的野心是想做出有“定义权”的产品。

如果单靠蒸馏对手来追平榜单,那么企业开发的模型上限永远是对手的天花板,这就好比期末考试,你抄到了年级第一的答案,甚至发现了年级第一答案中的错误,加以改进,然后考的分数比年级第一还高。

可到了不能作弊的高考呢?



不抄袭的思路,和张一鸣一贯的产品哲学是一致的。

今日头条、抖音、TikTok,没有一个是从“抄美国模式”起家的,它们都是在中国市场的独特语境下,用算法和推荐系统重新定义了内容分发。

相反,阿里、百度、腾讯都不是。

所以字节的选择是,与其在乎一时的榜单排名,不如自己制定游戏规则。

怎么办?用好自己的数据。

据悉,字节正在启动一项包括5万亿参数的超大模型。由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作,Seed正在重新划分职责和分配资源。

8月6日上午,字节跳动举办了2026年度年中全员会,公司CEO梁汝波表示,在大语言模型上,接下来字节跳动会坚持自研,接受短期落后,坚持优化长期。

这句话和张一鸣的“愿意为长期目标牺牲短期收益”形成了双重定调:字节的最高层的管理者,在同一个星期内,向内外释放了同一个信号。

尽管现在的通用语言模型榜单上,Seed会继续被Kimi K3、Qwen3.8、DeepSeek压着,可一旦能跑通自有的5万亿参数模型,字节就将拥有国内首个真正意义上的“原生预训练超大模型”,和专注于开源模型的同行拉开差距。

某种意义上,这就像苹果手机和安卓手机一样。

为什么一些安卓手机厂商喜欢在发布会上嘲讽苹果,却都在产品上对标苹果?

只能说,懂的都懂。



开源虽然能集“百家之长”,可别人也能集你之长,虽然能“遥遥领先”一阵,但别人用你的成果再去训练自己的模型时,你拦都拦不住。

字节既然选了专有,也就必须选择“不蒸馏”。

在一个所有人都在抄答案、所有人都在卷榜单、所有人都在吹牛逼的时代,有一个人愿意站起来说“我们不抄”,这件事本身就是中国AI行业稀缺品。

至于这个稀缺品最后值多少钱?

要等。可能要等很久。

但历史一再证明,真正改变游戏规则的人,往往不是最聪明的那个,是最专注、最偏执的那个。

在AI的马拉松竞赛里,愿意慢下来的人,比愿意快起来的人,更值得尊敬。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国球迷意难平!不止因为郑钦文1‑2惜败出局,更多在于这五点!

中国球迷意难平!不止因为郑钦文1‑2惜败出局,更多在于这五点!

田先生篮球
2026-09-10 04:26:59
华人女子希腊失踪案最新进展:一公园内发现其护照被撕成22块碎片,附近有人类骸骨

华人女子希腊失踪案最新进展:一公园内发现其护照被撕成22块碎片,附近有人类骸骨

红星新闻
2026-09-10 13:15:44
柳叶刀:中国人精神压力极大 全国精神障碍患病人数已达1.9亿

柳叶刀:中国人精神压力极大 全国精神障碍患病人数已达1.9亿

可达鸭面面观
2026-09-10 13:18:53
真离谱!曝员工被禁止上厕所后裸奔抹屎,宁德时代辟谣并报警,公司群聊曝光,真相浮出水面!

真离谱!曝员工被禁止上厕所后裸奔抹屎,宁德时代辟谣并报警,公司群聊曝光,真相浮出水面!

谭谈社会
2026-09-09 23:27:16
一场2-3!输球不可怕,更可怕的是赛后蒯曼这番话:让人很揪心

一场2-3!输球不可怕,更可怕的是赛后蒯曼这番话:让人很揪心

江启
2026-09-10 00:01:07
16+8轻断食,又跌落神坛!最新研究:进食≤8小时,全因死亡风险飙升34%;坚持6周,流失近50%肌肉,且无法改善心血管代谢

16+8轻断食,又跌落神坛!最新研究:进食≤8小时,全因死亡风险飙升34%;坚持6周,流失近50%肌肉,且无法改善心血管代谢

梅斯医学
2026-09-10 07:55:06
三星发文讥讽苹果iPhone Duo是“热别人剩下的剩菜”

三星发文讥讽苹果iPhone Duo是“热别人剩下的剩菜”

cnBeta.COM
2026-09-10 06:20:06
董建华后代现状:长子经营家族企业,长女嫁美国人,幼子最有出息

董建华后代现状:长子经营家族企业,长女嫁美国人,幼子最有出息

青梅侃史啊
2026-09-09 16:44:40
中央严令规范国企:防止5%中高层拿走80%工资总额

中央严令规范国企:防止5%中高层拿走80%工资总额

职场资深秘书
2026-09-09 16:51:06
网友盼上海体育局公布刘翔代言抽成 49.4万买断一个奥运冠军成笑话

网友盼上海体育局公布刘翔代言抽成 49.4万买断一个奥运冠军成笑话

劲爆体坛
2026-09-10 10:27:10
张雪公开致歉:由于个人管理能力不足,修养不足,让大家失望了

张雪公开致歉:由于个人管理能力不足,修养不足,让大家失望了

毒sir财经
2026-09-09 18:32:42
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
转让二手电脑遇到“仅退款”套路,卖家从浙江打顺风车直奔800公里外讨说法;警方已刑事立案,已抓获3名犯罪嫌疑人

转让二手电脑遇到“仅退款”套路,卖家从浙江打顺风车直奔800公里外讨说法;警方已刑事立案,已抓获3名犯罪嫌疑人

都市快报橙柿互动
2026-09-10 01:16:03
热搜第一!上海竞体中心回应:暂未关注到刘翔微博 详情等官方回应

热搜第一!上海竞体中心回应:暂未关注到刘翔微博 详情等官方回应

醉卧浮生
2026-09-10 09:50:31
赶紧加油,明晚(9月11日)油价或大涨,今年“涨超1.32元/升”的油价再上调,95号汽油接近“9元时代”!

赶紧加油,明晚(9月11日)油价或大涨,今年“涨超1.32元/升”的油价再上调,95号汽油接近“9元时代”!

油价早知道
2026-09-10 09:15:41
星宇股份再现重大财报失误:外包费用2.44万亿元 达年营收184倍

星宇股份再现重大财报失误:外包费用2.44万亿元 达年营收184倍

快科技
2026-09-10 10:48:18
社评:欧盟若铁了心要跟中国打贸易战,那就试试吧

社评:欧盟若铁了心要跟中国打贸易战,那就试试吧

环球网资讯
2026-09-10 00:29:09
如果长沙男童“摸臀”事件发生在美国,会是什么结果?

如果长沙男童“摸臀”事件发生在美国,会是什么结果?

西虹市闲话
2026-09-09 16:34:34
普京向亲信透露“我可能会被处以绞刑”,特朗普特使说战争不会停止

普京向亲信透露“我可能会被处以绞刑”,特朗普特使说战争不会停止

戗词夺理
2026-09-09 16:33:40
影视飓风连续五年送员工苹果新机:每人一台iPhone Duo(可自选等价的其他型号) ,包括实习生和新人

影视飓风连续五年送员工苹果新机:每人一台iPhone Duo(可自选等价的其他型号) ,包括实习生和新人

大风新闻
2026-09-10 09:04:14
2026-09-10 14:12:49
无相商业趋势 incentive-icons
无相商业趋势
聚焦新经济,解构新消费,洞察新趋势
1326文章数 37575关注度
往期回顾 全部

科技要闻

一文看懂:iPhone折叠屏顶配2万6,10月才卖

头条要闻

停资助遭女生质问"快打过来不然曝光你" 男子最新回应

头条要闻

停资助遭女生质问"快打过来不然曝光你" 男子最新回应

体育要闻

一年丢掉的积分排名,郑钦文用18天找回来

娱乐要闻

郭德纲被处罚2天,身边人传出好消息

财经要闻

李嘉诚的创新药生意,拿下87亿大订单

汽车要闻

腾势Z9GT易三方闪充尊越型32.98万元上市

态度原创

亲子
本地
时尚
手机
公开课

亲子要闻

这种抓绒卫衣太实用了,马上就能穿了。关键现在价格特别好。 杨雪呀

本地新闻

宁波,中国制造的隐藏大佬

女人不管多大,都可以看看这些“条纹T恤”,非常减龄又简约

手机要闻

新巅峰:红魔姜超预告12新机将搭载最新第九代屏下技术

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版