![]()
*此图由AI生成
作者| 史大郎&猫哥
来源| 是史大郎&大猫财经Pro
一个大事出现了。
估值2万亿美元的美国Anthropic公司最近发了一个信息量很大的报告,点了7个中国大模型的名,涉及到蒸馏和信息泄露两大问题,特别是后一个,细思极恐。
Anthropic的产品是Claude,他们的报告提到了这7家公司的蒸馏方法和细节:
1、AL的蒸馏规模最大,5月至7月超过1.51亿次交互,峰值每天300万次;
2、YZAM是把用户请求转给Claude,再把回复当成自己的吐回去。10天转了近30万条,而且还把思考过程拎出来训自己的大模型;
3、DS的操作和月之暗面类似,14天内超1210万条;
4、ZP是把已经取得的推理逻辑重新喂给Claude,让Claude自己清洗,目的就是标准化这些被蒸馏的数据,然后训练自己的大模型。
5、XM,是把用户提问写成代码放给Claude做训练数据,并不拿去给用户看。
6、ST是从第三方数据商买别人从中转站扒下来的 Claude对话记录,还让Claude帮自己写蒸馏流水线;
7、MiniMax是开了个壳公司做代理,只卖Anthropic和OpenAI的访问,连自家模型都不挂,目的就是用这些对话来训练自家的模型。
总之,各种手段都用了,当然,这都是Anthropic的一家之言,准确度还待调查。
现在知识蒸馏没有明确的法律定性,也没有明确判例,但争议很大,属于灰色地带。不过,如果你用别人闭源的 API 大规模采集输出来训练自己的大模型,轻松就有了竞品八九成的功力,然后你又用低成本优势去卷对方,对方能开心才有鬼。
但这个报告披露的更可怕的事,是信息泄露。
Anthropic的报告指出,蒸馏过程中,内容有企业的内部代码、有实时API凭据、有公司战略资料,还有个人姓名和联系方式,甚至包含JG、GA和ZF的相关数据,报告甚至具体到给出了使用者所在单位、在Claude上想做的事情和流程。
这要是真的,那就很可怕了。
现在有个老外说自己拿到6TB的数据,靠这批数据,他可以入侵7家重要机构和19家大型企业,他还点了XM、HW、WL的名字,他晒出的截图里还能看到SXF、BZ、ZXD、ZJ实验室等机构的名字,细思恐极。
之前咱们三令五申国产AI数据不得出境,而且任何国家的安全问题优先级都是最高的,比大模型要重要得多,所以这个事情肯定会成为一个里程碑事件。
当然你看这份名单,并没有豆包的名字,据说张一鸣曾在内部会议上表示,宁愿落后于竞争对手,也不要通过蒸馏走捷径超车。
这个态度其实是很需要的,AI的道路漫长崎岖,不急功近利、坚持长期主义才是笑到最后的根本。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.