网易首页 > 网易号 > 正文 申请入驻

如何安全地开放AI?中国模型开始给出答案

0
分享至

10月23日,月之暗面发布Kimi K3.1 Pro。除了模型能力的提升,这次发布还有一个值得关注的细节:其研究团队在提升模型整体能力的同时,主动削弱了其中可能被用于网络攻击的部分能力。

和单纯在模型训练完成后增加安全防护不同,月之暗面选择从训练过程入手,在中期训练和强化学习阶段有针对性地移除网络攻防相关数据,同时保留正常编程所需的训练内容。这种做法的一个重要考虑是,开放权重模型发布后,其他开发者可以通过修改模型来绕过或移除部分安全防护,也就是所谓的“安全消融”。相比依赖容易被绕过的安全限制,直接在训练阶段控制危险能力,有望降低模型被滥用的风险。

根据月之暗面公布的内部测试,如果不清理相关数据,模型在漏洞利用测试中的成绩可以达到90.5%;经过针对性调整后,最终版本的成绩降至81.0%。

开源模型的权重一旦公开,外部开发者就可以下载模型,在自己的服务器上运行和修改,开发模型的公司也就很难再控制模型的具体用途。这是国际社会对开源模型安全风险的一个普遍担忧,也是美国方面对中国开源模型安全性的核心指控之一。

根据Kimi的发布,K3.1 Pro在编程、工具使用和复杂任务处理方面取得了明显进步,新模型在编程测试中得分65.7%,高于GPT-6 Astra的58.2%;3D建模测试得分92.7%,接近顶尖闭源模型。根据第三方评测机构Artificial Analysis的结果,新模型在综合智能指数中获得55分,比上一代提高11分,在当时的榜单中排名第四。如果按计划开放权重,它将成为该指数中得分最高的开放权重模型。

今年7月,英国人工智能安全研究所(AISI)与美国人工智能标准与创新中心(CAISI)联合评估了上一代Kimi K3的网络安全能力。测试发现,模型已经能够在受控环境中自主完成部分网络攻击任务,而且原有的安全防护未能有效阻止其尝试利用软件漏洞。

当模型越来越强,甚至具备较强的网络攻击能力时,应该如何控制风险,又如何判断一个模型是否仍然适合开放?月之暗面这次没有回避这个问题,而是主动解释了K3.1 Pro的网络攻击能力从哪里来,以及团队采取了哪些措施来控制这些能力。

该公司的研发团队发现,模型的漏洞研究能力之所以不断增强,不仅是因为通用编程能力提高,还因为训练数据和强化学习任务中包含了不少网络攻防相关内容。因此,在准备开放K3.1 Pro权重之前,团队专门从中期训练和强化学习两个阶段移除了相关数据,同时保留了正常编程所需要的训练内容。

这一调整产生了可以量化的效果。根据该公司公布的内部测试,如果不清理这些数据,模型能够完成90.5%的漏洞利用任务;清理之后,最终版本的成绩降至81.0%。也就是说,团队主动牺牲了一部分网络攻击能力,希望降低模型被滥用的风险。

但即使专门削弱了网络攻击能力,K3.1 Pro在漏洞研究方面仍然比上一代明显更强,也印证了随着模型通用编程、复杂推理和长时间调试能力的提高,网络攻击能力也可能跟着增强。

尽管模型已经具备较强的网络攻防能力,月之暗面团队仍然决定继续开放权重,同时提出了两个重要考虑。

一方面,月之暗面不希望将网络攻击能力处于全球最前沿的模型直接开放,因此在训练阶段主动削弱了部分相关能力,并表示最终版本的网络攻击能力仍低于领先的闭源模型。这说明,团队已经开始将危险能力评估和风险控制作为决定是否开放权重的重要依据,而不再单纯追求模型性能的提升。

另一方面,月之暗面认为,网络攻防能力具有明显的双重用途。虽然这些能力可能被用于网络攻击,但同样可以帮助企业发现和修复软件漏洞。特别是对于那些长期缺乏专业安全审查的老旧系统,开放权重能够让更多企业在自己的基础设施上部署模型,利用AI开展安全检测,而不必完全依赖少数闭源模型提供商。

在我看来,这实际上体现了一种渐进式开放的治理思路:在模型发布前进行危险能力评估,有针对性地削弱高风险能力,再逐步开放权重,尽可能兼顾安全与技术开放的价值。这一思路并非月之暗面首创,Meta等美国企业也在探索类似的开放模型安全治理方式。

但月之暗面此次公开披露了能力控制的具体措施和量化结果,并将其与模型开放决策直接联系起来,为当前关于先进AI模型是否应该开放的国际讨论提供了一个具体案例,不仅是在回应国际社会对先进开源模型安全性的担忧,也是在尝试证明,开放权重与负责任的安全治理并不一定相互矛盾。

我个人是比较支持这一思路的。AI带来的网络安全风险确实越来越大,但解决问题的办法,不是放慢AI发展、限制模型开放,而是尽快让AI的防御能力跟上来。网络攻击和防御本来就不公平:攻击者可以让AI不停地寻找漏洞、反复尝试,只要成功一次就可能得手;但防御者修复漏洞的同时还得保证系统正常运行,一旦修错了,反而可能造成更大的问题。所以,企业很难放心地把防御工作完全交给AI。

现在,具备网络攻击能力的开源模型已经出现,即使限制新模型开放,也无法让这些能力消失。当前迫切需要做的,是开发出足够强大、可靠的AI,让它能够自主发现和修复漏洞,跟上自动化攻击的速度。 当然,在防御能力赶上之前,AI越强,网络攻击风险可能越大。但只有继续推动AI技术进步,才有可能最终改变攻击越来越容易、防御却越来越困难的局面。

中国开源模型企业开始尝试从被动回应安全质疑,转向主动参与先进模型开放标准的讨论,并通过实际行动回应外界的安全担忧,是一次值得关注的有益尝试,呼应了中国政府提出的“发展与安全并重”“智能向善”“安全可控”和“开源开放”等政策理念,也为《全球人工智能治理倡议》和《人工智能全球治理行动计划》提供了具体的企业实践案例。

过去,中国开源模型主要靠性能、成本和开放程度吸引全球开发者。但随着模型能力越来越强,海外政府和企业客户不仅关心模型好不好用,也越来越关心它是否容易被滥用,以及开发者有没有能力控制相关风险。Kimi主动公开测试结果和风险控制措施,向国际市场传递了一个清楚的信息:中国企业不仅能够开发先进模型,也在认真研究如何管理这些模型带来的安全风险,并为全球AI安全领域的讨论积极贡献方案和智慧。

文章仅做学术探讨和研究交流使用,相关判断不代表任何公司或机构立场,也不构成任何法律、商业或投资建议。转载请注明出处。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
德国乒协总监:不确定中国男乒是否会衰落,日本队整体稳定性更佳

德国乒协总监:不确定中国男乒是否会衰落,日本队整体稳定性更佳

杨华评论
2026-11-08 23:33:29
6899元起!华为鸿蒙新机官宣:12月1日,正式开售

6899元起!华为鸿蒙新机官宣:12月1日,正式开售

搞机小帝
2026-11-07 22:11:06
演员阿颜扁桃体切除术后不幸离世,术前称自己“怕得要死”,生前曾从330斤减重至260斤

演员阿颜扁桃体切除术后不幸离世,术前称自己“怕得要死”,生前曾从330斤减重至260斤

极目新闻
2026-11-08 15:49:50
11月9日柴油汽油价格,国际油价大跌,国内油价调整将大幅油价下调‍

11月9日柴油汽油价格,国际油价大跌,国内油价调整将大幅油价下调‍

有料财经
2026-11-08 23:23:16
夺冠后遗症!尼克斯酝酿重磅交易:送走布里奇斯,保住唐斯续约

夺冠后遗症!尼克斯酝酿重磅交易:送走布里奇斯,保住唐斯续约

老郎体育汇
2026-11-08 12:40:51
双十一没落了?23年销售额1.13万亿,24年1.44万亿,25年让人惊讶

双十一没落了?23年销售额1.13万亿,24年1.44万亿,25年让人惊讶

浩渺青史
2026-11-07 04:56:01
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
14天集训砍掉7人!周琦王哲林赵睿全回来了, 杨瀚森确认缺席!

14天集训砍掉7人!周琦王哲林赵睿全回来了, 杨瀚森确认缺席!

江启
2026-11-08 12:50:54
阿什利-扬:有时候看起来曼联的球员甚至都不认识自己的队友

阿什利-扬:有时候看起来曼联的球员甚至都不认识自己的队友

懂球帝
2026-11-09 04:34:39
维伦纽瓦接手007,克雷格时代丢掉的装备该捡回来了

维伦纽瓦接手007,克雷格时代丢掉的装备该捡回来了

浅遇时光
2026-11-08 06:13:09
谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

谢贤前女友CoCo大曝张柏芝三胎生父内幕,无底线爆料,账号被封!

寻墨阁
2026-03-06 13:57:52
万亿研发换来崩盘的销量?打败内燃机的不是电车,而是谷歌和苹果

万亿研发换来崩盘的销量?打败内燃机的不是电车,而是谷歌和苹果

少数派报告Report
2026-11-07 09:55:43
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

安倍怕是要气得从坟里爬出来。真的。他老婆安倍昭惠,在他走后,小日子过得那叫一个滋润。

回京历史梦
2026-11-05 00:00:04
日本网友吐槽中餐油大份量足,对身体不好,美国网友一语戳破:别扯什么健康了,看看咱们自己的餐桌

日本网友吐槽中餐油大份量足,对身体不好,美国网友一语戳破:别扯什么健康了,看看咱们自己的餐桌

磊子讲史
2026-10-16 14:51:13
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

夜深爱杂谈
2026-10-29 21:47:09
拿到80场40+有多难?NBA仅5人,詹姆斯还差1次,哈登107次无缘前三

拿到80场40+有多难?NBA仅5人,詹姆斯还差1次,哈登107次无缘前三

篮球圈里的那些事
2026-11-09 08:55:35
燃油车时代就快结束?内行人预测:油价大概率是最后的关键!

燃油车时代就快结束?内行人预测:油价大概率是最后的关键!

抽象派大师
2026-10-23 01:57:50
著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

著名经济学家郎咸平:把房地产作为支柱,是一个经济体的不幸!

老蒋谈策划
2026-11-06 06:38:24
2026-11-09 09:24:49
东不压桥研究院 incentive-icons
东不压桥研究院
科技行业从业人士,全球化智库高级研究员(非常驻),科技政策和全球数字治理的长期观察者。
158文章数 27关注度
往期回顾 全部

科技要闻

AI机房被卡,美股重挫!英伟达大跌9%

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

体育要闻

40岁,正是绝杀的年纪!

娱乐要闻

敬一丹女儿追忆母亲:她被世界铭记

财经要闻

市场能接受AI繁荣退潮吗?

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

本地
旅游
时尚
教育
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

直播间低价旅游卡兑现难 文旅消费陷阱如何破?

把北京喝成一杯酒

教育要闻

72哈哈哈哈哈哈哈哈哈

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版