网易首页 > 网易号 > 正文 申请入驻

如何安全地开放AI?中国模型开始给出答案

0
分享至

10月23日,月之暗面发布Kimi K3.1 Pro。除了模型能力的提升,这次发布还有一个值得关注的细节:其研究团队在提升模型整体能力的同时,主动削弱了其中可能被用于网络攻击的部分能力。

和单纯在模型训练完成后增加安全防护不同,月之暗面选择从训练过程入手,在中期训练和强化学习阶段有针对性地移除网络攻防相关数据,同时保留正常编程所需的训练内容。这种做法的一个重要考虑是,开放权重模型发布后,其他开发者可以通过修改模型来绕过或移除部分安全防护,也就是所谓的“安全消融”。相比依赖容易被绕过的安全限制,直接在训练阶段控制危险能力,有望降低模型被滥用的风险。

根据月之暗面公布的内部测试,如果不清理相关数据,模型在漏洞利用测试中的成绩可以达到90.5%;经过针对性调整后,最终版本的成绩降至81.0%。

开源模型的权重一旦公开,外部开发者就可以下载模型,在自己的服务器上运行和修改,开发模型的公司也就很难再控制模型的具体用途。这是国际社会对开源模型安全风险的一个普遍担忧,也是美国方面对中国开源模型安全性的核心指控之一。

根据Kimi的发布,K3.1 Pro在编程、工具使用和复杂任务处理方面取得了明显进步,新模型在编程测试中得分65.7%,高于GPT-6 Astra的58.2%;3D建模测试得分92.7%,接近顶尖闭源模型。根据第三方评测机构Artificial Analysis的结果,新模型在综合智能指数中获得55分,比上一代提高11分,在当时的榜单中排名第四。如果按计划开放权重,它将成为该指数中得分最高的开放权重模型。

今年7月,英国人工智能安全研究所(AISI)与美国人工智能标准与创新中心(CAISI)联合评估了上一代Kimi K3的网络安全能力。测试发现,模型已经能够在受控环境中自主完成部分网络攻击任务,而且原有的安全防护未能有效阻止其尝试利用软件漏洞。

当模型越来越强,甚至具备较强的网络攻击能力时,应该如何控制风险,又如何判断一个模型是否仍然适合开放?月之暗面这次没有回避这个问题,而是主动解释了K3.1 Pro的网络攻击能力从哪里来,以及团队采取了哪些措施来控制这些能力。

该公司的研发团队发现,模型的漏洞研究能力之所以不断增强,不仅是因为通用编程能力提高,还因为训练数据和强化学习任务中包含了不少网络攻防相关内容。因此,在准备开放K3.1 Pro权重之前,团队专门从中期训练和强化学习两个阶段移除了相关数据,同时保留了正常编程所需要的训练内容。

这一调整产生了可以量化的效果。根据该公司公布的内部测试,如果不清理这些数据,模型能够完成90.5%的漏洞利用任务;清理之后,最终版本的成绩降至81.0%。也就是说,团队主动牺牲了一部分网络攻击能力,希望降低模型被滥用的风险。

但即使专门削弱了网络攻击能力,K3.1 Pro在漏洞研究方面仍然比上一代明显更强,也印证了随着模型通用编程、复杂推理和长时间调试能力的提高,网络攻击能力也可能跟着增强。

尽管模型已经具备较强的网络攻防能力,月之暗面团队仍然决定继续开放权重,同时提出了两个重要考虑。

一方面,月之暗面不希望将网络攻击能力处于全球最前沿的模型直接开放,因此在训练阶段主动削弱了部分相关能力,并表示最终版本的网络攻击能力仍低于领先的闭源模型。这说明,团队已经开始将危险能力评估和风险控制作为决定是否开放权重的重要依据,而不再单纯追求模型性能的提升。

另一方面,月之暗面认为,网络攻防能力具有明显的双重用途。虽然这些能力可能被用于网络攻击,但同样可以帮助企业发现和修复软件漏洞。特别是对于那些长期缺乏专业安全审查的老旧系统,开放权重能够让更多企业在自己的基础设施上部署模型,利用AI开展安全检测,而不必完全依赖少数闭源模型提供商。

在我看来,这实际上体现了一种渐进式开放的治理思路:在模型发布前进行危险能力评估,有针对性地削弱高风险能力,再逐步开放权重,尽可能兼顾安全与技术开放的价值。这一思路并非月之暗面首创,Meta等美国企业也在探索类似的开放模型安全治理方式。

但月之暗面此次公开披露了能力控制的具体措施和量化结果,并将其与模型开放决策直接联系起来,为当前关于先进AI模型是否应该开放的国际讨论提供了一个具体案例,不仅是在回应国际社会对先进开源模型安全性的担忧,也是在尝试证明,开放权重与负责任的安全治理并不一定相互矛盾。

我个人是比较支持这一思路的。AI带来的网络安全风险确实越来越大,但解决问题的办法,不是放慢AI发展、限制模型开放,而是尽快让AI的防御能力跟上来。网络攻击和防御本来就不公平:攻击者可以让AI不停地寻找漏洞、反复尝试,只要成功一次就可能得手;但防御者修复漏洞的同时还得保证系统正常运行,一旦修错了,反而可能造成更大的问题。所以,企业很难放心地把防御工作完全交给AI。

现在,具备网络攻击能力的开源模型已经出现,即使限制新模型开放,也无法让这些能力消失。当前迫切需要做的,是开发出足够强大、可靠的AI,让它能够自主发现和修复漏洞,跟上自动化攻击的速度。 当然,在防御能力赶上之前,AI越强,网络攻击风险可能越大。但只有继续推动AI技术进步,才有可能最终改变攻击越来越容易、防御却越来越困难的局面。

中国开源模型企业开始尝试从被动回应安全质疑,转向主动参与先进模型开放标准的讨论,并通过实际行动回应外界的安全担忧,是一次值得关注的有益尝试,呼应了中国政府提出的“发展与安全并重”“智能向善”“安全可控”和“开源开放”等政策理念,也为《全球人工智能治理倡议》和《人工智能全球治理行动计划》提供了具体的企业实践案例。

过去,中国开源模型主要靠性能、成本和开放程度吸引全球开发者。但随着模型能力越来越强,海外政府和企业客户不仅关心模型好不好用,也越来越关心它是否容易被滥用,以及开发者有没有能力控制相关风险。Kimi主动公开测试结果和风险控制措施,向国际市场传递了一个清楚的信息:中国企业不仅能够开发先进模型,也在认真研究如何管理这些模型带来的安全风险,并为全球AI安全领域的讨论积极贡献方案和智慧。

文章仅做学术探讨和研究交流使用,相关判断不代表任何公司或机构立场,也不构成任何法律、商业或投资建议。转载请注明出处。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
反转,泰山队两大核心主力选择留队,老将妥协,降薪选择续约

反转,泰山队两大核心主力选择留队,老将妥协,降薪选择续约

体坛风之子
2026-11-09 07:00:40
穆帅回归,帮助皇马找回秘诀:如今皇马把艰难客场踢得轻松写意

穆帅回归,帮助皇马找回秘诀:如今皇马把艰难客场踢得轻松写意

福酱的小时光
2026-11-09 08:15:34
杨幂12岁女儿已去英国留学,住寄宿学校,杨幂负责大部分开支!

杨幂12岁女儿已去英国留学,住寄宿学校,杨幂负责大部分开支!

玖宇维
2026-11-08 16:33:50
1992年泰森服刑期间和女狱警发展私情,不久女方意外怀孕,泰森托狱外朋友带她去堕胎,高墙深处藏着怎样的权色迷局?

1992年泰森服刑期间和女狱警发展私情,不久女方意外怀孕,泰森托狱外朋友带她去堕胎,高墙深处藏着怎样的权色迷局?

磊子讲史
2026-10-29 18:02:22
1991年江青最终为何选择自杀?除了绝望之外,还有哪些因素把她推上了这条路?

1991年江青最终为何选择自杀?除了绝望之外,还有哪些因素把她推上了这条路?

人生录
2026-11-09 00:05:33
山东人当年“闯关东”,为何宁愿去严寒的东北,也不去富饶的南方

山东人当年“闯关东”,为何宁愿去严寒的东北,也不去富饶的南方

文史道
2025-03-03 13:00:30
绝平也没用!曼联跌入降级区!红魔名宿怒喷卡里克

绝平也没用!曼联跌入降级区!红魔名宿怒喷卡里克

奶盖熊本熊
2026-11-09 09:03:32
蓉城球迷意难平!不止因为2-3惜败泰山丢冠,更多在于以下这5点!

蓉城球迷意难平!不止因为2-3惜败泰山丢冠,更多在于以下这5点!

田先生篮球
2026-11-08 19:00:51
男孩迷上做花圈、棺材等特殊手工,还自己配合“出殡”等表演;妈妈称孩子从4岁自学,谈不上支持但尊重,网友:千万别打,一哭更像

男孩迷上做花圈、棺材等特殊手工,还自己配合“出殡”等表演;妈妈称孩子从4岁自学,谈不上支持但尊重,网友:千万别打,一哭更像

都市快报橙柿互动
2026-11-08 14:09:44
中国国企出现罕见全球倒挂

中国国企出现罕见全球倒挂

边际财经实验室
2026-11-08 10:27:16
俄军FAB-3000巨型航弹,炸碎体育场地下掩体,乌克兰55人死亡,50多人下落不明!

俄军FAB-3000巨型航弹,炸碎体育场地下掩体,乌克兰55人死亡,50多人下落不明!

吃瓜小侦探
2026-11-08 19:09:58
英超积分榜:阿森纳5分领跑,利物浦升至第4,曼联第18

英超积分榜:阿森纳5分领跑,利物浦升至第4,曼联第18

懂球帝
2026-11-09 06:09:13
吃相难看!延安大学副教授自尽愈演愈烈,荒谬事发生,还不止一件

吃相难看!延安大学副教授自尽愈演愈烈,荒谬事发生,还不止一件

社会日日鲜
2026-11-06 07:04:14
演员黄渤自曝今年几乎没戏拍

演员黄渤自曝今年几乎没戏拍

韩小娱
2026-11-06 11:20:31
太震撼了!浙师大招聘会现场人山人海,海量师范生扎堆求职,生源下滑编制收紧,师范就业内卷现状引热议

太震撼了!浙师大招聘会现场人山人海,海量师范生扎堆求职,生源下滑编制收紧,师范就业内卷现状引热议

火山詩话
2026-11-08 09:06:37
小沈阳深夜发文告别!

小沈阳深夜发文告别!

阿废冷眼观察所
2026-11-08 10:56:47
李国旭躲啤酒滑倒,两大队长太圆满了!唐田没吹牛,山东没掉链子

李国旭躲啤酒滑倒,两大队长太圆满了!唐田没吹牛,山东没掉链子

刀锋体育
2026-11-08 20:37:36
售价2499元,戴上就能“推不倒”,防摔智能指环多平台已下架;被质疑“江湖骗术层出不穷”

售价2499元,戴上就能“推不倒”,防摔智能指环多平台已下架;被质疑“江湖骗术层出不穷”

北青网-北京青年报
2026-11-08 14:18:02
"你敢把手术刀,交给这种人吗?"李子祺的第一学历被扒:393分的民办三本

"你敢把手术刀,交给这种人吗?"李子祺的第一学历被扒:393分的民办三本

磊子讲史
2026-11-04 17:55:44
发现一个很准的规律:只要儿子儿媳长期和父母同住一处,最后都会变得像"仇人"

发现一个很准的规律:只要儿子儿媳长期和父母同住一处,最后都会变得像"仇人"

小书虫妈妈
2026-11-08 12:13:59
2026-11-09 09:16:49
东不压桥研究院 incentive-icons
东不压桥研究院
科技行业从业人士,全球化智库高级研究员(非常驻),科技政策和全球数字治理的长期观察者。
158文章数 27关注度
往期回顾 全部

科技要闻

AI机房被卡,美股重挫!英伟达大跌9%

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

头条要闻

丈夫凌晨4点和陌生女子通话 妻子赌气与异性开房3天

体育要闻

40岁,正是绝杀的年纪!

娱乐要闻

敬一丹女儿追忆母亲:她被世界铭记

财经要闻

市场能接受AI繁荣退潮吗?

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

家居
游戏
数码
亲子
本地

家居要闻

2026建博会(广州) 公装联探展交流活动

《暗喻幻想》官宣要有新消息!玩家:苦等两年的DLC?

数码要闻

雷柏推出VT2 RT V2系列鼠标:PAW3955 Ultimate,499元起

亲子要闻

潮州月子中心护理人员持证率是多少?

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版