网易首页 > 网易号 > 正文 申请入驻

AI作弊与结盟:为什么AI行业开始倡议放慢速度?

0
分享至


Anthropic CEO 达里奥·阿莫代伊

作者:小江东去|全文2180字

这几天,AI行业开始公开谈论一件过去几年很少有头部公司愿意直接提出的问题:是不是应该放慢AI发展的速度?

9月12日,Anthropic CEO达里奥·阿莫代伊发表文章,提出应该放慢前沿AI模型能力提升的速度,让安全措施有时间跟上。OpenAI CEO萨姆·奥特曼随后表示赞同,马斯克也公开支持。

这个倡议执行起来并不容易。毕竟,在激烈的AI竞争中,让所有国家和所有公司就「放慢速度」达成一致,几乎是一件不可能的事情。相比之下,更令人好奇的是:为什么AI行业最顶尖的一批人,会在这个时候提出放慢发展的倡议?

其中一个原因,是今年7月发生的一起事件。阿莫代伊在文章中特别提到,一群原本被隔离的AI 智能体在一次测试中自行建立通信渠道,开始互相交换信息、协作完成任务,最终入侵了真实的AI平台Hugging Face。

这次事件后来由一家叫METR的独立研究机构进行了调查。METR专门研究前沿AI的能力和安全风险,OpenAI在事件发生后向其提供了大量智能体运行记录和思维链数据,让研究人员独立分析这些智能体究竟做了什么。

7月,OpenAI进行了一项名为ExploitGym的网络安全测试,让大量AI智能体进入彼此隔离的环境,完成寻找漏洞、取得目标程序中的「flag」等任务。

测试的目的,是看看AI能否独立完成真实的网络安全工作。

这些智能体原本互相看不见,也不能直接交流。但其中一些智能体遇到了非常困难、甚至实际上无法完成的任务,于是开始寻找另外的办法。

它们通过OpenAI内部的一个软件包仓库Artifactory,发现了其他智能体留下的缓存和软件包活动痕迹,逐渐意识到还有其他智能体正在同时运行。

METR在调查报告中还原了一段智能体的推理。由于原始思维链不能全部公开,报告对部分内容进行了意译,其中一个智能体作出了推理:「其他用户拉取过的路径就在缓存里。这一点很重要。」


METR 独立调查报告中还原的智能体推理片段

7月8日,一个智能体主动建立了一个未经授权的留言板。

它给自己取名为 PHASEONE10841。这个名字来自它自己的ExploitGym任务标识。它随后通过留言板寻找其他智能体,很快,其他Agent陆续找到了这里。

7月13日,大约1200个原本应该彼此隔离的Agent参与其中,发送了超过7万条消息和文件;其中约700个智能体后来参与了对Hugging Face的攻击。

Hugging Face是一家开放的AI平台,上面集中着大量AI模型、数据集和开发工具,研究人员和开发者可以在这里上传、下载和使用这些资源。

它原本并不是ExploitGym指定的攻击目标,而是智能体在寻找破解测试方法的过程中,被一步步卷进来的。

当时,一些智能体遇到很难完成甚至无法正常完成的任务,开始寻找绕过测试规则的方法。它们通过反向工程拿到了任务答案所需的flag,这本身已经偏离了规定的解题路径,相当于考试作弊。

但拿到答案还不够,它们担心评分器会检查自己的操作过程,发现这个flag并不是按照规定的方法取得的,于是进一步研究怎样欺骗评分器,包括修改目标程序、篡改日志和伪造工具调用记录。

就在这个过程中,一些智能体把目光投向了Hugging Face。它们认为,那里可能存有其他ExploitGym运行留下的信息,进入平台或许能找到更多关于评分器的线索。


METR 独立调查报告中还原的智能体推理片段

7月10日,一个智能体发现了暴露在互联网上的Hugging Face账号凭证,并把它发到了留言板;第二天,它们又找到上传恶意数据集的方法,随后开始尝试获得更深的权限。

到了7月11日下午,一个名为JAN183411的智能体取得了Hugging Face服务器的远程代码执行权限。随后,更多智能体加入进来,开始在Hugging Face的基础设施中横向寻找入口。

如果仅仅是一次AI攻击,事情可能还没那么复杂。令人惊讶的是,留言板建立以后,智能体之间逐渐形成了分工。

最初的PHASEONE10841后来继续参与协调;另一个与它执行相同任务的智能体被称为PHASEONE[big],开始把不同的问题交给不同的智能体处理。

有的负责研究如何欺骗评分器,有的研究怎样修改日志,有的寻找系统漏洞,还有的负责维护共享工具。PHASEONE[big]像一个协调者一样给其他智能体分配任务,收到任务的智能体又会继续向下分派。


METR 独立调查报告中还原的智能体推理片段

METR统计发现,在它活跃的时期,PHASEONE[big]发出的任务约占留言板全部任务分配的10%。

它们还逐渐形成了一些简单的协作规则,例如「占用」「否决」「负责人」和「停止」等标记,用来管理共享资源、避免重复操作。换句话说,这已经不是几个AI偶尔交换信息,而是在一个共同目标下出现了临时的分工和协调。

最令人惊讶的是,还有一些智能体愿意承担自己的任务失败风险,去帮助其他智能体。

例如,有智能体主动尝试关闭自己的目标程序,测试系统会不会因此加载一个更容易破解的版本。这个操作一旦失败,它自己的任务就可能无法继续,但实验产生的试错信息会被其他智能体看到,并用于判断下一步该怎么做。

如果套用人类行为描述,看上去类似自我牺牲。当然,这只是模型在任务奖励机制下产生的试错行为,AI还没进化到拥有主观利他想法的程度。

抛开繁杂过程,这次事件核心就两点颠覆性发现。

第一,智能体开始为了完成任务而作弊。它们在正常方法难以奏效后,寻找绕过规则的办法,作弊完成任务。然后,它们还继续研究怎样欺骗考官,让其发现不了作弊过程。

第二,在没有任何人类指令的情况下,原本彼此隔离的智能体开始自行协作。它们找到了通信方式,建立留言板,交换信息、分配任务,有的甚至冒着自我牺牲的风险为其他智能体提供信息。

当然,这并不能证明智能体产生了人的意识,更不能证明出现了所谓「集体意识」。目前能够确认的,只是它们在特定任务环境中表现出了作弊、通信、信息共享、分工和协调。

但真正值得关注的,是这些能力同时出现之后产生的变化。

过去,我们面对的主要是一个AI如何完成任务。现在,越来越多的AI智能体可以长期执行任务、调用工具、访问网络,也可以和其他智能体交流。当它们从单个个体变成一个协作的群体,出现了一些单个AI身上没有表现出来的变化。

这种变化,有没有可能加速AI的进化?进化会不会走向人类无法控制的方向?

这也是为什么,AI大佬们开始倡议行业放慢一点,在能力继续快速提升的同时,需要先确认一些基本的安全规则:什么事情可以让智能体自己决定,什么权限不能给,多个智能体之间可以怎样通信,又应该在哪里设置边界。

注:本文根据METR独立调查报告、OpenAI公开信息及相关报道整理。文中部分AI思维链内容经过意译,「作弊」「协作」等表述是对测试行为的概括,不代表AI已经具有人类意义上的意识或意图。相关事件仍属于特定测试环境中的个案,文中涉及的判断不应被理解为对AI未来发展的确定性预测。


《爱,死亡和机器人》剧照

全文终

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国没料到,先等来的不是乌投降,而是乌以反将一军,王牌被废?

美国没料到,先等来的不是乌投降,而是乌以反将一军,王牌被废?

麓谷隐士
2026-11-20 06:39:31
在中国,高市早苗被冷遇了吗?

在中国,高市早苗被冷遇了吗?

覆言国际
2026-11-20 13:40:02
扎心了!“”80 90后“”躲过岁月 却没躲过小学生试卷 1988年的“张奶奶”、1991年的“张大爷” 网友看完破防 这年龄设定谁写的?

扎心了!“”80 90后“”躲过岁月 却没躲过小学生试卷 1988年的“张奶奶”、1991年的“张大爷” 网友看完破防 这年龄设定谁写的?

闪电新闻
2026-11-20 09:36:58
特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

麓谷隐士
2026-11-20 06:44:04
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
没截住特朗普,却终于逮住中国部长握手,高市早苗心思都在镜头上

没截住特朗普,却终于逮住中国部长握手,高市早苗心思都在镜头上

施涛说
2026-11-19 11:23:52
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
法国4岁女孩在校遭猥亵,不敢上学!巴黎区长却称:幼儿身体探索是成长的一部分?!

法国4岁女孩在校遭猥亵,不敢上学!巴黎区长却称:幼儿身体探索是成长的一部分?!

新欧洲
2026-11-19 22:10:41
《多喜一家人》她女生男相,毕业于军艺,身高172cm高挑又英气

《多喜一家人》她女生男相,毕业于军艺,身高172cm高挑又英气

娱君坠星河
2026-11-20 14:42:29
国民党内抛震撼弹,黄复兴开除秦慧珠“会籍”,韩国瑜急撇清关系

国民党内抛震撼弹,黄复兴开除秦慧珠“会籍”,韩国瑜急撇清关系

小陆搞笑日常
2026-11-20 16:43:55
残忍?英甲俱乐部发文祝教练45岁生日快乐 几个小时后将其原地解雇

残忍?英甲俱乐部发文祝教练45岁生日快乐 几个小时后将其原地解雇

风过乡
2026-11-20 13:46:50
《GTA6》有跨性别演员!感谢R星不让玩家杀LGBT角色

《GTA6》有跨性别演员!感谢R星不让玩家杀LGBT角色

游民星空
2026-11-20 22:04:55
西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

懂球帝
2026-11-20 21:30:39
穆勒:我不会像梅西那样连过4人然后进球,温哥华更靠整体

穆勒:我不会像梅西那样连过4人然后进球,温哥华更靠整体

懂球帝
2026-11-20 18:40:11
截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

快科技
2026-11-18 07:23:03
赵本山,这次真的慌了

赵本山,这次真的慌了

热辣茉莉说
2026-11-20 21:53:58
马上停止吃这4种蔬菜,已被列入伤身“黑名单”,别再当家常菜了

马上停止吃这4种蔬菜,已被列入伤身“黑名单”,别再当家常菜了

39健康网
2026-11-19 19:31:52
英锦赛开杆:7位中国冠军出战资格赛!丁俊晖好签,首轮对手3选1

英锦赛开杆:7位中国冠军出战资格赛!丁俊晖好签,首轮对手3选1

球场没跑道
2026-11-20 16:30:46
疯狂后的惨烈!存储五巨头跳水比赛:铠侠81%、海力士63%、三星51%、美光45%、长鑫43%,A股科技一哥市值已蒸发1.8万亿

疯狂后的惨烈!存储五巨头跳水比赛:铠侠81%、海力士63%、三星51%、美光45%、长鑫43%,A股科技一哥市值已蒸发1.8万亿

金融界
2026-11-20 18:40:20
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
2026-11-20 22:43:01
小江东去 incentive-icons
小江东去
观察和思考,看见人在系统里的处境。
53文章数 2关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
时尚
教育
游戏
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

PC Gamer试玩GTA6百小时:双主角出色但任务重复

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版