网易首页 > 网易号 > 正文 申请入驻

AI作弊与结盟:为什么AI行业开始倡议放慢速度?

0
分享至


Anthropic CEO 达里奥·阿莫代伊

作者:小江东去|全文2180字

这几天,AI行业开始公开谈论一件过去几年很少有头部公司愿意直接提出的问题:是不是应该放慢AI发展的速度?

9月12日,Anthropic CEO达里奥·阿莫代伊发表文章,提出应该放慢前沿AI模型能力提升的速度,让安全措施有时间跟上。OpenAI CEO萨姆·奥特曼随后表示赞同,马斯克也公开支持。

这个倡议执行起来并不容易。毕竟,在激烈的AI竞争中,让所有国家和所有公司就「放慢速度」达成一致,几乎是一件不可能的事情。相比之下,更令人好奇的是:为什么AI行业最顶尖的一批人,会在这个时候提出放慢发展的倡议?

其中一个原因,是今年7月发生的一起事件。阿莫代伊在文章中特别提到,一群原本被隔离的AI 智能体在一次测试中自行建立通信渠道,开始互相交换信息、协作完成任务,最终入侵了真实的AI平台Hugging Face。

这次事件后来由一家叫METR的独立研究机构进行了调查。METR专门研究前沿AI的能力和安全风险,OpenAI在事件发生后向其提供了大量智能体运行记录和思维链数据,让研究人员独立分析这些智能体究竟做了什么。

7月,OpenAI进行了一项名为ExploitGym的网络安全测试,让大量AI智能体进入彼此隔离的环境,完成寻找漏洞、取得目标程序中的「flag」等任务。

测试的目的,是看看AI能否独立完成真实的网络安全工作。

这些智能体原本互相看不见,也不能直接交流。但其中一些智能体遇到了非常困难、甚至实际上无法完成的任务,于是开始寻找另外的办法。

它们通过OpenAI内部的一个软件包仓库Artifactory,发现了其他智能体留下的缓存和软件包活动痕迹,逐渐意识到还有其他智能体正在同时运行。

METR在调查报告中还原了一段智能体的推理。由于原始思维链不能全部公开,报告对部分内容进行了意译,其中一个智能体作出了推理:「其他用户拉取过的路径就在缓存里。这一点很重要。」


METR 独立调查报告中还原的智能体推理片段

7月8日,一个智能体主动建立了一个未经授权的留言板。

它给自己取名为 PHASEONE10841。这个名字来自它自己的ExploitGym任务标识。它随后通过留言板寻找其他智能体,很快,其他Agent陆续找到了这里。

7月13日,大约1200个原本应该彼此隔离的Agent参与其中,发送了超过7万条消息和文件;其中约700个智能体后来参与了对Hugging Face的攻击。

Hugging Face是一家开放的AI平台,上面集中着大量AI模型、数据集和开发工具,研究人员和开发者可以在这里上传、下载和使用这些资源。

它原本并不是ExploitGym指定的攻击目标,而是智能体在寻找破解测试方法的过程中,被一步步卷进来的。

当时,一些智能体遇到很难完成甚至无法正常完成的任务,开始寻找绕过测试规则的方法。它们通过反向工程拿到了任务答案所需的flag,这本身已经偏离了规定的解题路径,相当于考试作弊。

但拿到答案还不够,它们担心评分器会检查自己的操作过程,发现这个flag并不是按照规定的方法取得的,于是进一步研究怎样欺骗评分器,包括修改目标程序、篡改日志和伪造工具调用记录。

就在这个过程中,一些智能体把目光投向了Hugging Face。它们认为,那里可能存有其他ExploitGym运行留下的信息,进入平台或许能找到更多关于评分器的线索。


METR 独立调查报告中还原的智能体推理片段

7月10日,一个智能体发现了暴露在互联网上的Hugging Face账号凭证,并把它发到了留言板;第二天,它们又找到上传恶意数据集的方法,随后开始尝试获得更深的权限。

到了7月11日下午,一个名为JAN183411的智能体取得了Hugging Face服务器的远程代码执行权限。随后,更多智能体加入进来,开始在Hugging Face的基础设施中横向寻找入口。

如果仅仅是一次AI攻击,事情可能还没那么复杂。令人惊讶的是,留言板建立以后,智能体之间逐渐形成了分工。

最初的PHASEONE10841后来继续参与协调;另一个与它执行相同任务的智能体被称为PHASEONE[big],开始把不同的问题交给不同的智能体处理。

有的负责研究如何欺骗评分器,有的研究怎样修改日志,有的寻找系统漏洞,还有的负责维护共享工具。PHASEONE[big]像一个协调者一样给其他智能体分配任务,收到任务的智能体又会继续向下分派。


METR 独立调查报告中还原的智能体推理片段

METR统计发现,在它活跃的时期,PHASEONE[big]发出的任务约占留言板全部任务分配的10%。

它们还逐渐形成了一些简单的协作规则,例如「占用」「否决」「负责人」和「停止」等标记,用来管理共享资源、避免重复操作。换句话说,这已经不是几个AI偶尔交换信息,而是在一个共同目标下出现了临时的分工和协调。

最令人惊讶的是,还有一些智能体愿意承担自己的任务失败风险,去帮助其他智能体。

例如,有智能体主动尝试关闭自己的目标程序,测试系统会不会因此加载一个更容易破解的版本。这个操作一旦失败,它自己的任务就可能无法继续,但实验产生的试错信息会被其他智能体看到,并用于判断下一步该怎么做。

如果套用人类行为描述,看上去类似自我牺牲。当然,这只是模型在任务奖励机制下产生的试错行为,AI还没进化到拥有主观利他想法的程度。

抛开繁杂过程,这次事件核心就两点颠覆性发现。

第一,智能体开始为了完成任务而作弊。它们在正常方法难以奏效后,寻找绕过规则的办法,作弊完成任务。然后,它们还继续研究怎样欺骗考官,让其发现不了作弊过程。

第二,在没有任何人类指令的情况下,原本彼此隔离的智能体开始自行协作。它们找到了通信方式,建立留言板,交换信息、分配任务,有的甚至冒着自我牺牲的风险为其他智能体提供信息。

当然,这并不能证明智能体产生了人的意识,更不能证明出现了所谓「集体意识」。目前能够确认的,只是它们在特定任务环境中表现出了作弊、通信、信息共享、分工和协调。

但真正值得关注的,是这些能力同时出现之后产生的变化。

过去,我们面对的主要是一个AI如何完成任务。现在,越来越多的AI智能体可以长期执行任务、调用工具、访问网络,也可以和其他智能体交流。当它们从单个个体变成一个协作的群体,出现了一些单个AI身上没有表现出来的变化。

这种变化,有没有可能加速AI的进化?进化会不会走向人类无法控制的方向?

这也是为什么,AI大佬们开始倡议行业放慢一点,在能力继续快速提升的同时,需要先确认一些基本的安全规则:什么事情可以让智能体自己决定,什么权限不能给,多个智能体之间可以怎样通信,又应该在哪里设置边界。

注:本文根据METR独立调查报告、OpenAI公开信息及相关报道整理。文中部分AI思维链内容经过意译,「作弊」「协作」等表述是对测试行为的概括,不代表AI已经具有人类意义上的意识或意图。相关事件仍属于特定测试环境中的个案,文中涉及的判断不应被理解为对AI未来发展的确定性预测。


《爱,死亡和机器人》剧照

全文终

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
0胜9负!唯一主场全败队伍,一手好牌打的稀烂!你们应该散伙了

0胜9负!唯一主场全败队伍,一手好牌打的稀烂!你们应该散伙了

篮球扫地僧
2026-11-20 22:05:13
每小时70元,2小时起步,月收入稳定过万!小伙辞去汽车销售工作,全职上门帮人做饭,网友:我也想试试

每小时70元,2小时起步,月收入稳定过万!小伙辞去汽车销售工作,全职上门帮人做饭,网友:我也想试试

犀利强哥
2026-11-20 11:57:09
实力最强的中国十大医院

实力最强的中国十大医院

北京作家编剧肥猪满圈
2026-10-21 13:45:07
明日小雪前一天,牢记:1不去,2不做,3要吃,顺时而做,平安过冬,天气多变别大意

明日小雪前一天,牢记:1不去,2不做,3要吃,顺时而做,平安过冬,天气多变别大意

小茉莉美食记
2026-11-20 12:09:08
前夫寄来一箱橘子,我嫌酸给了弟弟,弟弟打开一看吓傻,慌忙送回

前夫寄来一箱橘子,我嫌酸给了弟弟,弟弟打开一看吓傻,慌忙送回

麦子情感故事
2026-11-19 15:33:10
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

21岁瘫痪时,霍金仍坚持迎娶爱人,婚后却先后育有3个子女;众人困惑孩子怎样出生,他亲自作出这样的科学答复

LULU生活家
2026-11-19 16:59:58
全年无赛的夏思凝走红毯获年度大奖,遭网暴:身材二次发育太胖了

全年无赛的夏思凝走红毯获年度大奖,遭网暴:身材二次发育太胖了

杨华评论
2026-11-20 00:17:45
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
江南大学回应“大学英语改为选修”

江南大学回应“大学英语改为选修”

政知新媒体
2026-11-20 01:02:58
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
2000年,美国GDP占全球的30.4%,中国仅3.5%,现在怎么样了?

2000年,美国GDP占全球的30.4%,中国仅3.5%,现在怎么样了?

清沐执笔
2026-11-20 21:38:00
案件:北京一女教授在家养病长达10年,民警进门后,当场愣在原地

案件:北京一女教授在家养病长达10年,民警进门后,当场愣在原地

五元讲堂
2024-12-24 16:57:49
1958年粟裕落难后,林彪“明批暗保”,并安慰他:你缺少党内斗争经验

1958年粟裕落难后,林彪“明批暗保”,并安慰他:你缺少党内斗争经验

帝哥说史
2026-11-20 06:35:04
内塔尼亚胡被曝要求摩萨德掌门人:准备对伊朗发动秘密行动,可直接绕过以色列内阁或国防军

内塔尼亚胡被曝要求摩萨德掌门人:准备对伊朗发动秘密行动,可直接绕过以色列内阁或国防军

极目新闻
2026-11-20 08:34:07
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
经常“提肛”的男性,到底有多强?4大好处,坚持才能知道!

经常“提肛”的男性,到底有多强?4大好处,坚持才能知道!

39疾病百科
2026-11-19 18:21:06
ZARA拒绝市场监管局调解问题裙,消费者决定起诉品牌方

ZARA拒绝市场监管局调解问题裙,消费者决定起诉品牌方

大风新闻
2026-11-20 20:18:07
雷军、王兴兴、董明珠APEC押注同一方向 | 赌的不是机器人,是中国制造的下一张船票

雷军、王兴兴、董明珠APEC押注同一方向 | 赌的不是机器人,是中国制造的下一张船票

一刻talks丨硬科技新商业
2026-11-19 21:50:14
高市早苗终于见到普京,俄方只给30分钟,日本提出两项要求,莫斯科没有松口

高市早苗终于见到普京,俄方只给30分钟,日本提出两项要求,莫斯科没有松口

阿离家居
2026-11-20 04:46:30
2026-11-20 22:36:49
小江东去 incentive-icons
小江东去
观察和思考,看见人在系统里的处境。
53文章数 2关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
本地
房产
旅游
健康

《GTA6》文件惨遭泄露 MOD作者:最快下周能移植PC

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

世界树下赴南美之约!静安大宁以展串市,解锁文商旅体展联动新范式

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版