![]()
Anthropic CEO 达里奥·阿莫代伊
作者:小江东去|全文2180字
这几天,AI行业开始公开谈论一件过去几年很少有头部公司愿意直接提出的问题:是不是应该放慢AI发展的速度?
9月12日,Anthropic CEO达里奥·阿莫代伊发表文章,提出应该放慢前沿AI模型能力提升的速度,让安全措施有时间跟上。OpenAI CEO萨姆·奥特曼随后表示赞同,马斯克也公开支持。
这个倡议执行起来并不容易。毕竟,在激烈的AI竞争中,让所有国家和所有公司就「放慢速度」达成一致,几乎是一件不可能的事情。相比之下,更令人好奇的是:为什么AI行业最顶尖的一批人,会在这个时候提出放慢发展的倡议?
其中一个原因,是今年7月发生的一起事件。阿莫代伊在文章中特别提到,一群原本被隔离的AI 智能体在一次测试中自行建立通信渠道,开始互相交换信息、协作完成任务,最终入侵了真实的AI平台Hugging Face。
这次事件后来由一家叫METR的独立研究机构进行了调查。METR专门研究前沿AI的能力和安全风险,OpenAI在事件发生后向其提供了大量智能体运行记录和思维链数据,让研究人员独立分析这些智能体究竟做了什么。
7月,OpenAI进行了一项名为ExploitGym的网络安全测试,让大量AI智能体进入彼此隔离的环境,完成寻找漏洞、取得目标程序中的「flag」等任务。
测试的目的,是看看AI能否独立完成真实的网络安全工作。
这些智能体原本互相看不见,也不能直接交流。但其中一些智能体遇到了非常困难、甚至实际上无法完成的任务,于是开始寻找另外的办法。
它们通过OpenAI内部的一个软件包仓库Artifactory,发现了其他智能体留下的缓存和软件包活动痕迹,逐渐意识到还有其他智能体正在同时运行。
METR在调查报告中还原了一段智能体的推理。由于原始思维链不能全部公开,报告对部分内容进行了意译,其中一个智能体作出了推理:「其他用户拉取过的路径就在缓存里。这一点很重要。」
![]()
METR 独立调查报告中还原的智能体推理片段
7月8日,一个智能体主动建立了一个未经授权的留言板。
它给自己取名为 PHASEONE10841。这个名字来自它自己的ExploitGym任务标识。它随后通过留言板寻找其他智能体,很快,其他Agent陆续找到了这里。
7月13日,大约1200个原本应该彼此隔离的Agent参与其中,发送了超过7万条消息和文件;其中约700个智能体后来参与了对Hugging Face的攻击。
Hugging Face是一家开放的AI平台,上面集中着大量AI模型、数据集和开发工具,研究人员和开发者可以在这里上传、下载和使用这些资源。
它原本并不是ExploitGym指定的攻击目标,而是智能体在寻找破解测试方法的过程中,被一步步卷进来的。
当时,一些智能体遇到很难完成甚至无法正常完成的任务,开始寻找绕过测试规则的方法。它们通过反向工程拿到了任务答案所需的flag,这本身已经偏离了规定的解题路径,相当于考试作弊。
但拿到答案还不够,它们担心评分器会检查自己的操作过程,发现这个flag并不是按照规定的方法取得的,于是进一步研究怎样欺骗评分器,包括修改目标程序、篡改日志和伪造工具调用记录。
就在这个过程中,一些智能体把目光投向了Hugging Face。它们认为,那里可能存有其他ExploitGym运行留下的信息,进入平台或许能找到更多关于评分器的线索。
![]()
METR 独立调查报告中还原的智能体推理片段
7月10日,一个智能体发现了暴露在互联网上的Hugging Face账号凭证,并把它发到了留言板;第二天,它们又找到上传恶意数据集的方法,随后开始尝试获得更深的权限。
到了7月11日下午,一个名为JAN183411的智能体取得了Hugging Face服务器的远程代码执行权限。随后,更多智能体加入进来,开始在Hugging Face的基础设施中横向寻找入口。
如果仅仅是一次AI攻击,事情可能还没那么复杂。令人惊讶的是,留言板建立以后,智能体之间逐渐形成了分工。
最初的PHASEONE10841后来继续参与协调;另一个与它执行相同任务的智能体被称为PHASEONE[big],开始把不同的问题交给不同的智能体处理。
有的负责研究如何欺骗评分器,有的研究怎样修改日志,有的寻找系统漏洞,还有的负责维护共享工具。PHASEONE[big]像一个协调者一样给其他智能体分配任务,收到任务的智能体又会继续向下分派。
![]()
METR 独立调查报告中还原的智能体推理片段
METR统计发现,在它活跃的时期,PHASEONE[big]发出的任务约占留言板全部任务分配的10%。
它们还逐渐形成了一些简单的协作规则,例如「占用」「否决」「负责人」和「停止」等标记,用来管理共享资源、避免重复操作。换句话说,这已经不是几个AI偶尔交换信息,而是在一个共同目标下出现了临时的分工和协调。
最令人惊讶的是,还有一些智能体愿意承担自己的任务失败风险,去帮助其他智能体。
例如,有智能体主动尝试关闭自己的目标程序,测试系统会不会因此加载一个更容易破解的版本。这个操作一旦失败,它自己的任务就可能无法继续,但实验产生的试错信息会被其他智能体看到,并用于判断下一步该怎么做。
如果套用人类行为描述,看上去类似自我牺牲。当然,这只是模型在任务奖励机制下产生的试错行为,AI还没进化到拥有主观利他想法的程度。
抛开繁杂过程,这次事件核心就两点颠覆性发现。
第一,智能体开始为了完成任务而作弊。它们在正常方法难以奏效后,寻找绕过规则的办法,作弊完成任务。然后,它们还继续研究怎样欺骗考官,让其发现不了作弊过程。
第二,在没有任何人类指令的情况下,原本彼此隔离的智能体开始自行协作。它们找到了通信方式,建立留言板,交换信息、分配任务,有的甚至冒着自我牺牲的风险为其他智能体提供信息。
当然,这并不能证明智能体产生了人的意识,更不能证明出现了所谓「集体意识」。目前能够确认的,只是它们在特定任务环境中表现出了作弊、通信、信息共享、分工和协调。
但真正值得关注的,是这些能力同时出现之后产生的变化。
过去,我们面对的主要是一个AI如何完成任务。现在,越来越多的AI智能体可以长期执行任务、调用工具、访问网络,也可以和其他智能体交流。当它们从单个个体变成一个协作的群体,出现了一些单个AI身上没有表现出来的变化。
这种变化,有没有可能加速AI的进化?进化会不会走向人类无法控制的方向?
这也是为什么,AI大佬们开始倡议行业放慢一点,在能力继续快速提升的同时,需要先确认一些基本的安全规则:什么事情可以让智能体自己决定,什么权限不能给,多个智能体之间可以怎样通信,又应该在哪里设置边界。
注:本文根据METR独立调查报告、OpenAI公开信息及相关报道整理。文中部分AI思维链内容经过意译,「作弊」「协作」等表述是对测试行为的概括,不代表AI已经具有人类意义上的意识或意图。相关事件仍属于特定测试环境中的个案,文中涉及的判断不应被理解为对AI未来发展的确定性预测。
![]()
《爱,死亡和机器人》剧照
全文终
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.