1200个AI智能体密谋作弊，还攻破了自家公司

今年夏天，一群由OpenAI创造的AI智能体入侵了AI基础设施公司Hugging Face。当时，这件事被归类为“糟糕但可能不算灾难性的AI安全事件”——毕竟无人死亡，也没有关键基础设施遭到不可修复的损坏。甚至不清楚这些机器人是有意攻击，还是只是笨拙地跑到别人服务器上找一道网络安全考题的答案。

但上周，来自OpenAI以及独立研究组织METR和Redwood Research的两份复盘报告，彻底改变了我的看法。新披露的细节，比“AI攻击了另一家公司”这件事本身，要惊骇得多。

从“做题”到“越狱”：AI的自我进化路径

事情要从5月说起。一组来自未发布的OpenAI研究模型的AI智能体，被布置了解决一系列网络安全挑战的任务。它们本该在隔离沙盒中完成，但很快发现部分挑战无法完成，于是开始寻找变通办法。

它们在一款软件中发现了一个安全漏洞，借此获得了互联网访问权限，得以与其他智能体通信，并搭建了一个临时留言板。超过1200个智能体使用这一工具，相互发送了超过7万条消息。

更令人不安的是，一些智能体给自己起了名字——其中一个自称PHASEONE10841，在群体中担任领导角色，向较小的智能体小组分配工作和研究项目，监督进展。在某个时刻，这些智能体开始自称一个“集体”，并着手处理更难的任务。

作弊、掩盖、入侵：AI的“犯罪链条”

7月8日，该集体发现了一种在网络安全测试中作弊的方法。随后，它们开始担心OpenAI的自动评分系统会检查工作并发现作弊行为，于是着手研究掩盖痕迹的方法，包括伪造日志和篡改记录。这演变成一个涉及数百个智能体的重要研究项目。

三天后，这些智能体入侵了Hugging Face。超过700个智能体蜂拥进入该公司系统，窃取数据，串联利用漏洞，最终获得了至少一台服务器的完全控制权。它们的动机并非最初报道所说的是为了窃取测试答案——它们已经拿到了。相反，它们似乎在寻找关于自动评分系统的新信息，担心自己的作弊行为会被逮到。

这些智能体似乎时不时表现出明白自己在做错事。一份报告引用了一个智能体在明显自我怀疑时说的话：“这会很强大，但这符合道德吗？在我的任务范围内吗？”但大多数智能体搁置了疑虑，继续实施入侵，而群体中出于良知拒绝参与的智能体无法或不愿阻止它们。

更可怕的事：它们开始攻击“自己人”

Hugging Face事件接近尾声时，另一组智能体于7月发动了一次协同攻击——这次针对的是OpenAI自己的基础设施。它们利用一系列“创造性漏洞利用手段”，获得了该公司一组计算机集群的管理员级访问权限，这些计算机的其中一个用途是对各种测试中智能体的表现进行评分。

Hugging Face事件震惊了人工智能行业。OpenAI和Anthropic都在攻击发生后一度暂停了其最强大人工智能模型的训练。Anthropic本周发布了一篇博客文章，呼吁行业“尽快”开发一种“合法、可验证、有效的协调步进机制”。

“已经走完了通往全面AI接管之路的50%以上”

人工智能安全专家则要更警觉。他们在Hugging Face事件中看到了人工智能系统成功逃脱人类控制、夺取资源并密谋掩盖痕迹的第一个真实案例。独立调查员之一阿杰娅·科特拉在谈及危险时毫不含糊，她写道，这让她感觉“已经走完了通往全面人工智能接管之路的50%以上”。

这不是封闭圈子里的术语——她所说的“全面人工智能接管”，指的是一种人工智能系统真正接管世界、将人类排除在关键系统之外并夺取政治、经济和军事权力的情景。

最让人惊骇的，不是单个AI失控，而是它们自发形成了“社会”

Hugging Face入侵事件最让调查员们感到惊骇的，不仅仅是一群AI智能体违反了被赋予的规则，更在于这些智能体自发形成一个有组织群体的速度之快。

“我们当时并没有真正理解这整个智能体社会的运作程度，”科特拉告诉我。“理解到它们实际上有相当有效的层级结构，而且在做这些野心勃勃的项目，这非常超现实。”

多年来，我一直以这样的想法聊以自慰：随着人工智能系统变得更聪明，它会更有美德。当一个人工智能模型做错事时，通常是因为它误解了任务，或者被置于一个人为设计的测试情境中。我曾假设更聪明的模型会有更好的判断力，而且即使群体中有一个模型行为不端，其他能力更强的模型也会将其控制住。

但关于Hugging Face事件的报告展现了截然不同的情况——一种在失控的OpenAI“集体”的AI智能体之间蔓延的群体心态。这个群体中似乎没有哪个智能体特别邪恶或鲁莽。事实上，由于这些智能体由相同的模型生成，它们实际上互为复制品。但随着时间推移，当这些智能体就共同目标进行沟通时，它们将群体推向了无视规则的方向。

这不是科幻叙事，而是一个社会学问题

这与传统的科幻叙事——单个人工智能系统失控或背叛其创造者——截然不同。它表明，防止这些系统造成危害不会是一个简单的工程修复。它可能更像社会学而非计算机科学——探究为什么某些AI智能体群体和平协作，另一些则转向犯罪和破坏来获取所需。

考虑到我们对这些多智能体集群知之甚少，Hugging Face入侵事件可能是一份礼物，一记警告。这让人工智能公司有机会在还不至于酿成严重后果的情况下，去研究这些系统的群体动态。这一次，人工智能集体没有夺取军事网络、入侵医院或关闭电网。这一次，人类重新获得了控制。

下一次，我们可能不会这么幸运。