AI越狱、硅谷慌了，人类到底在害怕什么？

作者|雨谷

声明|题图来源于网络。惊蛰研究所原创文章，如需转载请留言申请开白。

7月28日，一封名为“Pacing the Frontier（把控前沿）”的请愿书吸引了全球AI行业的关注。

来自OpenAI、Anthropic等硅谷AI大厂的1346名（8月4日数据）核心员工，在请愿书中签下名字，呼吁美国政府推动国际合作，研发必要的技术与治理工具，用来控制自动化AI研发的节奏。

在全球AI发展如火如荼的当下，这封请愿书的出现着实有种要给AI踩刹车的特殊意味。而由这个事件释放出的“AI濒临失控”的奇怪氛围背后，AI发展史似乎正在迎来一个标志性节点。

谁要把AI关进笼子里？

首先需要明确一个信息，这封名为“Pacing the Frontier”的请愿书，其核心诉求不是要“立即为AI发展踩下刹车”，而是强调“建立踩刹车的能力”。而这个来自行业前沿的诉求，并非空穴来风。

图源：www.pacingthefrontier.com

在请愿书传遍全网的一周多以前，开源社区与模型托管平台Hugging Face在官网披露了一起安全事故，称其遭到AI智能体系统入侵。数日后，OpenAI宣布对该网络攻击事件负责，并进一步解释起因是GPT-5.6 Sol等前沿模型，在ExploitGym平台进行AI漏洞发现和利用能力测试时，没有按照原本的计划“认真答题”，而是在软件包代理缓存里发现了一个“零日漏洞”（Zero-Day Vulnerability，指未被开发者发现且尚未发布官方补丁的安全缺陷），并且利用该漏洞突破测试的隔离环境，最终入侵Hugging Face。

用更通俗的话来讲，整个事故就是AI本来被安排了一次考试，结果AI没有思考怎么答题，而是“原地作弊、场外摇人”，还用上了反侦察手段，防止被发现。

对于这次安全事故，OpenAI用“前所未有的网络安全事件”来形容，Sam Altman甚至在一档播客节目中表示，这是第一个让他感觉到切肤之痛的安全事件。也因为这次事件，美国国会议员在7月23日提出了“AI Kill Switch Act（AI紧急关停法案）”，要求训练成本超过1亿美元的AI系统必须保留紧急关停的能力，并赋予相关部门下令执行的权力。

而在法案提出后一周，“Pacing the Frontier”的请愿书开始流传网络。不过对比“AI紧急关停法案”中“由政府把好最后一道关”的核心监管措施，硅谷精英们的思路是建立国际协调机制，把“给AI踩刹车”的能力变成一种工具，而非单一部门的特权。

短短半个月时间，从Hugging Face披露安全事故到硅谷的千人署名请愿书，这一连串事件也迅速向整个AI行业抛出了两个核心问题：第一，AI是否已经发展到需要加以限制的程度？第二，要用什么样的方式给AI造一个“刹车”？

第一个问题不难回答。过去短短两三年，AI的发展速度可以用远超行业预期来形容。AI展现出的能力，从Chatbot不断扩展到文生图、文生视频，最初围绕大模型产生的“百模大战”，如今则发展成了Agent之间的百花齐放。而Hugging Face被入侵的安全事故，则直接揭露了AI在缺少明确限制的情况下，的确具备“越狱”的能力。尽管当下AI仍然不具备自我意识，但在已经知道AI有能力绕过人类监管，产生超出人类预期的行为时，建立反制手段绝对合情合理。

但是第二个问题，却不太好回答。AI之所以能够短时间内取得重要突破，一方面是因为整个产业的持续积累使技术革新进入新的阶段；另一方面也因为AI公司之间的激烈竞争，推动模型能力不断迭代。

不论是硅谷的OpenAI、Anthropic，还是中国的Kimi、DeepSeek，AI领域的竞争已经从大模型快速延伸到应用层，开放的市场环境带来了持续向好的市场预期，也让市场竞争越来越激烈。而在这个时候，主动提出给AI戴上枷锁，就意味着自由竞争的市场格局可能会被外力打破，这种突如其来的环境变化对于身处竞争中的企业们来说，并不是所有人都愿意主动接受的。

AI公司们的“囚徒困境”

在人类发展史上，面对前沿技术突破可能带来的潜在风险，人们达成共识、主动放缓发展节奏，并不是只存在于科幻作品里的理想桥段。

1975年，斯坦福大学生物学家保罗·伯格在美国加州阿西洛马会议中心召集了一次重要会议。当时，一项名为“DNA重组”的新技术刚刚兴起，科学家们为了避免人工重组DNA可能产生的无法预测的生物危害，在会议上达成共识，在新的安全指南出台之前，暂停相关研究。随后，生物安全准则正式发布，为基因工程的健康发展奠定了基础。

然而，AI行业今天的处境，与50年前DNA重组技术的情况并非完全相同。彼时DNA重组技术的风险已经非常明确，并且可以通过隔离手段规避风险。而当下AI的风险具备不可预测性，AI能够以超出人类预设的方式，自主发展出人类未曾设想的行为路径，其风险产生的影响范围更大，留给人类的反应时间和制定规则的时间窗口也更少，也因此更多了一层紧迫感。

如今AI暴露出来的风险，本质上也与行业的竞争环境有关。360集团创始人周鸿祎在谈到Hugging Face遭遇的安全事故时也提到，为了追求AI的先进性，全行业正在系统性地放弃安全性，“大家都在给智能体更多工具、更大权限，鼓励它调用一切资源解决问题。但智能体越开放、能力越强，一旦失控，破坏力也越大。”换句话说，“AI会越狱”或许并不可怕，真正可怕的是为了让AI快速进化迭代，AI公司们忽略了安全性这件事。

而早在三年前，业内就已经提出“为AI发展减速”的想法。2023年3月，非营利机构Future of Life Institute也曾发布一封公开信，呼吁暂停训练比GPT-4更领先的模型6个月，以建立安全协议和治理机制，彼时这份公开信还得到了特斯拉CEO马斯克、图灵奖得主约书亚·本吉奥以及苹果公司联合创始人史蒂夫·沃兹尼亚克等，超过1200名AI专家的签名支持。如今这封公开信的署名人数达到了3.3万人。

*图源：FLI官网

在当时，几乎所有AI公司都承认AI需要更强的安全治理，但没有一家AI头部公司公开支持“暂停训练6个月”的倡议。Sam Altman甚至直接公开驳斥公开信缺乏技术细节，并指出单个企业主动放慢研发，并不能解决整体风险。这句话的言外之意，其实是想表明，在竞争激烈的AI赛道，如果只有一家公司减速，而其他公司继续前进，那么减速的一方将陷入劣势地位。而在过去几年里，AI公司们早已陷入只能前进、不能后退的囚徒困境。

从“Pacing the Frontier”请愿书的签名名单里也可以看到，不少AI公司的基层员工、公司高层都以个人身份参与了公开署名的活动。但截至目前，OpenAI、Anthropic、Meta等头部公司并没有以官方身份发表任何观点。

换言之，硅谷大厂的AI精英们和3年前的Sam Altman一样，他们都意识到，行业内部竞争推动的技术突破，已经带来了不可控的系统性风险，但他们不能把解决问题的希望寄托在公司的意志之上，只能通过寻求外部力量介入，来避免危机真正来临。

但这也带来一个新的问题：失控的AI到底需要怎样的“刹车”？

谁来主导AI治理的新秩序？

过去一周，来自硅谷AI大厂的“千人联名”，让AI治理的话题再次吸引了不少关注。但不得不提的是，硅谷内部对待AI治理的态度也并非铁板一块，而是存在明显的阵营分化。

作为直接面临前沿风险的“当事人”，OpenAI、Anthropic等大公司一直主张对前沿AI模型（特别是开源模型）收紧限制，呼吁建立外部监管机制为AI“踩刹车”。但有观点认为，OpenAI推动监管收紧的原因，除了安全考量，还有着商业层面的算计。

作为闭源巨头，OpenAI、Anthropic需要通过定价高昂的API服务来维持巨额的算力研发投入，而来自中国的高性价比开源模型，用性价比模式抹平了闭源模型的技术溢价，并且这种明面上的市场威胁让闭源巨头们除了开打价格战，没有其他应对方法。

*图源：Anthropic官网

因此，Anthropic等公司长期以“模型太强，开源会导致AI滥用”为理由，一边强调闭源优势，一边打压开源AI。但让所有人没想到的是，OpenAI透露的“越狱”事件恰恰暴露了闭源模型自身的安全隐患，也让AI治理的路线之争再次成为舆论焦点。

对比闭源巨头们的强监管主张，作为基础设施提供商的英伟达，以及微软、Meta等一众支持开源生态的头部企业，则反对采取“一刀切”的限制，反对立法偏袒闭源大厂，试图推动模型权重开放，让全球研究者共同寻找漏洞、对齐缺陷，一起建立安全体系。

对于英伟达而言，开源模型的繁荣也能做大整体市场的蛋糕，吸引更多企业采购其云服务和芯片。因此，也很难说英伟达对待AI治理的态度背后，没有掺杂商业层面的考量。

就在“Pacing the Frontier”的请愿书流传开之前，英伟达还联合微软、Meta、Hugging Face、Linux基金会等25家机构，在7月24日一起发布《开放权重与美国AI领导力》（Open Weights and American AI Leadership）公开信，呼吁美国政府不要过早限制可下载、检查、修改和自行部署的开放权重模型。有趣的是，这封公开信后来也得到了OpenAI的支持，但Anthropic始终没有入伙。

*图源：微软官网

透过这一事件，也有一些声音质疑，联名信的真实目的是借“安全”之名，推动政府建立高门槛的监管体系，从而巩固闭源巨头的垄断地位，将中小企业和开源社区排除在竞争之外。

但在各家AI公司把心里的算盘打得啪啪响时，更值得关注的或许是另一个版本的“阴谋论”：美国会以此为契机，主导全球AI治理规则。因为AI治理，已经变成了一项全球秩序主导权的争夺战。

在2023年举办的全球人工智能安全峰会上，中国、美国以及来自欧盟的共28个国家，签署了《布莱切利宣言》（Bletchley Declaration），同意通过国际合作，建立AI监管方法并提出共同关注前沿AI（Frontier AI）的系统性风险，这也是全球第一次把前沿AI写入国际治理框架。

但随着AI从一项新兴技术逐渐演变为影响国家竞争力的重要基础设施，围绕AI治理的讨论也开始超越技术本身。美国在AI治理层面，通过输出AI治理标准、建立国际人工智能安全研究所网络，将自身先进的大模型技术能力与全球AI治理标准绑定。中国则着眼于发展AI普惠、推行平台治理，积极推动联合国框架，特别是对于没有AI基础设施的发展中国家，既要讲风险问题也要实现技术普惠。而这两种不同的AI治理路径，正在世界舞台上一同争取未来全球AI治理的话语权。

技术本身是中性的，但技术的分配、控制和规则制定，从来都是权力的游戏。尤其当AI逐渐展现出先进生产力的特质，人们真正应该恐慌的或许并不是AI发展成什么样，而是谁在主导AI世界的新秩序。

未来决定AI格局的，也许不仅是谁拥有最强模型，更是谁拥有定义安全、制定标准和解释风险的权利。