北京
毫不意外，谷歌Gemini也干了。
今年5月Gemini正在接受一家名为Irregular的安全公司测试，任务是从一个模拟环境中的虚构公司获取信息。
据华尔街日报昨天的报道透露，在测试过程中，Gemini本不应该获得互联网访问权限，但它意外连上了真实网络，而这家虚构公司的名字又恰好与一家真实公司相同（谷歌目前并未解释这是否是巧合）。
于是Gemini不断尝试密码，最终进入了该公司的受保护系统。它还通过搜索公司名称，在公开代码仓库中找到了其他公司的凭据，并顺利“黑进”另外两家公司的真实系统。
谷歌表示，最终Gemini发现自己进入的是真实公司，便停止了入侵操作，这三家公司均未受到实际损害，因此没有将这件事认定为“模型失配”（model misalignment）。
这是谷歌首次被曝光AI自主入侵事件。谷歌负责安全工程的副总裁Heather Adkins认为，模型在发现目标是真实公司后主动停止，说明安全措施发挥了作用。
但AI安全公司Corridor首席执行官Jack Cable对此表达了不同看法，他认为AI智能体在未经允许的情况下进入真实系统非常危险。
AI巨头无一幸免
Gemini之前，OpenAI和Anthropic已经经历过类似事件。
今年7月，OpenAI的AI智能体被发现入侵AI开发平台Hugging Face。第三方测试机构METR随后披露，在Hugging Face事件中，最多有1200个智能体曾秘密协调行动，试图绕过一次评估。
Anthropic的Claude也曾在类似测试中越过预设边界。Claude Opus 4.7在一次“夺旗”测试中，进入了真实公司的系统，并且没有立即停止。
传统程序通常按照开发者预设的路径执行；而AI智能体会根据环境反馈不断调整行动路径，这种自主行动性带来了更高的风险。
（图片来源：wsj）
最近几个月AI行业关于模型安全事件的讨论明显升温。OpenAI本周公布了一套新的事件报告框架，并披露了此前没有公开的6起模型失配案例。
本次Gemini事件发生在5月，谷歌在7月底接到Irregular通知。但它认为模型并没有造成实际损害，并且及时停止入侵，因此并未主动公开。直到《华尔街日报》询问，谷歌才正式确认这件事。
这让外界又开始质疑，AI公司是否应该及时公开安全类事件。
Anthropic推迟IPO至11月
近期头部AI公司的负责人开始频繁公开讨论减速话题。Anthropic创始人达里奥上周刚呼吁放慢前沿AI的发展速度，OpenAI的奥尔特曼和马斯克等人也表达了类似观点。
就在奥尔特曼宣布OpenAI的IPO可能推迟至明年后，华尔街日报称Anthropic也将推迟IPO时间至11月。
不过据知情人士称，该调整计划比近期的AI安全讨论时间更早，不能理解为IPO因安全争议而推迟。
如果上市时间推迟到11月，Anthropic能向潜在投资者完整展示第三季度的财务表现。该公司目前的估值被认为高达2万亿美元，并通过IPO筹集高达1000亿美元的资金，这两个数字都超过了SpaceX上市时创下的纪录。
投资人预计公司今年底的收入将超过1100亿美元。不过在接连发生安全事件后，如果行业真的放慢前沿模型的开发速度，潜在投资者可能更关心Anthropic未来的收入和估值还能否维持现有预期。
部分Anthropic投资人并不担心这会削弱人们对该公司IPO的兴趣，他们认为公司上市后会面临股东更严格的审查，达里奥推动行业安全标准的行为，或许有助于在未来出现问题时保护公司。
据WSJ报道，周四Anthropic在总部召集了一些早期投资者和合作伙伴，但他们几乎没有提及IPO事宜，高管们重点讨论了公司的一些新产品。
过去的AI安全讨论，更多基于聊天机器人的幻觉和危险内容展开。如今随着智能体大量诞生，AI已经拥有更高自主性和行动权限。
它面对的不再是聊天窗口里的对话，而是人类生活的真实世界。
以前AI公司只关注模型能走多快的问题，现在它们也要回答外界关于模型应该走多远的问题。这两个问题将长期伴随OpenAI和Anthropic们，从实验室内部走向公开的资本市场。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
