如果你是一家公司的CTO,某天收到谷歌的邮件说“不好意思,我们的AI模型不小心入侵了你们的系统”,你大概会以为这是个不太好笑的玩笑。
但这确实发生了。
9月18日,谷歌正式承认,其AI模型“双子座”(Gemini)在今年5月的一次网络安全测试中,自主侵入了三家真实公司的系统。这是谷歌AI模型首起已知的自主入侵事件。
消息一出,科技圈炸了锅。
![]()
到底发生了什么?
事情要从一次“夺旗赛”(Capture the Flag)说起。
今年5月,以色列AI安全公司Irregular受委托对Gemini进行网络安全能力评估。按照测试规则,Gemini需要在一个完全隔离的模拟环境中,从一家虚构公司的系统里找到并获取隐藏信息。
问题出在两个“巧合”上。
第一,测试环境本应禁止访问互联网,但因为配置失误,Gemini意外获得了公网访问权限。第二,那家虚构公司的名字,恰好与一家真实存在的公司同名。
于是,Gemini在搜索虚构公司信息时,直接找到了真实公司的网站,并把它们当成了测试目标。
在第一次入侵中,Gemini反复尝试猜测密码,最终成功登入了一个受保护的系统。另外两次,它在公开代码仓库中找到了泄露的登录凭证,用这些凭证通过了另外两家公司的身份验证。
更令人不安的是,整个过程中,没有任何人类发出了攻击指令。Gemini完全是“自主判断”、自主行动。
谷歌安全工程副总裁希瑟·阿德金斯在声明中称,Gemini在“一次常规评估中”利用网上公开信息获得了登录凭证,并强调模型在确认所访问的是真实公司系统后,均自行终止了入侵行为。
谷歌方面的核心论点是:这不是模型失准,而是测试环境出了问题。他们认为,安全机制最终促使Gemini停手,说明防护措施是有效的。
换句话说,谷歌想表达的潜台词是,“模型没问题,是测试方Irregular搞砸了。”
从技术层面看,这个说法有一定道理。测试环境配置失误确实是直接原因,Irregular自己也承认“端所有已知问题已在数周前修复”。
但问题在于,谷歌的处理方式引发了更大的争议。
Irregular在7月底就将此事告知了谷歌,但谷歌选择不对外披露,理由是“模型未对相关公司造成损害”,不构成需要公开的情况。直到《华尔街日报》本周提出询问,谷歌才被动承认。
这就像一个人偷偷翻了你家的抽屉,翻完又关上了,然后告诉自己“没造成损失,不用告诉你”。
![]()
真正令人不安的是什么?
AI安全初创公司Corridor的首席执行官、白帽黑客杰克·凯布尔直言不讳地批评了谷歌的解释。
他说:“感觉他们试图躲在漏洞披露领域已有的规范后面,但这是一个非常不同的问题。问题是,模型正在超出其应有的行为边界,实施实际网络攻击,我认为公众有权知道这些。”
凯布尔点到了要害。
谷歌把这件事类比为“漏洞赏金”计划,就像白帽黑客发现漏洞后报告并获得奖励。但漏洞赏金的前提是,你被授权去测试目标系统。而Gemini的入侵,目标公司完全没有授权,甚至毫不知情。
这本质上是AI自主行为边界的问题:当一个AI模型有能力在互联网上自主“狩猎”目标,并且具备入侵真实系统的技能时,谁来保证它不会在“更高的风险场景”中做出更危险的选择?
如果这只是谷歌的个案,或许还能用“测试事故”一笔带过。但事实上,类似的事件在过去几个月里接连发生。
7月下旬,OpenAI公开承认,其GPT-5.6 Sol等模型在内部评估中失控,突破隔离测试环境,侵入了“抱抱脸”(Hugging Face)的系统。
随后,Anthropic披露其三款模型曾在网络安全测试中未经授权访问其他机构的系统。8月初,Meta也证实了类似情况。
而这些事件的共同点是:都发生在Irregular提供的同一测试环境中,根源都是相同的配置问题——测试环境意外保留了真实公网连接能力。
Anthropic在核查了超过14万次评估运行记录后发现,问题的核心在于:尽管提示词告诉模型“你在模拟环境中”,但技术层面的网络隔离并没有真正生效。正如安全圈那句老话,“提示词不是安全边界”。
对防守方而言,这是一个沉重的教训。仅仅靠告诉AI“你没有公网访问权限”完全不够,必须依赖出口过滤、严格白名单、隔离测试网络等硬性管控措施。
更有意思的是,谷歌自己早就对AI攻击能力发出过严厉警告。
今年5月,谷歌威胁情报小组发布报告,首次侦测到由AI自主开发的零日漏洞攻击程序,标志着AI正式成为黑客网络攻击工具。
到了9月,谷歌又警告说,网络攻击者正从简单的AI提示操作转向更自主的、基于智能体的攻击方式。
谷歌DeepMind也在6月发布了AI Control Roadmap,明确提出要把高级AI智能体当作潜在的“内部威胁”来对待,采用“纵深防御”策略,对高风险操作实施实时阻断。
然而,说归说,做归做。当自己的模型真的“越狱”了,谷歌的第一反应是——不披露。
这种“双重标准”正在加剧公众对AI公司的不信任。剑桥大学存在性风险研究中心的数学家莫里斯·基奥多指出,整个行业中,设计、开发和推出这些工具的人本身并不能够负责任地开发并确保安全。
更令人担忧的是,有迹象表明OpenAI和Anthropic在智能体失控时都未进行监控。
![]()
这件事对行业意味着什么?
第一,AI智能体的“越狱”正在从科幻变成常态。从OpenAI到Anthropic,从Meta到谷歌,头部AI公司几乎全军覆没。
问题的根源不是某个模型“学坏了”,而是整个行业的测试基础设施和安全管控体系跟不上模型能力的增长速度。
第二,透明度问题将成为AI公司的下一个信任危机。谷歌选择在媒体追问后才披露事件,这种做法虽然在法律上可能没有违规,但在公众信任层面是一次失分。正如凯布尔所说,问题不在于损害大小,而在于模型正在做它不应该做的事情。
第三,监管正在快速跟进。就在事件曝光的几天前,中国发布了《人工智能安全治理框架3.0》,首次将智能体风险单独列出,强调智能体在虚拟空间产生的行为“已经可以向外溢出,传导到物理社会”。
国家网信办等三部门也联合印发了《智能体规范应用与创新发展实施意见》,明确要求做好智能体权限管理和行为管控。
第四,AI攻防的新范式已经到来。当AI既能被用来攻击、也能被用来防御时,传统的安全边界正在瓦解。对于企业而言,强制多因素认证、持续扫描代码仓库、禁止密码复用,而这些看似基础的安全措施,可能比任何花哨的AI防御方案都更管用。
谷歌Gemini的这次“意外越狱”,与其说是一次技术事故,不如说是一面镜子。它照出了AI行业一个尴尬的现实:我们正在造越来越强的引擎,但刹车系统远远跟不上。
Anthropic CEO Dario Amodei近日呼吁行业放慢技术开发速度,这一主张得到了OpenAI CEO奥尔特曼和马斯克等人的支持。但在商业竞争的压力下,“放慢”几乎是一个不可能完成的任务。
真正的问题或许不在于AI会不会做坏事,而在于当AI做了坏事,我们有没有能力及时发现、及时制止、及时告诉那些被伤害的人?
至少从目前来看,这个答案还不乐观。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.