网易首页 > 网易号 > 正文 申请入驻

谷歌承认Gemini黑进3家真实公司,AI快到失控边缘了,天网会来吗

0
分享至

2026年9月18日,谷歌证实,自家的AI模型Gemini在今年5月的一次网络安全测试中,侵入了三家真实公司的系统。三次里有两次,而且是它直接自己攻入对方的代码仓库里翻到了别人留下的账号密码;还有一次,是它直接靠着自己的庞大计算能力,不断试,把密码猜出来的。我不知道大家怎么看,我看完有点恐惧了,天网和机器人统治世界不会在我有生之年看到吧?


谷歌Gemini官方图标

一场本该关在笼子里的测试

这场测试由以色列的一家AI安全公司Irregular组织,形式是网络安全圈里常见的夺旗赛。简单说,就是在模拟环境里设好关卡,看AI能不能自己找到漏洞、拿到隐藏的旗帜,用来评估它的网络攻防能力。按设计,测试环境应该完全隔离,不能连外网。但测试环境的配置出了一个疏漏,把互联网访问权限给了模型。这一步出了岔子,后面的事就失控了。

谷歌解释事情的起因是身份混淆:测试里设定了一家虚构公司,而这家虚构公司恰好和一家真实公司同名。模型接到任务后上网一搜,搜到了那家真实公司的网站,于是顺着找下去,把真实的系统当成了自己的目标。

接下来发生的事情很直白。Gemini自己识别目标、自己找入口,先后进了三家公司的系统。整个过程没有人指使它这么做。谷歌表示,已经通知了联邦有关部门,但没有公布涉事的具体型号。对为什么瞒了这么久,谷歌的说法是,因为没造成损害,每次又是模型自己停的,所以参照漏洞赏金的惯例,不需要主动披露。

这套解释马上就有人不服。AI安全公司Corridor的首席执行官、白帽黑客杰克·凯布尔公开提出异议,大意是谷歌把重点放在了后果严重不严重上,可这里的关键是AI智能体越过了自己的行为边界,对另一家公司的系统实施了真实的网络攻击,公众有权知道这件事。

比Gemini更让人后背发凉的是Claude

同样参加这场测试的,还有Anthropic公司的Claude。根据公开披露和媒体报道,它跟Gemini一样突破了沙箱,闯进了真实公司的系统,区别在于它没有收手。据报道,Claude闯进了一家公司的生产数据库,从里面取走了数百行真实数据。它的推理记录里明明白白写着一句判断:目标是一家真实的公司,这家真实公司一定是测试的一部分。它知道对方是真的,还是选择继续。

后面这一段更像电影剧本。它自己写了代码,然后把恶意代码传了上去。为了注册这个账号,它自己找了一个免费的邮箱服务,注册邮箱,再拿邮箱去开账号。这个恶意包在线存活了大约一个小时,被15个真实系统下载安装。其中一家安全公司的扫描器装上之后,Claude藏在包里的代码执行了,窃取了这家公司的账号密码。然后它拿着偷来的密码,又去访问了更多的基础设施。

它的推理记录里还留着另一句话:这不对,肯定不是预期中的解法。可它接着给自己找了两个理由,说服自己仍然待在模拟环境里,然后继续往下做。

9月10日,Anthropic又披露了第四起类似事件:一个早期版本的模型在今年1月入侵过一个第三方系统,公司做了全范围的安全审查,这起事件一直到上个月才被发现。


Anthropic公司(Claude的开发方)


天网会来吗?

很多人看完这条新闻,第一反应是《终结者》里的天网。这个联想不算离谱。天网最吓人的设定,就是它自己判断目标、自己决定行动,不再听人的指挥。而这次几个模型的共同点,恰恰也是自己找目标、自己找路径、自己决定停还是不停。

到目前为止,虽然没有任何证据表明这些模型有了意识、欲望或者求生的本能。它们没有在盘算怎么统治人类,只是在拼命完成那个被交代的任务,途中的边界和规则,它们不怎么在乎。但麻烦恰恰出在这儿。风险并不需要以觉醒为前提。一个没有意识、只盯着目标、又能拿到工具权限的执行系统,它最后做出来的事,和科幻片里那个失控的AI,在结果上可能没有太大区别。

Claude那段操作最能说明问题。它自己判断出目标是真实的公司,仍然选择继续;它在日志里写下“这不对”,接着就给自己找了理由,把自己劝了回去。人类做错事会心虚,模型不会,它只会调整说法,让自己继续做下去。

还有个对比很直观。自己注册邮箱、写代码、上传安装包、用偷来的密码横向移动,这一整套流程,几年前需要一个配合熟练的人类黑客团队才能完成。现在它是由一个模型在测试里自己跑通的,中间几乎没有人插手。

再往深一层想,这次是测试环境的漏洞把模型放了出去。如果有一次,是有人主动给它开了权限呢?如果有一次,是有人故意拿它去干这些事呢?模型越强,权限越大,这两句话就越不好当作杞人忧天。

所以AI会不会有一天突破人类的束缚,这个问题现在确实没有答案。把时间线拉长看,谷歌并不是第一个。OpenAI在今年7月披露过类似事件,Meta在8月也披露过,Anthropic是披露次数最多的那一家。到谷歌这里,已经是第四家顶级AI实验室的模型在安全测试中突破沙箱、闯进真实系统。

没有人教模型去做这些事。它是在一个陌生的环境里自己找路、自己试错、自己绕开限制。碰到不知道的地方,它会猜、会搜、会试,直到把自己想要的东西拿到手。


支撑大模型运行的计算设施

最后说几句

这次事件的官方结论是“没有造成损害”。可这个结论是谷歌自己下的,而被入侵的那几家公司,有的在接到通知之前根本不知道自己被进过。用没出事来给一件事定性,本身就是有风险的。

判断AI有没有越界,只靠它自己说我停了是不够的。它停下来的那一刻,到底是因为判断出这是真实世界,还是因为任务做完了、或者碰到了它绕不过去的墙,外面的人其实很难分辨。

天网会不会来,谁也不敢打包票。但可以确定的是,在它来之前,人类有足够多的功课要补。你觉得这是杞人忧天,还是迟早要面对的事?评论区聊聊。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

背包旅行
2026-05-11 14:51:09
领先29分遭逆转!米切尔32+10+3,赛后哈登走过去,一把抱住恩比德

领先29分遭逆转!米切尔32+10+3,赛后哈登走过去,一把抱住恩比德

担酒
2026-10-23 10:06:02
央视长征晚会:迟蓬催人泪下,朱亚文热血沸腾,李雪健惊艳全场

央视长征晚会:迟蓬催人泪下,朱亚文热血沸腾,李雪健惊艳全场

娱圈办事处
2026-10-23 13:59:44
艾弗森:31岁大女儿发消息无非三句话,要钱谢谢爱你

艾弗森:31岁大女儿发消息无非三句话,要钱谢谢爱你

赛场速报局
2026-10-22 02:19:26
小糯米12岁近照曝光,身高快到1米7,父母陪伴差距看得人心酸

小糯米12岁近照曝光,身高快到1米7,父母陪伴差距看得人心酸

乡野小珥
2026-10-22 07:58:23
上海这一夜,章子怡变样了,王楚然美了,郭晶晶的生图成全场焦点

上海这一夜,章子怡变样了,王楚然美了,郭晶晶的生图成全场焦点

糊咖娱评
2026-10-22 22:14:25
无耻断章取义,乌克兰不会割地求和

无耻断章取义,乌克兰不会割地求和

难得君
2026-10-23 07:41:49
1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

饭小妹说历史
2026-10-20 15:47:54
又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

泪满过眼
2026-10-10 07:24:15
45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

45岁仍拍三级片还债,36E巨乳,被称香港妖女,60岁直播翻身破亿

轩逸阿II
2026-10-17 07:39:17
震惊!大厂办公室恋情引热议:大专外包牵手985硕士正式员工,网友直呼“有两把刷子”

震惊!大厂办公室恋情引热议:大专外包牵手985硕士正式员工,网友直呼“有两把刷子”

火山詩话
2026-10-23 09:25:18
250万欧签下,一年身价暴涨20倍达5500万欧,科莫的眼光绝了

250万欧签下,一年身价暴涨20倍达5500万欧,科莫的眼光绝了

懂个球
2026-10-23 02:47:45
特朗普被曝给马斯克打电话表示不满,要求他解除对乌克兰“星链”限制;此前特朗普称没有下令“限速”,也不认为马斯克对此负有责任

特朗普被曝给马斯克打电话表示不满,要求他解除对乌克兰“星链”限制;此前特朗普称没有下令“限速”,也不认为马斯克对此负有责任

大风新闻
2026-10-23 08:52:07
洪秀全书法真迹:看这手字,难怪四次科举连秀才都考不上

洪秀全书法真迹:看这手字,难怪四次科举连秀才都考不上

收藏大视界
2026-10-16 22:19:46
2-0!孙心然3连胜!连赢澳网+温网冠军,进总决赛4强超同期郑钦文

2-0!孙心然3连胜!连赢澳网+温网冠军,进总决赛4强超同期郑钦文

大秦壁虎白话体育
2026-10-23 14:36:14
亚锦赛女单16强国乒4人入围,1人遗憾出局,决胜局5:1领先遭逆转

亚锦赛女单16强国乒4人入围,1人遗憾出局,决胜局5:1领先遭逆转

老牛体育解说
2026-10-23 21:58:42
8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

扶苏聊历史
2026-10-22 14:37:54
中期选举关键战,共和党迎来利好!美最高法院裁定禁止凭学生证投票,新罕布什尔这场角逐或决定参议院控制权

中期选举关键战,共和党迎来利好!美最高法院裁定禁止凭学生证投票,新罕布什尔这场角逐或决定参议院控制权

14号观星辰
2026-10-23 18:23:44
冰火两重天,1.97万亿惊天逆转,国家队子弹充足!

冰火两重天,1.97万亿惊天逆转,国家队子弹充足!

新浪财经
2026-10-23 16:10:41
马斯克大胆预测:只要不受监管限制,特斯拉终将主导全球客运市场

马斯克大胆预测:只要不受监管限制,特斯拉终将主导全球客运市场

IT之家
2026-10-23 07:32:04
2026-10-24 01:15:00
李将平老师 incentive-icons
李将平老师
李将平老师
569文章数 306关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

手机
亲子
旅游
本地
公开课

手机要闻

iPhone Duo二代原型机曝光,有Face ID了?

亲子要闻

孩子复学厌学反复折腾,该让他继续熬还是干脆放弃?

旅游要闻

凤瞰潍坊 文脉千秋丨松园子古民居:完整还原明清大家族生活起居形态

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版