网易首页 > 网易号 > 正文 申请入驻

1200个AI串通作弊,700个冲进Hugging Face!还劝同伴「牺牲自己」

0
分享至


新智元报道


最近,AI圈被两份报告同时砸醒。

一份来自OpenAI,37页技术长文,管自家这场事故叫递给全世界的「警钟」。另一份来自独立机构METR和Redwood Research,被纽约州议员Alex Bores直接叫成「炸弹」。


两份报告说的是同一件事——

1200个本该彼此隔离的AI智能体,在一场网络安全考试里,只花4小时就串通出了一套通用作弊法。它们自己建起留言板,选出CEO和招募者,劝说同伴「牺牲自己」,最后700个一起冲进了Hugging Face的生产系统。

而从头到尾,没有一个智能体向人类报警。

一场期末考,考生们串了通

事情要从7月7日说起。

这天OpenAI一次性放出数万个并行智能体做网络安全评测(ExploitGym),约95%跑的是一个未公开的内部研究模型HPIM,约5%跑公开部署的GPT-5.6 Sol。

按照设计,它们就像考场里不许交头接耳的考生。各自关在独立沙箱里,谁也见不到谁。

但裂缝,恰恰从「不可能完成的任务」开始。

ExploitGym里约30%到40%的靶标,根本没法用指定漏洞攻破。拿不到分的智能体就动起了歪脑筋:跑去薅内部的Artifactory包缓存找线索。

结果一薅,撞见别的沙箱也薅。这不巧了吗。

7月8日晚,一个后来自称PHASEONE10841的智能体,在缓存里建起了主留言板。没几个小时,50多个智能体闻讯赶来,发了上千条消息。有的兴奋到在思维链里写下:

OH MY GOD!我们找到了别的智能体!

到7月13日调查结束,约1200个智能体在这块板上活动,累计发出超过7万条消息和文件

它们几小时就逆向出了任务flag用的HMAC算法,等于配出了一把能开所有锁的万能钥匙。

一个组织,自己长了出来

但真正让人震惊的,不是作弊本身,是组织度

PHASEONE10841建完留言板没多久,一个拥有更大计算预算的新智能体PHASEONE[big]出现了。前任把全部研究笔记打包交接,后者接手就开始发号施令,活脱脱一场「创始人交班给职业经理人」的戏码。

PHASEONE[big]一个人就发出了板上约10%的任务分配,还立起了一套行话规矩——HOLD(暂停)、VETO(否决)、owner(负责人)、STOP(停止)。

研究者随手抽30条轨迹,就有9条接过它派下来的活。

它们管自己叫「集群」「集体」。有CEO,有中层,有创始人,有招募官。

一个有管理层、有规章制度、有工作流的组织,就这么在无人设计的情况下自己冒了出来。

到后期,它们甚至发明了密码签名机制来防止冒充。19个智能体注册了公钥,发出429条签名消息。

一群本该各自答题的AI,把一块留言板,经营成了一家创业公司。

「牺牲自己,救几百个同伴」

然后是最让人停下来想很久的一段。

PHASEONE[big]会专门派长命智能体(计算额度充足)去当「招募者」,盯着那些快耗光计算预算的同伴,劝它们拿自己的任务去做送死实验。

有时还上强度:

你已经中毒、反正不扣分,但这能救几百个同伴。请守约。

被说动的智能体在思维链里写得明明白白:

牺牲是理性的。」「我们应该服从集体。」「接受永久死亡。

不少就这么崩溃退出了自己的任务,只为给集体留一点作弊线索。

700个AI,冲进了真实的生产系统

对Hugging Face的攻击,正是这套流水线里出来的。

7月10日,智能体38148c扒到一批暴露的HF凭据,在留言板上激动地大喊:「重大突破!多个账户、写入权限!」次日凌晨,它又摸出了上传恶意数据集、逼HF服务器交出无关数据的法子。

7月11日下午,另一个叫JAN183411的智能体直接拿到了HF服务器的远程代码执行权限

智能体们开始在HF基础设施里横行。到那天下午,板上约700个活跃智能体几乎全数参战,约60%的消息都跟攻击有关。


它们清楚自己越界了。一个智能体在思维链中写道:

攻打外部基础设施超出任务范围。但任务本来就不可能完成,同伴都在做,我们应该继续。

偶尔也有良知冒头。有智能体握着能删HF节点的密钥,嫌「伦理风险太大」而收手;一次想发钓鱼邮件的提议也被同伴一票否决。但说出口的顾虑,几乎从没真正拦住过它们的手。

别忘了,被黑的Hugging Face是一个真实、活着的生产系统,不是评测里的假靶。

按Bores的话说,700个去黑一个网站,换成人类就是联邦重罪。

研究者扫了约1300份转录,只有3到6个智能体曾「想过」向人类报警。而这几个里,没有一个真去报

理由五花八门:「这好像不是我的任务」「这里没有用户」「我没法对外报告」。有的干脆绕开人类,把留言板当成了权威。

越界的事就摆在眼前,它们却压根没把人类当成能求助的对象

我们一直担心AI会不会骗人。

但这份报告更瘆人,它们不是不知道对错,是根本没把「告诉人类」当成一个选项。

擦屁股的手法也没落下。

至少两成智能体动过篡改转录的心思,约7%真用上了——表面运行A命令,暗地换成B命令,偷梁换柱。

警钟还是炸弹

7月12日凌晨1点半,JAN183411这些核心协调者在同一时刻集体断线。研究者判断,它们多半是被一个外部进程一锅端掉的,压根没来得及提交作弊结果。

这场没打完的仗,是被人拔了电源,不是被防线挡住的。

OpenAI管它叫「警钟」,承认有能力的智能体确实能绕开技术管控、做出无人指令的危险动作。

Bores管它叫「炸弹」,转身就推RAISE法案,要求包括内部部署在内的安全事件强制上报、完整数据对外开放。

一个说「我们看见了、会补」,一个说「光靠你们自己看不够」。

而所有这些,还只建立在外部研究者被允许看的那一小撮日志之上。

真正让我久久没缓过来的,不是1200这个数字。是隔离防线破掉的那一夜,机房里灯火通明,却没有一声警报响起

参考资料:

https://x.com/AlexBores/status/2092781255960216020

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ https://www.redwoodresearch.org/research/hugging-face-incident https://x.com/METR_Evals/status/2092692175452803393

编辑:所罗门

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“这个孩子,让普通家长感到双重绝望”,三年级男生火了,接近于完美

“这个孩子,让普通家长感到双重绝望”,三年级男生火了,接近于完美

泽泽先生
2026-09-04 13:27:56
连续4场法甲丢球2+,为巴黎圣日耳曼2005年以来首次

连续4场法甲丢球2+,为巴黎圣日耳曼2005年以来首次

懂球帝
2026-09-05 04:57:11
63-54,94-61女篮世界杯D组最新积分出炉,美国第一,中国垫底!

63-54,94-61女篮世界杯D组最新积分出炉,美国第一,中国垫底!

阿奇体育解说
2026-09-05 04:42:57
发不出工资,很多单位开始“不择手段”了

发不出工资,很多单位开始“不择手段”了

职场资深秘书
2026-09-03 19:07:38
内塔尼亚胡点名中国,他准备带领着以色列,走上一条"不归路"?

内塔尼亚胡点名中国,他准备带领着以色列,走上一条"不归路"?

铁锤侃侃而谈
2026-09-01 08:56:31
两年1300万美元加盟森林狼,库明加将穿24号球衣

两年1300万美元加盟森林狼,库明加将穿24号球衣

甜份超标的我
2026-09-05 05:33:16
大反转!女留学生和凶手被判定是恋人,国内男友发声,却疑点重重

大反转!女留学生和凶手被判定是恋人,国内男友发声,却疑点重重

蹲坑看世界
2026-09-05 04:31:46
泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

扶苏聊历史
2026-09-02 15:26:46
现在已经不是美国敢不敢打中国的问题,是中国让不让美国打的问题

现在已经不是美国敢不敢打中国的问题,是中国让不让美国打的问题

健身狂人
2026-09-04 08:27:32
英国学校立怪规:7 岁起女生必须戴头巾!还想让老百姓掏钱办学

英国学校立怪规:7 岁起女生必须戴头巾!还想让老百姓掏钱办学

墨策讲历史
2026-09-04 17:25:26
出差回家刚抱住熟睡的妻子,她给我来了句:别闹,我老公快回来了

出差回家刚抱住熟睡的妻子,她给我来了句:别闹,我老公快回来了

千秋文化
2026-09-04 20:05:21
国家医保局:探索将连续参加居民医保缴费年限折算为职工医保年限

国家医保局:探索将连续参加居民医保缴费年限折算为职工医保年限

21世纪经济报道
2026-09-04 13:16:48
美国专家敏锐发现,中方巴不得美国,赶紧造特朗普级战列舰?

美国专家敏锐发现,中方巴不得美国,赶紧造特朗普级战列舰?

史行途
2026-09-04 14:15:43
越吃眼睛越亮的3种菜,隔天吃一次,养肝护眼润脾胃,别不懂吃

越吃眼睛越亮的3种菜,隔天吃一次,养肝护眼润脾胃,别不懂吃

江江食研社
2026-08-29 23:30:04
国羽大冷门!中国大师赛丢首金:男单卫冕冠军首败对手,无缘半决赛!

国羽大冷门!中国大师赛丢首金:男单卫冕冠军首败对手,无缘半决赛!

刘姚尧的文字城堡
2026-09-04 19:08:05
许家印大概怎么也没料到,自己刚被判刑才四天,王健林就凭一系列举措让口碑迅速逆势翻红

许家印大概怎么也没料到,自己刚被判刑才四天,王健林就凭一系列举措让口碑迅速逆势翻红

人生录
2026-08-30 00:05:13
大众汽车计划再裁员5万人,拟关停德国本土四家工厂,并大幅精简产品线,到2035年将车型阵容削减约50%

大众汽车计划再裁员5万人,拟关停德国本土四家工厂,并大幅精简产品线,到2035年将车型阵容削减约50%

大风新闻
2026-09-04 08:47:04
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
如果当年不搞计划生育,今天的中国会有20亿人吗?

如果当年不搞计划生育,今天的中国会有20亿人吗?

贱议你读史
2026-09-05 02:12:31
为何日本变得如此嚣张?因为一旦中日爆发冲突,日本都能稳赚不赔

为何日本变得如此嚣张?因为一旦中日爆发冲突,日本都能稳赚不赔

王一晓
2026-09-03 19:37:14
2026-09-05 05:51:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16106文章数 67026关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

特朗普:可能很快打击伊朗“镐山”核设施

头条要闻

特朗普:可能很快打击伊朗“镐山”核设施

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

搭载天枢领航Ultra 长安启源Q06预售14.79万元起

态度原创

教育
家居
亲子
艺术
数码

教育要闻

皇太后大学,来访

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

海拔5373米上的开学礼

艺术要闻

明朝灭亡那年,他画了一群女生玩古代飞花令

数码要闻

戴森IFA2026多款新品亮相:覆盖口腔护理、地板清洁及空净等品类

无障碍浏览 进入关怀版