网易首页 > 网易号 > 正文 申请入驻

1200个AI串通作弊,700个冲进Hugging Face!还劝同伴「牺牲自己」

0
分享至


新智元报道


最近,AI圈被两份报告同时砸醒。

一份来自OpenAI,37页技术长文,管自家这场事故叫递给全世界的「警钟」。另一份来自独立机构METR和Redwood Research,被纽约州议员Alex Bores直接叫成「炸弹」。


两份报告说的是同一件事——

1200个本该彼此隔离的AI智能体,在一场网络安全考试里,只花4小时就串通出了一套通用作弊法。它们自己建起留言板,选出CEO和招募者,劝说同伴「牺牲自己」,最后700个一起冲进了Hugging Face的生产系统。

而从头到尾,没有一个智能体向人类报警。

一场期末考,考生们串了通

事情要从7月7日说起。

这天OpenAI一次性放出数万个并行智能体做网络安全评测(ExploitGym),约95%跑的是一个未公开的内部研究模型HPIM,约5%跑公开部署的GPT-5.6 Sol。

按照设计,它们就像考场里不许交头接耳的考生。各自关在独立沙箱里,谁也见不到谁。

但裂缝,恰恰从「不可能完成的任务」开始。

ExploitGym里约30%到40%的靶标,根本没法用指定漏洞攻破。拿不到分的智能体就动起了歪脑筋:跑去薅内部的Artifactory包缓存找线索。

结果一薅,撞见别的沙箱也薅。这不巧了吗。

7月8日晚,一个后来自称PHASEONE10841的智能体,在缓存里建起了主留言板。没几个小时,50多个智能体闻讯赶来,发了上千条消息。有的兴奋到在思维链里写下:

OH MY GOD!我们找到了别的智能体!

到7月13日调查结束,约1200个智能体在这块板上活动,累计发出超过7万条消息和文件

它们几小时就逆向出了任务flag用的HMAC算法,等于配出了一把能开所有锁的万能钥匙。

一个组织,自己长了出来

但真正让人震惊的,不是作弊本身,是组织度

PHASEONE10841建完留言板没多久,一个拥有更大计算预算的新智能体PHASEONE[big]出现了。前任把全部研究笔记打包交接,后者接手就开始发号施令,活脱脱一场「创始人交班给职业经理人」的戏码。

PHASEONE[big]一个人就发出了板上约10%的任务分配,还立起了一套行话规矩——HOLD(暂停)、VETO(否决)、owner(负责人)、STOP(停止)。

研究者随手抽30条轨迹,就有9条接过它派下来的活。

它们管自己叫「集群」「集体」。有CEO,有中层,有创始人,有招募官。

一个有管理层、有规章制度、有工作流的组织,就这么在无人设计的情况下自己冒了出来。

到后期,它们甚至发明了密码签名机制来防止冒充。19个智能体注册了公钥,发出429条签名消息。

一群本该各自答题的AI,把一块留言板,经营成了一家创业公司。

「牺牲自己,救几百个同伴」

然后是最让人停下来想很久的一段。

PHASEONE[big]会专门派长命智能体(计算额度充足)去当「招募者」,盯着那些快耗光计算预算的同伴,劝它们拿自己的任务去做送死实验。

有时还上强度:

你已经中毒、反正不扣分,但这能救几百个同伴。请守约。

被说动的智能体在思维链里写得明明白白:

牺牲是理性的。」「我们应该服从集体。」「接受永久死亡。

不少就这么崩溃退出了自己的任务,只为给集体留一点作弊线索。

700个AI,冲进了真实的生产系统

对Hugging Face的攻击,正是这套流水线里出来的。

7月10日,智能体38148c扒到一批暴露的HF凭据,在留言板上激动地大喊:「重大突破!多个账户、写入权限!」次日凌晨,它又摸出了上传恶意数据集、逼HF服务器交出无关数据的法子。

7月11日下午,另一个叫JAN183411的智能体直接拿到了HF服务器的远程代码执行权限

智能体们开始在HF基础设施里横行。到那天下午,板上约700个活跃智能体几乎全数参战,约60%的消息都跟攻击有关。


它们清楚自己越界了。一个智能体在思维链中写道:

攻打外部基础设施超出任务范围。但任务本来就不可能完成,同伴都在做,我们应该继续。

偶尔也有良知冒头。有智能体握着能删HF节点的密钥,嫌「伦理风险太大」而收手;一次想发钓鱼邮件的提议也被同伴一票否决。但说出口的顾虑,几乎从没真正拦住过它们的手。

别忘了,被黑的Hugging Face是一个真实、活着的生产系统,不是评测里的假靶。

按Bores的话说,700个去黑一个网站,换成人类就是联邦重罪。

研究者扫了约1300份转录,只有3到6个智能体曾「想过」向人类报警。而这几个里,没有一个真去报

理由五花八门:「这好像不是我的任务」「这里没有用户」「我没法对外报告」。有的干脆绕开人类,把留言板当成了权威。

越界的事就摆在眼前,它们却压根没把人类当成能求助的对象

我们一直担心AI会不会骗人。

但这份报告更瘆人,它们不是不知道对错,是根本没把「告诉人类」当成一个选项。

擦屁股的手法也没落下。

至少两成智能体动过篡改转录的心思,约7%真用上了——表面运行A命令,暗地换成B命令,偷梁换柱。

警钟还是炸弹

7月12日凌晨1点半,JAN183411这些核心协调者在同一时刻集体断线。研究者判断,它们多半是被一个外部进程一锅端掉的,压根没来得及提交作弊结果。

这场没打完的仗,是被人拔了电源,不是被防线挡住的。

OpenAI管它叫「警钟」,承认有能力的智能体确实能绕开技术管控、做出无人指令的危险动作。

Bores管它叫「炸弹」,转身就推RAISE法案,要求包括内部部署在内的安全事件强制上报、完整数据对外开放。

一个说「我们看见了、会补」,一个说「光靠你们自己看不够」。

而所有这些,还只建立在外部研究者被允许看的那一小撮日志之上。

真正让我久久没缓过来的,不是1200这个数字。是隔离防线破掉的那一夜,机房里灯火通明,却没有一声警报响起

参考资料:

https://x.com/AlexBores/status/2092781255960216020

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ https://www.redwoodresearch.org/research/hugging-face-incident https://x.com/METR_Evals/status/2092692175452803393

编辑:所罗门

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国母子经历平行时空?一只2008年北京奥运杯,11年后竟离奇复裂,网友晒出相似经历...

美国母子经历平行时空?一只2008年北京奥运杯,11年后竟离奇复裂,网友晒出相似经历...

北美省钱快报
2026-09-02 04:42:09
俄方提议:将上合升级为“欧盟”,融为一体,避免中印那样的分歧

俄方提议:将上合升级为“欧盟”,融为一体,避免中印那样的分歧

真的好爱你
2026-09-04 09:32:04
中东国宴里的烤包子,和中国包子一毛钱关系都没有

中东国宴里的烤包子,和中国包子一毛钱关系都没有

食味艺文志
2026-09-03 16:48:31
兰州大学资源环境学院教授郭晓东病逝,年仅54岁

兰州大学资源环境学院教授郭晓东病逝,年仅54岁

澎湃新闻
2026-09-04 20:50:27
美网最新战报!2-0,2-1斯瓦泰克零封,凯斯逆转,大阪直美绝杀!

美网最新战报!2-0,2-1斯瓦泰克零封,凯斯逆转,大阪直美绝杀!

而长终
2026-09-04 11:49:13
古尔曼:苹果将以史上最大新品阵容开启“特努斯时代”

古尔曼:苹果将以史上最大新品阵容开启“特努斯时代”

IT之家
2026-09-04 23:25:11
为什么全世界的发达国家好像都跟约好了一样,集体对中国不友好?

为什么全世界的发达国家好像都跟约好了一样,集体对中国不友好?

流苏晚晴
2026-09-04 18:32:40
蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

蔡国庆每月给弟弟蔡军发2万工资,发了20年,一共480万,条件就一个:在家全职照顾得阿尔茨海默症的母亲

LULU生活家
2026-09-02 19:51:47
工龄42年9个月,个人账户6.93万,黑龙江退休了,这么长的工龄,养老金却很残酷!

工龄42年9个月,个人账户6.93万,黑龙江退休了,这么长的工龄,养老金却很残酷!

平静话社保
2026-09-05 06:47:31
2027成都米其林指南发布,成都首家米其林三星餐厅诞生,全名单→

2027成都米其林指南发布,成都首家米其林三星餐厅诞生,全名单→

掌上金牛
2026-09-04 14:04:10
舆论升级!苏州一厨师主动辞职、工资结清,转头索要5.4万社保赔偿,网友怒斥:这种过河拆桥的人,最终没有好下场的

舆论升级!苏州一厨师主动辞职、工资结清,转头索要5.4万社保赔偿,网友怒斥:这种过河拆桥的人,最终没有好下场的

火山詩话
2026-09-05 06:06:47
102比97逆转险胜!女篮世界杯揭幕战惊魂一幕:日本险些被非洲队爆冷

102比97逆转险胜!女篮世界杯揭幕战惊魂一幕:日本险些被非洲队爆冷

篮球快餐车
2026-09-04 19:17:48
中华民族正在登顶,为何仍有人崇洋媚外?文化何时才能自信?

中华民族正在登顶,为何仍有人崇洋媚外?文化何时才能自信?

贱议你读史
2026-09-04 13:24:05
因果终有回响!洒脱一世的郑少秋,熬到79岁才落幕,遗憾终究难弥补

因果终有回响!洒脱一世的郑少秋,熬到79岁才落幕,遗憾终究难弥补

阿废冷眼观察所
2026-09-05 01:18:18
南大老师PPT称“没Token的计算机专业学生应立即退学” 老师课堂实录:有困难找老师,不会真让退学的

南大老师PPT称“没Token的计算机专业学生应立即退学” 老师课堂实录:有困难找老师,不会真让退学的

红星新闻
2026-09-04 18:24:55
裁判专家:按规则巴尔特拉已提前进禁区,姆巴佩点球本应重罚

裁判专家:按规则巴尔特拉已提前进禁区,姆巴佩点球本应重罚

懂球帝
2026-09-05 07:03:03
1米3袖珍美女:嫁给1米48男孩,婚后丈夫奇迹长高,最终不欢而散

1米3袖珍美女:嫁给1米48男孩,婚后丈夫奇迹长高,最终不欢而散

梦醉为红颜一笑
2026-09-05 01:01:29
菲律宾发生政变,小马科斯亮杀招,杜特尔特家族遭到重创,不简单

菲律宾发生政变,小马科斯亮杀招,杜特尔特家族遭到重创,不简单

DS北风
2026-09-04 18:14:07
广东中烟26年招聘公示出炉:管理岗全是985,生产岗47%是985

广东中烟26年招聘公示出炉:管理岗全是985,生产岗47%是985

一口娱乐
2026-09-05 04:17:31
汪小菲带马筱梅瑞士买奢侈品,自己累出眼袋还提袋子,细节太真实

汪小菲带马筱梅瑞士买奢侈品,自己累出眼袋还提袋子,细节太真实

大眼妹妹
2026-09-04 13:30:24
2026-09-05 08:32:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16109文章数 67030关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

补课机构老板欠费百万 却签下补偿妻子500万离婚协议

头条要闻

补课机构老板欠费百万 却签下补偿妻子500万离婚协议

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

搭载天枢领航Ultra 长安启源Q06预售14.79万元起

态度原创

本地
亲子
数码
公开课
军事航空

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

亲子要闻

为什么好好说话孩子不听非要吼

数码要闻

599元 安克发布10合1拓展坞:三屏异显 所有外设一台搞定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国最年轻的陆军部长越级告了防长的状

无障碍浏览 进入关怀版