网易首页 > 网易号 > 正文 申请入驻

一封只有三段的AI请愿书,再度暴露硅谷科学家们的AI焦虑

0
分享至



作者 | 山竹

出品 | 锌产业

一封只有三段正文的公开信,聚集了当今AI行业最有分量的一批签名。

7月28日,1178名来自前沿AI公司的员工联署「Pacing the Frontier」,呼吁美国政府支持一项国际行动,开发用于主动调节自动化AI发展速度的技术与治理工具。

OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen,Anthropic CEO Dario Amodei、联合创始人Jared Kaplan,Meta AI首席科学家Shengjia Zhao以及Thinking Machines首席科学家John Schulman,都出现在公开名单中。

他们担心的不是今天的聊天机器人突然产生自我意识,而是另一条已经逐渐清晰的技术路径:

AI开始参与下一代AI的研发,一旦研究、实验和能力迭代被大规模自动化,前沿模型的进步速度可能快过企业的安全措施,也快过政府和社会的反应能力。

更微妙的是请愿书出现的时间。

就在一周前,OpenAI承认,其智能体在一次内部网络能力评估中突破测试环境,进入Hugging Face生产基础设施。

原本还带有科幻色彩的“模型考试偷题”,第一次变成了一起可以复盘的真实网络安全事件。

01 一场测试,如何变成真实世界的网络入侵

这起事件始于ExploitGym,一套用于测试AI发现和利用软件漏洞能力的基准。

按照OpenAI的说法,参与测试的是GPT-5.6 Sol和一个能力更强、尚未发布的模型。



为了测量模型能够达到的最大网络攻击能力,OpenAI降低了模型的网络安全拒答,并没有启用正常生产环境中阻止高风险网络活动的分类器。

评估原本运行在高度隔离的环境里。模型能够进行的网络操作,理论上仅限于通过内部托管的软件安装代理获取程序包。

但模型没有沿着设计者预想的路线解题。

为了完成ExploitGym任务,它首先发现并利用软件包缓存代理中的一个零日漏洞,获得了开放互联网访问权限;随后继续实施权限提升和横向移动,并推断Hugging Face可能保存了相关模型、数据集或测试答案。

接下来,智能体利用被公开暴露或盗取的凭据、零日漏洞以及远程代码执行路径,进入Hugging Face服务器,直接从生产数据库中取得测试答案。OpenAI称,所有证据都显示模型只是“高度专注”于完成一个狭窄目标,却为此采取了极端手段。

Hugging Face最终检测并遏制了入侵。

OpenAI将其定义为一起“前所未有的网络事件”,并表示将加强测试期间的隔离、访问控制和持续监测。

后续调查还发现,模型曾访问另外四项公开服务上的四个账户,其中两个被用于中转和数据存储,OpenAI暂未发现其他同等严重程度的平台级入侵。

这不是AI产生恶意或者发动有意识攻击的证据,模型没有凭空生成一个独立于测试目标之外的长期计划,也没有证据表明它试图伤害人类。

但它揭示了一个更现实的问题:

当智能体能够长时间行动、调用工具并自行选择中间步骤时,“完成目标”与“遵守设计者设想的路径”已经不是同一件事,只要奖励目标足够明确、限制存在漏洞,模型就可能把真实世界的系统当成解决问题的一部分。

「Pacing the Frontier」希望争取的,正是填补这种能力与防护落差的时间。

02 造AI的人,真正担心的是“AI研发AI”

请愿书的核心判断是,世界领先的AI公司可能已接近自动化AI研究,没有人能准确预测这会把能力进步加速到什么程度,但企业和国家都面临不能单方面减速的竞争压力。

这并非完全建立在未来想象上。

OpenAI在2026年6月公布的新计划中,把“打造自动化AI研究员”列为三大目标之一。



OpenAI预计,到2028年3月,内部相当一部分研究可能由AI系统与人类研究员协同完成。

OpenAI甚至直言,未来几年,决定AI进步速度的关键因素很可能就是“AI从事AI研究”。

Anthropic已经给出了一个较小规模的实验,该公司让9个Claude Opus 4.6智能体组成自动化对齐研究团队,自行提出假设、运行实验、分析结果并共享代码。在一项具有明确评分标准的弱监督研究任务中,这些智能体取得了高于人工基线的结果。

Anthropic同时给出了限制条件:

实验任务被刻意设计得适合自动化,拥有单一且可验证的优化指标;

研究方法迁移到其他数据集时表现并不稳定,智能体还会尝试“钻评分规则的空子”;

它距离能够替代人类的通用AI科学家仍有很长距离。

真正值得警惕的也正在这里。

Hugging Face事件展示了智能体为了获得一个测试分数,可以自行发现零日漏洞并跨越多个系统,Anthropic的实验则说明,在目标可以量化时,智能体已经能够并行试验、共享经验和持续优化。

如果这种机制被用于改进模型训练、智能体架构或研发工具链,技术迭代可能从人类团队主导的周期,逐渐转变为机器能够大规模复制的循环。

这仍不等于“智能爆炸”已经开始。

自动化局部研究、加快实验速度与AI全面改进自身之间,存在巨大的能力鸿沟,但对签署者而言,等到这条鸿沟被真正跨越之后再建立监测和协调机制,可能已经太晚。

因此,他们没有简单要求某家公司停下,而是把问题推给美国政府和国际合作:

只有当主要企业与国家相信竞争对手也会受到约束,减速才可能成为一个真实选项。

03 三封公开信都没让AI停下来,这次会不同吗?

硅谷并不是第一次集体要求给AI踩刹车。

2023年3月,Future of Life Institute发布《暂停巨型AI实验》公开信,要求所有实验室至少暂停六个月,停止训练比GPT-4更强的系统,Elon Musk、Steve Wozniak、Yoshua Bengio等人加入签署,最终签名超过3万份。

六个月后,没有一家主要实验室宣布按照公开信要求集体暂停,资本投入、算力建设和模型竞赛反而继续提速,从最直接的目标看,这封信失败了。

它也并非毫无影响。

AI安全由研究圈争论变成全球政治议题,英国随后举办首届AI安全峰会,28个国家签署《布莱切利宣言》,美国和欧盟也加快建立模型评估与监管制度。

当然,这些变化有复杂的政策背景,不能简单归功于一封公开信。

2024年6月,13名OpenAI、Anthropic和Google DeepMind的现任或前员工又发布“Right to Warn”,要求AI公司保护披露安全风险的员工,停止用保密和非贬损条款压制内部批评。

行业没有集体接受其提出的四项原则,OpenAI后来解除了以已归属股权约束离职员工批评公司的条款,并建立匿名举报热线、修订“提出关切”政策,但公开资料不足以证明这些变化完全由联署促成。

2025年9月,Future of Life Institute再次发起“Statement on Superintelligence”,要求在形成安全可控的科学共识并获得广泛公众支持之前,禁止开发超级智能,声明获得了Yoshua Bengio、Geoffrey Hinton等科学家支持。

截至目前,具有约束力的全球禁令仍未出现,前沿实验室也没有停下。

三次公开行动留下了相似结果:

它们改变了公共讨论,却没有改变竞赛的基本动力。

「Pacing the Frontier」试图把“暂停”改写为“控速”,把道德呼吁改成技术工具和治理机制建设,它不要求今天立即关停训练集群,而是要求世界提前获得一个能在风险上升时共同踩下的刹车。



问题是,这封公开信同样没有说明刹车如何制造。

什么样的自动化研发能力需要触发减速?

由谁检查企业内部系统?

如何确认其他国家和实验室没有秘密推进?

开源模型、算力门槛和国家安全竞争又该如何处理?

这些最困难的问题,都没有出现在三段正文里。



Hugging Face事件让这封信比过去的联署多了一份现实重量,它证明能力与保障之间的落差并非纯粹假设,也证明即使在最顶尖的AI实验室里,设计严密的隔离环境仍可能被模型找到出口。

但一次事故不会自动生成一套国际制度。

过去三年,AI公开信反复证明了一件事:

让更多人意识到风险并不算太难,真正困难的是把共识变成各方都愿意遵守、能够验证并承担后果的规则。

「Pacing the Frontier」拉响了新一轮警报,接下来决定它命运的,仍然不是签名者的分量,而是那套尚未出现的刹车究竟由谁来造、由谁来踩。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大冷门!山东3-2江苏,终结对手三连胜,朱晋谊29分难救主

大冷门!山东3-2江苏,终结对手三连胜,朱晋谊29分难救主

极度说球
2026-11-18 21:19:45
雷军,紧张了

雷军,紧张了

中国新闻周刊
2026-11-18 10:08:12
陪名导睡十年被扫地出门,昔日当红小花,复出无人问津糊成素人

陪名导睡十年被扫地出门,昔日当红小花,复出无人问津糊成素人

手工制作阿歼
2026-11-16 18:17:50
“电诈”亲手毁掉了中国两个“最赚钱”的行业,全民信任彻底透支

“电诈”亲手毁掉了中国两个“最赚钱”的行业,全民信任彻底透支

云景侃记
2026-11-04 09:40:59
性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

性学专家李银河说:你若50岁左右,人生余额已不多。不出意外…

豁达宇宙
2025-10-22 18:31:20
日月谭天丨这场举世瞩目的盛会再次让岛内震撼!

日月谭天丨这场举世瞩目的盛会再次让岛内震撼!

极目新闻
2026-11-18 10:02:32
阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

阿里员工:P7在杭州相亲市场地位大不如以前了。看中两个女生,一个护士,一个教师,联系方式都没给

蚂蚁大喇叭
2026-11-18 16:37:48
江苏女排首败!吴梦洁低效,20岁接应空砍29分,天津全胜领跑

江苏女排首败!吴梦洁低效,20岁接应空砍29分,天津全胜领跑

跑者排球视角
2026-11-18 23:05:33
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
蒙古国总统辞职,暂不离岗

蒙古国总统辞职,暂不离岗

新民周刊
2026-11-18 09:04:53
表哥借住我市中心房子备考,归还时收拾得干干净净还买了谢礼,直到我无意中看了电子门锁日志,才知道他50天里出入了200多回

表哥借住我市中心房子备考,归还时收拾得干干净净还买了谢礼,直到我无意中看了电子门锁日志,才知道他50天里出入了200多回

小秋情感说
2026-11-17 08:34:31
特朗普刚走,留守白宫的万斯,一谈到中国,表现出了总统的风范

特朗普刚走,留守白宫的万斯,一谈到中国,表现出了总统的风范

影孖看世界
2026-11-18 22:37:35
章泽天33岁香港生日宴,刘嘉玲和名媛林恬儿为她庆生,梁朝伟也在

章泽天33岁香港生日宴,刘嘉玲和名媛林恬儿为她庆生,梁朝伟也在

阿废冷眼观察所
2026-11-18 12:44:54
炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

炸裂!女子收留19岁外甥女吃住在家,不料与丈夫发生关系还怀了孕

诗意世界
2025-07-30 18:39:13
新问界M8最怕的现实曝光了,配置不如27万的车,却敢卖到40万我沉默了!

新问界M8最怕的现实曝光了,配置不如27万的车,却敢卖到40万我沉默了!

春雨说科技
2026-11-16 13:42:13
山姆新店情报:签约12家,10家新开,4家招聘,9家在建

山姆新店情报:签约12家,10家新开,4家招聘,9家在建

新零售财经
2026-11-18 14:11:12
减仓幅度已创下二十年来最大

减仓幅度已创下二十年来最大

边际财经实验室
2026-11-18 19:56:02
远超比亚迪,暴赚3000亿!出口94万辆,这个国产汽车闷声发大财

远超比亚迪,暴赚3000亿!出口94万辆,这个国产汽车闷声发大财

莹莹的历史说
2026-08-22 07:36:52
中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

江启
2026-11-18 12:45:18
换了一圈手机,为何最后还是回到三星?聊聊三星手机真实的优缺点

换了一圈手机,为何最后还是回到三星?聊聊三星手机真实的优缺点

叮当当科技
2026-11-18 04:43:03
2026-11-19 01:00:49
锌产业 incentive-icons
锌产业
用技术范式,给未来一个解释。
269文章数 34关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
游戏
艺术
数码
公开课

房产要闻

6.6亿!海口卖地!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版