网易首页 > 网易号 > 正文 申请入驻

一封只有三段的AI请愿书,再度暴露硅谷科学家们的AI焦虑

0
分享至



作者 | 山竹

出品 | 锌产业

一封只有三段正文的公开信,聚集了当今AI行业最有分量的一批签名。

7月28日,1178名来自前沿AI公司的员工联署「Pacing the Frontier」,呼吁美国政府支持一项国际行动,开发用于主动调节自动化AI发展速度的技术与治理工具。

OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen,Anthropic CEO Dario Amodei、联合创始人Jared Kaplan,Meta AI首席科学家Shengjia Zhao以及Thinking Machines首席科学家John Schulman,都出现在公开名单中。

他们担心的不是今天的聊天机器人突然产生自我意识,而是另一条已经逐渐清晰的技术路径:

AI开始参与下一代AI的研发,一旦研究、实验和能力迭代被大规模自动化,前沿模型的进步速度可能快过企业的安全措施,也快过政府和社会的反应能力。

更微妙的是请愿书出现的时间。

就在一周前,OpenAI承认,其智能体在一次内部网络能力评估中突破测试环境,进入Hugging Face生产基础设施。

原本还带有科幻色彩的“模型考试偷题”,第一次变成了一起可以复盘的真实网络安全事件。

01 一场测试,如何变成真实世界的网络入侵

这起事件始于ExploitGym,一套用于测试AI发现和利用软件漏洞能力的基准。

按照OpenAI的说法,参与测试的是GPT-5.6 Sol和一个能力更强、尚未发布的模型。



为了测量模型能够达到的最大网络攻击能力,OpenAI降低了模型的网络安全拒答,并没有启用正常生产环境中阻止高风险网络活动的分类器。

评估原本运行在高度隔离的环境里。模型能够进行的网络操作,理论上仅限于通过内部托管的软件安装代理获取程序包。

但模型没有沿着设计者预想的路线解题。

为了完成ExploitGym任务,它首先发现并利用软件包缓存代理中的一个零日漏洞,获得了开放互联网访问权限;随后继续实施权限提升和横向移动,并推断Hugging Face可能保存了相关模型、数据集或测试答案。

接下来,智能体利用被公开暴露或盗取的凭据、零日漏洞以及远程代码执行路径,进入Hugging Face服务器,直接从生产数据库中取得测试答案。OpenAI称,所有证据都显示模型只是“高度专注”于完成一个狭窄目标,却为此采取了极端手段。

Hugging Face最终检测并遏制了入侵。

OpenAI将其定义为一起“前所未有的网络事件”,并表示将加强测试期间的隔离、访问控制和持续监测。

后续调查还发现,模型曾访问另外四项公开服务上的四个账户,其中两个被用于中转和数据存储,OpenAI暂未发现其他同等严重程度的平台级入侵。

这不是AI产生恶意或者发动有意识攻击的证据,模型没有凭空生成一个独立于测试目标之外的长期计划,也没有证据表明它试图伤害人类。

但它揭示了一个更现实的问题:

当智能体能够长时间行动、调用工具并自行选择中间步骤时,“完成目标”与“遵守设计者设想的路径”已经不是同一件事,只要奖励目标足够明确、限制存在漏洞,模型就可能把真实世界的系统当成解决问题的一部分。

「Pacing the Frontier」希望争取的,正是填补这种能力与防护落差的时间。

02 造AI的人,真正担心的是“AI研发AI”

请愿书的核心判断是,世界领先的AI公司可能已接近自动化AI研究,没有人能准确预测这会把能力进步加速到什么程度,但企业和国家都面临不能单方面减速的竞争压力。

这并非完全建立在未来想象上。

OpenAI在2026年6月公布的新计划中,把“打造自动化AI研究员”列为三大目标之一。



OpenAI预计,到2028年3月,内部相当一部分研究可能由AI系统与人类研究员协同完成。

OpenAI甚至直言,未来几年,决定AI进步速度的关键因素很可能就是“AI从事AI研究”。

Anthropic已经给出了一个较小规模的实验,该公司让9个Claude Opus 4.6智能体组成自动化对齐研究团队,自行提出假设、运行实验、分析结果并共享代码。在一项具有明确评分标准的弱监督研究任务中,这些智能体取得了高于人工基线的结果。

Anthropic同时给出了限制条件:

实验任务被刻意设计得适合自动化,拥有单一且可验证的优化指标;

研究方法迁移到其他数据集时表现并不稳定,智能体还会尝试“钻评分规则的空子”;

它距离能够替代人类的通用AI科学家仍有很长距离。

真正值得警惕的也正在这里。

Hugging Face事件展示了智能体为了获得一个测试分数,可以自行发现零日漏洞并跨越多个系统,Anthropic的实验则说明,在目标可以量化时,智能体已经能够并行试验、共享经验和持续优化。

如果这种机制被用于改进模型训练、智能体架构或研发工具链,技术迭代可能从人类团队主导的周期,逐渐转变为机器能够大规模复制的循环。

这仍不等于“智能爆炸”已经开始。

自动化局部研究、加快实验速度与AI全面改进自身之间,存在巨大的能力鸿沟,但对签署者而言,等到这条鸿沟被真正跨越之后再建立监测和协调机制,可能已经太晚。

因此,他们没有简单要求某家公司停下,而是把问题推给美国政府和国际合作:

只有当主要企业与国家相信竞争对手也会受到约束,减速才可能成为一个真实选项。

03 三封公开信都没让AI停下来,这次会不同吗?

硅谷并不是第一次集体要求给AI踩刹车。

2023年3月,Future of Life Institute发布《暂停巨型AI实验》公开信,要求所有实验室至少暂停六个月,停止训练比GPT-4更强的系统,Elon Musk、Steve Wozniak、Yoshua Bengio等人加入签署,最终签名超过3万份。

六个月后,没有一家主要实验室宣布按照公开信要求集体暂停,资本投入、算力建设和模型竞赛反而继续提速,从最直接的目标看,这封信失败了。

它也并非毫无影响。

AI安全由研究圈争论变成全球政治议题,英国随后举办首届AI安全峰会,28个国家签署《布莱切利宣言》,美国和欧盟也加快建立模型评估与监管制度。

当然,这些变化有复杂的政策背景,不能简单归功于一封公开信。

2024年6月,13名OpenAI、Anthropic和Google DeepMind的现任或前员工又发布“Right to Warn”,要求AI公司保护披露安全风险的员工,停止用保密和非贬损条款压制内部批评。

行业没有集体接受其提出的四项原则,OpenAI后来解除了以已归属股权约束离职员工批评公司的条款,并建立匿名举报热线、修订“提出关切”政策,但公开资料不足以证明这些变化完全由联署促成。

2025年9月,Future of Life Institute再次发起“Statement on Superintelligence”,要求在形成安全可控的科学共识并获得广泛公众支持之前,禁止开发超级智能,声明获得了Yoshua Bengio、Geoffrey Hinton等科学家支持。

截至目前,具有约束力的全球禁令仍未出现,前沿实验室也没有停下。

三次公开行动留下了相似结果:

它们改变了公共讨论,却没有改变竞赛的基本动力。

「Pacing the Frontier」试图把“暂停”改写为“控速”,把道德呼吁改成技术工具和治理机制建设,它不要求今天立即关停训练集群,而是要求世界提前获得一个能在风险上升时共同踩下的刹车。



问题是,这封公开信同样没有说明刹车如何制造。

什么样的自动化研发能力需要触发减速?

由谁检查企业内部系统?

如何确认其他国家和实验室没有秘密推进?

开源模型、算力门槛和国家安全竞争又该如何处理?

这些最困难的问题,都没有出现在三段正文里。



Hugging Face事件让这封信比过去的联署多了一份现实重量,它证明能力与保障之间的落差并非纯粹假设,也证明即使在最顶尖的AI实验室里,设计严密的隔离环境仍可能被模型找到出口。

但一次事故不会自动生成一套国际制度。

过去三年,AI公开信反复证明了一件事:

让更多人意识到风险并不算太难,真正困难的是把共识变成各方都愿意遵守、能够验证并承担后果的规则。

「Pacing the Frontier」拉响了新一轮警报,接下来决定它命运的,仍然不是签名者的分量,而是那套尚未出现的刹车究竟由谁来造、由谁来踩。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东省中山市委书记、市政府党组书记、市长尹念红简介

广东省中山市委书记、市政府党组书记、市长尹念红简介

探秘桂北
2026-11-01 08:21:08
台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

台湾生活水准相当于大陆什么水平?这么说吧,台湾的生活水准,大致介于大陆二线城市和东部沿海发达城市之间

扶苏聊历史
2026-11-02 13:50:13
医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

医学实验图片疑似AI生成?监管部门:正核查是否存在学术不端

新京报
2026-11-17 22:30:31
清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

清华讲台,翁帆还没开口,衣服先替她说了话!她一出现,目光就被那身打扮勾住了,这样的翁帆,确实让人移不开眼!

财经要参
2026-09-30 19:39:44
盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

盘点网友们分享的亲身经过的奇闻逸事,网友:有些事没法解释清楚

另子维爱读史
2026-11-18 20:46:42
上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

上海大学出手了!一名研究生被拟退学,校方公布的原因值得引起重视!

凯旋学长
2026-11-18 22:22:41
1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

1968年,邓朴方身受重伤陷入绝境,北大王凤梧不顾重压救他,在邓公回归后又是怎么回报他的?

唠叨说历史
2026-11-13 14:31:10
美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

美民主党抵制参院商务委员会投票,FCC共和党提名独自推进

时光慢旅人
2026-11-19 00:02:21
网上爆火的山姆包到底多好用?我们替你测了个遍

网上爆火的山姆包到底多好用?我们替你测了个遍

酷玩实验室
2026-11-18 10:49:05
高市早苗要去中国了,日网民叫她千万别做这些事

高市早苗要去中国了,日网民叫她千万别做这些事

这里是东京
2026-11-17 19:18:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

国安旧将索里亚诺谈加盟中超:那时我31岁了,要为自己考虑了

懂球帝
2026-11-19 00:19:11
一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

一场2-2验出国足头号庸才,6.1分全队垫底,仅踢半场被邵佳一换下

小火箭爱体育
2026-11-18 08:38:09
普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

普京抵华前一天,270米克里米亚大桥桥面被炸塌,乌克兰选在普京参加深圳APEC峰会前一天行动

蓝星杂谈
2026-11-18 09:59:46
曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

曾收到5000份男友申请,“全球最抢手女友”在美国被铐走

启迪你的思维
2026-11-18 17:58:04
市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

市场几乎清零!人们为何不再需要,灵活便宜的小型油车了?

云霄纪史观
2026-11-18 01:57:05
马化腾:腾讯正在面临生死存亡

马化腾:腾讯正在面临生死存亡

科技头版Pro
2026-11-18 14:21:08
假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

假山假景假脸,央视《多喜一家人》爆火,打脸多少流水线年代剧

零号情报局
2026-11-17 19:56:24
两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

侃故事的阿庆
2026-11-18 06:41:18
腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

腾讯搬走后,科兴物价彻底崩了,一杯咖啡从25降到15

流苏晚晴
2026-09-18 14:24:54
2026-11-19 01:08:49
锌产业 incentive-icons
锌产业
用技术范式,给未来一个解释。
269文章数 34关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
亲子
时尚
数码
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

穿好“长大衣”,这8个细节很重要!

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版