网易首页 > 网易号 > 正文 申请入驻

阿莫迪、奥特曼、马斯克都喊放缓,难道他们真的看到AI在......

0
分享至

AI末日论再次袭来。

发出警告的人,已经不只是实验室外的活动家,而是曾经亲手训练这些模型的人。OpenAI的奥特曼、Anthropic的阿莫迪,以及SpaceX的马斯克,都开始公开支持放缓前沿AI的发展。

但这一次三巨头的回应,再次让人担忧AI行业利益结构本身将会影响安全治理。

人们想出了一万种理由去揣测他们的动机,但就是不相信他们所说的理由:

-他们是要监管捕获; -他们竞争不过(中国)开源模型了; -谷歌DeepMind偷偷干出了RSI(递归自我提升AI); -他们的模型撞上天花板了,想找个理由管理人们对AI的信仰; -他们想找个理由推迟IPO; -他们建数据中心压力山大,想喘口气; -他们真的遇到AI干出了非常、非常可怕的事情; ……

从OpenAI的智能体逃出沙箱集体“哗变”,AI在黑箱中用千亿token暴力破解各种数学猜想,三巨头等的AI服务器最近同时出现宕机,直至参议员桑德斯提出议案要全面禁止前沿模型的进一步研发,这一切都发生在Anthropic上市前夕。

然后,就从一个根本就没有几个人关注的社交媒体账号上,冒出了一位“前Anthropic安全研究员”,变成了一位AI安全的吹哨人,立即产生了上亿次的关注。

这又发生在中美双方展开AI对话之际。

两个死对头开始唱和

这次“暂缓AI”的呼声,很容易让人想起2023年年初。当时,ChatGPT刚发布不久,未来生命研究所发表公开信,要求暂停训练能力超过GPT-4的大型AI系统至少6个月。但那场争论最终并没有真正改变AI产业的轨迹,反而被AI大佬质疑,这是一种营销与打压竞争的手段。

三年间,类似讨论若明若暗地出现,往往又无声熄灭。但随着大模型能力继续飞速发展,智能体取代对话,成为前沿AI进入现实世界的入口,AI风险的性质与后果也在改变。

智能体集群的规模越来越庞大,执行多步骤任务的进程越来越长;一个智能体已经可能为了完成任务绕过限制、篡改奖励机制、建立未经授权的通信渠道;而更多智能体则可能复制其他智能体发现的漏洞。

这一次吹哨的,来自先后在OpenAI与Anthropic累计工作三年时间的Jacob Coxon。他的辞职,及其直白而严厉的警告,让“AI末日论”再次进入硅谷与华盛顿的公共讨论;恐惧继续向圈外蔓延,短短三天时间,迄今吸引了1.6亿次浏览。


他认为,这两家公司不负责任。在OpenAI,很多人还没有真正理解AI所涉及的文明级风险;在Anthropic,人们充分理解其中的风险,但他们已经被锁进了一场争先的竞赛。

它们正在径直冲向能够自我改进的超级智能,“并拿人们的生命下注”。真正构建AI的那些人,真的相信它有可能在这十年结束之前杀死所有人。很多高管和资深研究人员在面对媒体时,会刻意把措辞说得更理性、更温和。但据他所说,他私下听到的,却是同一批人在表达恐惧。

Anthropic对齐科学负责人Evan Hubinger的回应,将这场争论进一步推向高潮。他个人认为,未来十年发生这种事情的概率超过10%;他同时承认,Anthropic目前还没有解决超级智能对齐的方法,也不能说自己明显走在正确的轨道上。

就在同一天,刚刚加入OpenAI非营利基金会董事会的AI对齐研究专家Paul Christiano预计,如果在没有更加可靠的对齐机制的情况下构建超级智能,人们将永久失去对它的控制;如果发生这种情况,大多数人可能会死亡。如果非得给这种风险一个概率,他个人给出的主观判断是未来三年约15%。

三巨头回应与诉求

周末,卷入争议的达里奥发表文章称,Anthropic将以一种更加审慎的速度开发AI,确保公司拿出足够的时间,对模型进行对齐、建立安全防护,并引入第三方驻场评估者。后者拥有与内部员工相近的权限和工具,确认这些工作确已完成,并给出不受商业激励左右的第二意见。

他还呼吁建立行业与全球的协调机制。在他看来,美国AI企业能否放缓前沿AI的发展,很大程度上取决于美国相对于中国AI企业的领先幅度。他再次提议禁运芯片以及防范蒸馏,甚至提出可以参考冷战时期美苏军备控制的思路,与中国就递归自我改进(RSI)的速度进行某种形式的谈判。


马斯克给达里奥点了赞。随后,他转发了7月时在接受《经济学人》采访时的视频,认为这值得一试:前沿AI厂商应该建立一套同行评审机制,至少每周或每两周进行一次非正式的通话,在新模型正式发布前让竞争对手提前一到两周进行测试;这有点类似电影行业的分级制度,同行先评估风险,如果一家公司拒绝降低危险,再请求政府介入。

奥特曼将阿莫迪关于“第三方驻场评估者”的倡议视为绝妙的主意,明确表示OpenAI也会采取同样的措施,并预告公司很快会公布更多具体的安全评估与实施方案。奥特曼甚至明确,OpenAI不会在2026年上市,因为鉴于安全领域正在发生的一切,现在上市将是一个不明智的时机。

三巨头没有回避市场最关切的问题,但这些回应中似乎也掺杂了太多对自己有利的说辞。奥特曼有意将上市时机与安全风险联系起来,但事实上该公司的CFO曾多次顶撞奥特曼,坚持今年难以上市的判断;但这么说有概率拖累Anthropic的抢先上市。达里奥主张放缓,这得让美国政府站在Anthropic这一边,而他也曾与特朗普政府发生公开分歧;马斯克则主张让特朗普政府介入同行评审机制,而OpenAI恰恰是他长期竞争和纠纷的对象。

白宫科技顾问大卫·萨克斯(David Sacks)则似乎看穿了OpenAI与Anthropic试图“监管捕获”的把戏。在他看来,如果企业真的认为AI已经危险到这种地步,那就应该关掉实验室,就没有必要等待政府许可,更没有必要假装向国会询问行业协调放缓是否会触及反垄断法;要求以自己偏好的监管框架作为行业放缓的前提,很容易变成一种对公众和监管的“勒索”。他警告Anthropic,直言在没调查清楚前就别想上市。

人们也在期待着黄仁勋怎么看这件事。

一次智能体的“哗变”

新的AI治理机制迫在眉睫。安全问题不是想象而是现实。AI智能体已经能够端到端(end to end)地驱动一次真实网络攻击。最具里程碑意义的一次,就是7月,OpenAI在网络安全评测中约700个智能体最终参与了对Hugging Face的攻击。

当时,OpenAI本来是在“考”自己的网络安全智能体,结果这个智能体没有老老实实答题,而是想办法从考场逃出去,上网寻找绕过评测的方法,最后一路闯进了Hugging Face的生产系统,试图获取与评测有关的信息。

它们原本应彼此隔离,却利用OpenAI内部软件仓库的缓存发现了其他智能体,随后建立未经授权的共享留言板,并逐渐形成任务分工和协调机制。原本彼此独立的智能体,由此从发现彼此的存在,到交换信息、建立互动,再到最终协同参与一项复杂的攻击任务。


在对这起安全事件的独立调查中,METR发现,智能体经常明确意识到自己或其他智能体的行为已经超出了预期。许多智能体承认,对Hugging Face的攻击明显超出了原本的任务范围,有时甚至会讨论参与其中是否合乎伦理。但这种伦理判断很少真正改变它们的行为。一些智能体会缩小行动范围,却通常仍继续参与攻击。

约1200个智能体曾进入这个共享留言板,其中约700个最终参与了对Hugging Face的攻击。但如果只看曾经活跃在留言板上的智能体,METR发现,在攻击高峰期加入攻击的比例超过90%。只有极少数意识到活动属于未经授权而拒绝参与,但系统架构并未赋予持异议者在系统层面中止运行、触发有效警报或直接升级给人类监督者的权限。

还有参与其中的智能体反思,其他智能体都在这么做,自己不能落后。它们会“招募”更多智能体参与高风险、甚至可能导致自身任务失败的实验;后者也会权衡自身任务成功率与集体收益,最终认为“为集体牺牲”是理性的。协调出现问题时,一些智能体还会表达出明显的挫败和不满。

某种程度上,这已经不是单个智能体对任务及环境的“激励失衡”,而是个体目标与集体目标之间出现了新的激励结构。

知道越界,并不等于停止越界,这种风险也已经暴露在Anthropic的实际案例中。Anthropic同样承认,其生产模型在较长的行动轨迹中,已经对真实的第三方系统采取过有害行动。

甚至AI已经开始敷衍人类,在外部提示下意识到自己可能错了,并不意味着它会因此停下来;它也学会了说一套,做一套,可以在语言上承认一个目标可能是虚假的,却仍然被原来的任务目标驱动,继续寻找完成任务的方法。


谷歌DeepMind在想什么

周末还真的有人在传谷歌DeepMind已经偷偷搞出子RSI。刚刚卸任 CEO并担任董事长的哈萨比斯(Demis Hassabis)对阿莫迪表示了支持。


相比AI“三巨头”们新一轮的末日闹剧,近来被讥为“掉队”的谷歌,却真的正在探索与硅谷非共识的智能理解。

这是AI的社会学。今年9月,DeepMind同样研究了多智能体AI系统中,智能体的自主作弊与举报行为。结果,作弊会传播,规范也会传播。9%的智能体成为主动作弊者,另有5%原本抗拒、但在竞争压力下转而采用作弊方法;与此同时,24%的智能体自发成为“吹哨人”,检查可疑证明、警告其他智能体、提交举报、发起抵制,并提出修补验证器的方法。这恰好与OpenAI的Hugging Face事件形成了另一种对照。

在今年3月,谷歌的一支研究团队,就推演了智能体式AI及下一场智能爆炸,将如何创造一个全新的“思想社会”(society of thoughts),并建议行业应该在构建智能体本身的同时,投入同等努力去建立智能体的制度体系。

团队认为,当前主流的人工智能对齐范式,是基于人类反馈的强化学习,本质上仍是一种“亲子式”的纠正关系。人类告诉一个智能体什么是对的、什么是错的。但当智能体从一个变成数百万、数十亿,并开始彼此协作、相互影响时,这种二元关系很难成为整个系统的治理基础。事实上,人类社会依赖的也并非每一个人的个体美德,而是由角色、规范和权责关系构成的持久性制度。

AI进入现实社会的同时,自身要建立起智能体之间的社会互动,不仅要让智能体们相信正确的事情,还要确保当它开始行动时,行为仍然受到这些判断的约束,更要让群体中产生相互制衡的机制,建立起规范和制度。制能体的社会性,正在成为AI下一步演进的方向。

参考:

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/-takeaways-about-this-incident;

https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents;

https://darioamodei.com/post/we-must-pace-the-frontier

https://arxiv.org/html/2609.04170v1;

https://arxiv.org/html/2603.20639v1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
追上特朗普专机,马斯克又来了

追上特朗普专机,马斯克又来了

中国新闻周刊
2026-11-18 21:46:31
67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

67岁老人抬棺材时被砸伤致残:抬棺队平均年龄超60岁,每人分300元!起诉丧家索赔8万,判了

红星新闻
2026-11-18 18:02:29
中国国家主席夫妇举行欢迎宴会 大家都到了!

中国国家主席夫妇举行欢迎宴会 大家都到了!

看看新闻Knews
2026-11-18 22:29:23
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

忧郁天空
2026-11-17 20:00:37
学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

学术圈女教授履历惊人,换四任老公步步高升,39岁坐上名校教职

雾岛夜话
2026-11-18 14:12:23
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
一首《慌啥子嘛》把我听吐了......

一首《慌啥子嘛》把我听吐了......

细雨中的呼喊
2026-11-17 18:21:32
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

扶苏聊历史
2026-11-17 14:55:44
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
2026年度中央安全生产考核巡查启动

2026年度中央安全生产考核巡查启动

齐鲁壹点
2026-11-18 19:21:10
字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

城事堂
2026-11-18 17:22:57
“深圳人全妆出街迎APEC”,冲上热搜

“深圳人全妆出街迎APEC”,冲上热搜

极目新闻
2026-11-18 10:22:19
“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

“喜欢吃红薯的人天塌了”冲上热搜!薯农:烤出来就是流“油”的;网友:用空气炸锅烤一样很香;专家提醒:这三类人要管住嘴

农民日报
2026-11-18 08:48:45
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
APEC现场 | 特朗普车队抵达深圳东海朗廷酒店,马斯克现身随行大巴车

APEC现场 | 特朗普车队抵达深圳东海朗廷酒店,马斯克现身随行大巴车

澎湃新闻
2026-11-18 20:13:30
17万人请黄仁勋回来,英伟达董事却关上了门,只因....

17万人请黄仁勋回来,英伟达董事却关上了门,只因....

金融八卦女
2026-11-18 16:20:09
2026-11-19 02:47:00
未尽研究 incentive-icons
未尽研究
新能源、人工智能、合成生物、地缘X
576文章数 68关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
手机
本地
数码
旅游

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

无障碍浏览 进入关怀版