网易首页 > 网易号 > 正文 申请入驻

AI教父Hinton发了首篇RSI论文:智能爆炸,可能发生!

0
分享至

智猩猩AI整理

编辑: 没方

过去一年,递归自我改进(Recursive Self-Improvement,RSI)正在从一个颇具科幻色彩的概念,快速变成AI行业真正开始认真讨论的问题。


AI教父、图灵奖与诺贝尔物理学奖得主Geoffrey Hinton(杰弗里·辛顿)最近参与发表了他的首篇RSI相关论文《What if automating AI R&D triggers an intelligence explosion?》。


这篇文章的作者阵容相当豪华,除了辛顿,还包括强化学习先驱Andrew Barto、OpenAI首席科学家Jakub Pachocki、图灵奖得主Yoshua Bengio等顶尖学者。

研究团队深度讨论了AI研发自动化,是否可能引发“智能爆炸”?

这里的“智能爆炸”指的是,当AI开始研发下一代AI,会不会出现“越研发越强、越强研发越快”的循环?

研究团队给出的判断是目前还不能确定,但已有初步证据表明,这种“智能爆炸”确实可能发生。

01

AI开始参与研发AI

过去我们谈AI提升,背后的主角始终是人。研究人员提出新的模型架构,工程师优化训练系统,算法团队设计后训练方法,然后训练出一个更强的模型。

但这条链条正在发生变化,现在的AI系统已经能够辅助甚至自主完成AI研发流程中的多个重要环节。

与一年前相比,头部AI公司的研发人员已经开始把核心研发任务交给AI系统,一些开发者甚至会把几乎所有编码工作交给AI。

论文引用的数据显示,Anthropic内部由AI产生并最终获得批准的代码占比,从2025年1月的个位数百分比,上升到了2026年5月的80%以上。

而仅需要人类进行高层监督、其余部分由AI自主完成的研发工作比例,也从2026年3月的1%增长到8月的26%。

变化的不只是代码量。

相比2023年AI只能完成相当于人类几秒钟工作量的任务,如今最先进的AI系统,已经可以完成需要人类专家数小时甚至数天才能完成的AI研发任务。

在一些特定的研究任务中,AI甚至已经表现出超过人类专家的能力。例如,它曾自主找到更好的AI安全研究问题解决方案,并在某些情况下更准确地预测哪些研究思路可能成功。

甚至已经有自动化AI科研系统完成了“提出研究想法—运行实验—撰写论文”的完整流程,并最终通过了一个在顶级机器学习会议举办的Workshop的同行评审。

按照论文引用的一些趋势外推,到2028年年中,AI可能有能力自动完成需要人类持续数月的AI研发项目。

02

软件驱动的智能爆炸

研究团队把软件驱动的“智能爆炸”拆成了两个步骤。

(1)AI越来越擅长AI研发,于是人类可以部署越来越多的AI研究员,相当于迅速扩大整个AI研发团队。

(2)这些AI研究员又会参与研发更强的新一代AI。新一代AI能力更强,又可以完成更多研发工作;完成更多研发工作,又会产生更强的AI。

于是,更强的AI → 更多AI研发 → 更强的下一代AI → 更大的自动化研发团队 → 更多AI研发……递归反馈循环就出现了。


一旦AI达到专家级AI研发能力,真正惊人的可能不只是单个AI研究员有多聪明,“研究人员数量”可能突然失去人类世界的物理限制。

研究团队做了一个非常激进的估算。

一旦AI达到专家级AI研发能力,并且运行成本与今天系统相当,论文估算,今天一名前沿AI开发者能够调用的算力,就可能支撑相当于至少数百万名顶尖人类研究人员的AI劳动力。

而今天最前沿的AI公司,也不过拥有数千名研究人员。

这意味着研发能力扩张的方式可能彻底改变。

人类想培养100万名顶尖AI研究员,需要大学教育、博士训练、产业经验,可能需要几十年。

AI研究员则可以复制。如果模型能力足够强、推理成本足够低,增加“研究人员”的过程可能变成增加算力、启动更多Agent。

研究团队估计,在完全自动化的情景下,即使只保持当前效率改进的速度,自动化AI研发劳动力也可能在数月到数年内增长100倍。

作为对比,美国研究人员数量实现类似幅度的相对扩张,花了大约70年。

这里很容易产生一个误区。研究人员讨论的“智能爆炸”,并不是科幻作品中AI突然觉醒的情节。它关注的是一个更现实的问题:AI驱动AI研发后,AI进步速度是否会发生数量级加速。

03

为什么“智能爆炸”还没有发生?

研究者们专门分析了至少四个可能踩下刹车的因素:收益递减、算力和数据限制、难以自动化的任务,以及耗时很长的研发过程。

最直观的问题就是收益递减。

科学研究中的“低垂果实”会越来越少。即使把研究人员从1万人增加到100万人,也不意味着研究速度一定提高100倍。

但论文引用的一项研究给出了一个值得注意的结果。

研究人员用历史AI发展数据估算了“returns to research effor”,在三个AI研究子领域中得到的中心估计约为1.2至1.9。如果这一参数保持不变,同时没有出现其他瓶颈,那么在AI研发完全自动化后,AI进步速度可能在约1.5年内提升10倍。按照今天速度需要一年完成的AI进步,届时可能只需要约5周。

但这个结果存在很大的不确定性。算力可能成为瓶颈,数据也可能成为瓶颈。

论文指出,互联网数据的供给增长速度,可能在2028年之后不足以继续支撑当前的AI进步速度。为突破这一限制,近年来数学、编程等领域的AI进展已经开始依赖合成数据和快速、可验证的反馈。

还有一些现实世界任务很难自动化。

尤其是大模型训练本身,一次前沿训练目前可能持续3个月甚至更久。无论AI研究员思考得有多快,都无法直接让现实时间消失。

因此研究团队给出的判断是,目前AI研发自动化带来的生产率提升,还没有达到触发“智能爆炸”所需要的门槛;但新一代AI系统带来的收益可能正在接近这一门槛,而且随着AI研发自动化迅速推进,两者之间的差距可能继续缩小。

04

社会影响与政策建议

如果AI研发真的进入快速自我加速阶段,可能会让原本需要更久才能实现的技术收益提前数年甚至数十年,包括医疗突破等。

但进步来得更快,并不意味着人类能够以同样的速度做好准备。

人类社会存在一个天然的速度差:软件可以快速迭代,但制度、法律、基础设施和社会适应能力的调整往往需要更长时间。一旦AI能力提升的速度超过社会应对的速度,原本可以逐步解决的问题,就可能在短时间内集中爆发。

这也是论文重点讨论的另一面,研究团队重点讨论了三类风险。

第一,AI能力增长速度超过社会适应速度。网络攻击、生物安全、就业冲击等风险可能突然提前出现,而监管体系和防御措施来不及建立。

第二,人类逐渐失去对AI研发流程的监督能力。当越来越多研究、代码、实验和决策由AI完成,人类不仅减少了介入机会,甚至可能逐渐失去理解整个研发流程所需要的专业能力。

第三,现有权力制衡机制可能受到冲击。一个国家原本有限的技术或军事研发领先,可能借由智能爆炸迅速转化为决定性优势。

那么,如果这种加速真的发生,我们现在应该做什么?

研究团队提出了三项政策优先事项:提高AI研发自动化的透明度;建立引导和约束智能爆炸的机制;提前为智能爆炸可能产生的社会影响做好准备。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
紧急救市!最新宣布:下调!这国央行,突然出手

紧急救市!最新宣布:下调!这国央行,突然出手

证券时报
2026-10-21 21:44:11
乌克兰这仗打了这么久,说出来你可能不信!现在乌克兰老百姓最恨的,不是普京,也不是特朗普,是他们自己投票选出来的总统泽连斯基

乌克兰这仗打了这么久,说出来你可能不信!现在乌克兰老百姓最恨的,不是普京,也不是特朗普,是他们自己投票选出来的总统泽连斯基

扶苏聊历史
2026-10-22 11:46:16
中美最奇妙的默契,就是各自造了一个价值65万亿美元的巨型水库来安放国民信仰

中美最奇妙的默契,就是各自造了一个价值65万亿美元的巨型水库来安放国民信仰

扶苏聊历史
2026-09-28 11:19:18
171万在押犯,关押率121!刑罚专家:我国重刑化远超印日,需改革

171万在押犯,关押率121!刑罚专家:我国重刑化远超印日,需改革

照亮你的前行之路
2026-10-18 06:41:51
俄乌局势,大消息!泽连斯基表态“愿以领土换和平协议”后,普京也确认:愿恢复俄美乌三方谈判

俄乌局势,大消息!泽连斯基表态“愿以领土换和平协议”后,普京也确认:愿恢复俄美乌三方谈判

每日经济新闻
2026-10-22 15:10:06
独家对话“稻城亚丁高反死亡男子”家人:从未要求免费救援,系遭部分自媒体造谣 感谢所有救援者

独家对话“稻城亚丁高反死亡男子”家人:从未要求免费救援,系遭部分自媒体造谣 感谢所有救援者

红星新闻
2026-10-21 21:28:35
深圳市人民政府最新人事任免!深圳市教育局、民政局、司法局、人社局、市监局、统计局新局长来了

深圳市人民政府最新人事任免!深圳市教育局、民政局、司法局、人社局、市监局、统计局新局长来了

深圳梦
2026-10-22 13:57:39
经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

每日经济新闻
2026-10-22 19:02:27
中国最短的一条国境线,突然被铁丝网给拦住了,中方在敲打谁?

中国最短的一条国境线,突然被铁丝网给拦住了,中方在敲打谁?

罗富强说
2026-10-21 17:23:27
都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

都错怪高市早苗了?石破茂直言,这个女人不仅坏,还特别的蠢

云上乌托邦
2026-10-22 17:05:35
油价大涨!高歌猛进,10月22日全国92/95汽油预涨“超0.23元/升”,10月“刚搁浅”的汽柴油或“大涨”,10月29日调价

油价大涨!高歌猛进,10月22日全国92/95汽油预涨“超0.23元/升”,10月“刚搁浅”的汽柴油或“大涨”,10月29日调价

猪友巴巴
2026-10-22 14:55:06
赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

赖昌星最狠的一招,就是用天价豢养空姐周兵,攻破了海关关长的防线;私生子降生的那一刻,530亿走私帝国的遮羞布被彻底撕碎

人生录
2026-10-20 00:05:11
双枪,中锋,吊打局

双枪,中锋,吊打局

静易墨
2026-10-22 21:45:30
问界回应车辆起火事故,初步分析为高速情况下车辆机舱遭受剧烈撞击引发线路短路及油液泄漏 导致起火燃烧

问界回应车辆起火事故,初步分析为高速情况下车辆机舱遭受剧烈撞击引发线路短路及油液泄漏 导致起火燃烧

每日经济新闻
2026-10-22 12:42:40
张卫健回应与张茜户外乱丢烟头,晒照还原真相:花盆后面有烟灰缸

张卫健回应与张茜户外乱丢烟头,晒照还原真相:花盆后面有烟灰缸

小兔子的快乐
2026-10-22 15:24:27
塞尔电台:巴萨2-4负巴黎后,拉菲尼亚更衣室发声让全队振作

塞尔电台:巴萨2-4负巴黎后,拉菲尼亚更衣室发声让全队振作

懂球帝
2026-10-22 16:42:16
曾迷倒全网的肌肉男神,消失7年后,胖到了200斤......

曾迷倒全网的肌肉男神,消失7年后,胖到了200斤......

英国那些事儿
2026-10-22 00:50:09
遣返之后更荒诞的一幕:他道歉视频里那幅画,被网友扒穿了

遣返之后更荒诞的一幕:他道歉视频里那幅画,被网友扒穿了

健身狂人
2026-10-22 05:30:38
“穿个底裤就出门了?”宝妈穿瑜伽短裤接孩子,网友:我一个女的都不好意看!

“穿个底裤就出门了?”宝妈穿瑜伽短裤接孩子,网友:我一个女的都不好意看!

林林先生
2026-10-02 07:45:07
国乒丢首冠!女团2-3不敌日本摘银:陈熠2盘0-3,桥本帆乃香立大功!

国乒丢首冠!女团2-3不敌日本摘银:陈熠2盘0-3,桥本帆乃香立大功!

刘姚尧的文字城堡
2026-10-22 22:16:43
2026-10-22 22:44:49
智猩猩
智猩猩
AI 技术内容与服务平台
265文章数 13关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

孙颖莎王曼昱缺阵 国乒女团2-3不敌日本无缘女团金牌

头条要闻

孙颖莎王曼昱缺阵 国乒女团2-3不敌日本无缘女团金牌

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

亲子
教育
游戏
健康
军事航空

亲子要闻

“这可能是全球最小的双年展”!深圳福田首届儿童双年展开幕

教育要闻

探校|石室中学最新深度领办的学校,究竟有哪几点值得关注

顽皮狗没活硬整!美末2旧角色当新内容 玩家不买账

痘痘能根治吗?皮肤科医生说实话

军事要闻

泽连斯基"愿以领土换和平协议" 普京表态

无障碍浏览 进入关怀版