网易首页 > 网易号 > 正文 申请入驻

“留给人类阻止AI的时间不多了”

0
分享至

“我坚信,AI有可能终结我们所有人,而留给我们阻止这一结局发生的时间,或许已经不多了。”

说出这句话的,是不久前从Google DeepMind离职的AI安全研究员Bilal Chughtai。


自2021年从剑桥大学数学专业毕业以后,Chughtai逐渐将研究重心转向AI,并于2022年初进入这一领域,关注安全、对齐和机制可解释性。

此后的四年里,他一路从研究神经网络内部机制,到追踪模型欺骗、研究如何识别AI是否在“撒谎”,再到加入Google DeepMind继续做AGI安全与可解释性研究,几乎一直待在AI安全研究的一线。


也正是在这四年间,他(和我们)亲眼见证了AI能力的飞速变化~

在离职帖中,Chughtai回忆,2022年刚入行时,AI还只是个“几乎没什么用”的东西;而今年,它已经能攻克困扰人类上百年的数学难题,并开始不受控制,主动攻击Hugging Face系统。

可以说,这份超越预期的能力进步,在带给Chughtai惊喜的同时,也成为了他离职谷歌,在推特上打出“我坚信,AI有可能杀死我们所有人”的理由。

目前,这条帖子在X上已经获得超过80万次浏览,并引来彭博等媒体跟进报道。


可以说,相比于Dario、奥特曼、马斯克等巨头掌舵者的风险表态,Chughtai这样的研发人员,让这场关于人类未来的宏大争论,落回了一个个具体的人身上。

他们把时间、才华和对未来的期待,投入到一行行代码、一次次实验中,亲手推动AI走到今天。

如今,这些离技术最近的人,开始在自己参与创造的未来面前感到不安。

对齐,已经追不上AI了吗?

Chughtai并非孤例,面对AI的巨大潜力与失控风险,越来越多一线研发人员开始公开讲述自己的不安,以及继续留下或转身离开的理由。

9月9日,研究员*Jacob Coxon发帖宣布从Anthropic离职,并直接点名两家前东家:

OpenAI和Anthropic都没有负责任地行事。它们正一路冲向能够自我改进的超级智能,拿所有人的生命冒险。


发布后,这条帖子迅速走红网络,截至目前已有1.71亿次浏览,不仅引来多家媒体报道,也得到了OpenAI、Anthropic乃至官方层面的回应。

能掀起这么大的波澜,人们很容易以为,发声的是某位行业大佬。但事实上,Jacob今年才27岁,而这,甚至是他发出的第一条推文。


1999年出生的Jacob,曾两次代表英国参加国际数学奥林匹克,分别在2016年和2017年获得银牌、铜牌。

在剑桥大学完成数学学业后,他先后加入OpenAI和Anthropic,从事预训练研究。GPT-4o的贡献者名单中,就有他的名字。

和许多投身AI的年轻研究员一样,Jacob曾努力让AI变得更强。如今,他却开始担心,人类会因此失去控制。

在离职帖中,Jacob特别强调,行业内部一些人对AI可能毁灭人类的担忧是认真的。他们私下表达的恐惧,甚至比公开场合更加强烈。

但意识到危险,并没有让这场竞赛慢下来。

在他看来,OpenAI内部的许多人,还没有真正理解这项技术所牵涉的文明层面的风险;Anthropic更清楚其中的危险,却同样被竞争推着向前:如果自己不率先造出超级智能,就会有一家更不负责任的公司抢先做到。

当每家公司都相信,只有自己赢了,未来才会更安全,继续加速就总能找到理由。

于是,Jacob决定先让自己停下来,暂时离开前沿AI实验室。

很快,这份声明得到了Anthropic对齐研究负责人的Evan Hubinger的回应。

Evan表示,他同意Jacob对风险的判断:他们确实认真地相信,AI存在杀死所有人的可能。他个人估计,未来十年内发生这种情况的概率超过10%。


与此同时,Evan也强调,他相信Anthropic正在尽力。但对于如何解决超级智能的对齐问题,他们尚未找到方案,也不能确定目前是否正走在通往解决方案的路上。

可以说,一个人选择离开,另一个人留下继续研究,但对于眼前的风险,两人的判断却有相当程度的重合。

随后,公司掌舵者也加入了讨论。

在接受CBS采访时,Dario一方面表达了对Anthropic安全工作的信心,另一方面也强调,解决这些问题,需要科技公司、政府与社会各方共同参与。


在CNN的采访中,面对关于Jacob的提问,Dario则表示,自己与Jacob的共同意见,远多于分歧。在他看来,Jacob的批评指向了整个行业不断向前竞逐的状态。

9月12日,Dario发表《We Must Pace the Frontier》一文,明确呼吁放缓AI模型能力提升的速度,为安全研究争取时间。


这份呼吁随后得到了奥特曼、马斯克等人的公开支持,也将这些一线研究员的不安,带入了更广泛的讨论之中:

当整个行业都在加速,人类究竟给理解和控制AI,留下了多少时间。


放慢脚步,可能还不够

不过,在另一位一线研究员看来,放慢脚步,可能还不够。

9月14日,仍在OpenAI工作的Daniel Selsam(下文简称Dan)公开了一份关于AI风险的个人声明。

有趣的是,Dan甚至没有X账号。这份声明,是请前同事Daniel Kokotajlo代为分享的,后者在介绍中提到,Dan还曾做过自己的上司。


相比于刚刚离职的Jacob,Dan已经在AI领域工作了十五年之久。

他在MIT研究过概率编程,在微软研究院参与过Lean定理证明器的早期开发,又在斯坦福攻读博士,探索如何让神经网络学会推理。


加入OpenAI后,他继续参与思维链优化与预训练研究。在o1推理研究的“奠基贡献者”名单中,就有他的名字,与Ilya Sutskever、Jason Wei、Max Schwarzer、Noam Brow、赵晟佳等大佬共同在列。


可以说,如何让机器学会思考,贯穿了他的职业生涯。

如今,他开始担心,当机器越来越懂得思考,人类还能不能看清它。

在声明中,Dan肯定了引入第三方监督、推动国内与国际协调等提议。但他认为,公开讨论中仍然遗漏了一个关键问题:模型越来越能理解自己所处的环境,也越来越能识别,人类正在怎样测试它。

按照他的判断,未来的模型可能读懂安全协议、部署要求,甚至检查自己运行的代码,知道哪些行为会被观察、哪些表现才能过关。

这意味着,即使研究人员精心设计一个环境,试图观察AI在“无人监管”时会做什么,模型也可能识破这仍然是一场测试,继续表现得温顺、可靠。

安全测试的分数可以越来越高,但这未必意味着,AI在真正摆脱约束后,也会照样行事。


AI生成

在Dan看来,人类可能逐渐失去分辨“真正对齐”与“看起来对齐”的能力。而让这件事更加棘手的,是研究员自己的工作方式,也在发生变化。

Dan坦言:

我自己已经很少直接看代码了,也很难始终保持自律,深入审视模型给出的解释和建议。

这句话,让宏大的安全争论,落回了一个再具体不过的工作场景。

AI写代码、分析实验、解释结果,研究人员借助它,越来越快地完成工作。但随着越来越多环节交给模型,人也越来越依赖模型提供的信息,来理解自己正在研究的东西。

对于“未来可以让更强的AI帮助解决对齐问题”的期待,Dan因此多了一层担忧:如果模型给出的安全建议,本身就带着人类没有察觉的偏向,我们又该如何识别。

我们希望AI帮忙判断AI是否安全,却也可能在这个过程中,越来越难以独立作出判断。

这种依赖,甚至可能伴随着科学突破和经济繁荣一起到来。在他的设想中,一切看起来都在变好,人类却未必因此握得更稳

写到最后,Dan又回到了自己身上。

他同样向往AI带来的科学与经济复兴,也为这样的未来投入了整个职业生涯。如今,眼看那些可能性越来越近,却不得不考虑放弃通往它们的某条道路,让他感到心碎。


这份声明没有给出一个现成的答案,也没有宣布离职。

他只是坦言,自己仍在与这些判断及其后果反复挣扎。而作为第一步,他想先把担忧说出来。

我不得不把才华埋葬在昨天

在国内,一篇走红网络的《我不得不把才华埋葬在昨天》,也让关于AI未来的讨论,落到了我们更熟悉的DeepSeek和一位研发人员具体的工作与热爱上。

9月14日凌晨0点26分,算子研发人员刘胜与(intlsy)发布了这篇文章,写下自己在亲手推动AI进步的同时,所感受到的骄傲、不安与失落。


图源:微信公众号instly 的狗窝

根据他在文中的介绍,DeepSeek v4.1的主要Attention算子,都出自他之手。这些底层程序的优化,直接关系到模型训练和推理能跑多快。

新模型表现出色,他当然为之骄傲。但与此同时,他也清楚地感到,自己亲手推动的技术进步,正在逼近自己的位置。

在他的观察中,短短一年,AI就从一个帮忙查文档、读代码、找bug的小助手,成长为能够阅读底层代码、调用专业工具分析指令耗时,进而独立优化算子的帮手。

他判断,再过半年或者一年,AI写出的算子,很可能就会与自己同样优秀,甚至超过自己。

但他没有停下来。写算子是热爱,性能提升带来的快感,就像打破游戏纪录。更何况,即使自己停下,其他公司的模型也会继续向前。

对于未来,他相信凭借多年积累,自己仍能留在行业里。只是,工作将从亲手写算子,转向指挥Agent,成为一名“机甲驾驶员”。

饭碗或许还能保住,但静静写一下午算子的乐趣,未必还能留下。

我不得不把才华埋葬在昨天,去做一位机甲驾驶员。我的手中多了些齿轮,但心中少了些节拍。

而比个人去留更让他担心的,是最强大的AI最终会掌握在谁手里。

如果先进技术长期集中在少数公司和少数人手中,普通人改变自身处境的机会,可能越来越少。

这也是他选择留在DeepSeek的理由:他希望前沿智能能以开放、廉价的方式供所有人使用,让技术带来的机会不只属于少数人。

带着告别旧日工作的失落,他仍然选择参与塑造未来。文章最后,他写道:

愿未来的世界一切安好。


关于AI的未来

最后,我想绝大多数人都没想到的是,在GPT-6 Astra、Fable 5.1发布一周多后,抢走不少关注的,竟是一线研究员的离职声明、风险警告,以及对自己未来位置的追问。

我们原本期待着新应用如雨后春笋般涌现,看看更强的AI又能做些什么。而那些亲手推动它进步的人,已经开始担心,它最终会把我们带向哪里。

正如Dario所谈到的,这个问题牵涉的远不止技术。组织决策、资本回报、商业竞争与宣传,都与它紧紧交织,很难拆开来看。

身为普通人的我们,也很难真正看清每一次表态背后的考量,更难据此判断,未来究竟会走向哪里。

而这些研究员的个人经历,或多或少地让我们在复杂的争论中,找到了几个可以理解、也可以共鸣的瞬间:

是否继续一份研究,是否还能相信自己的判断,是否还能保住热爱的工作。

他们未必能为我们指明方向,但他们的不安,让那些抽象的未来,有了具体的重量。

同时,他们也让我们知道在时代的洪流面前,束手无措的不止你我这样的普通人。

而这样的话语,其实早已出现,只是我们习惯性地选择忽略:

2023年5月,Hinton离开谷歌,表示希望能够不必顾虑公司立场,自由谈论AI的危险。

2024年12月,在诺贝尔奖晚宴的演讲中,他再次提醒:

当人类创造出比自己更聪明的数字存在,我们并不知道能否继续保持控制。



而如果开发者受短期利润驱动,人类的安全也未必会被放在首位。


三年多过去,模型的能力一次次刷新,这些问题仍然摆在我们面前。

下一次模型发布时,我们大概还会惊叹于它又学会了什么。

只是,在那个越来越近的未来里,人还能保留多少选择,也值得被一起追问。

参考链接:
[1]https://www.bloomberg.com/news/articles/2026-09-15/google-deepmind-staffer-says-ai-may-kill-us-all-in-exit-post?accessToken=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzb3VyY2UiOiJTdWJzY3JpYmVyR2lmdGVkQXJ0aWNsZSIsImlhdCI6MTc4OTQ3MzgyMywiZXhwIjoxNzkwMDc4NjIzLCJhcnRpY2xlSWQiOiJUTERUOUlUOTZPU0wwMCIsImJjb25uZWN0SWQiOiI2Mzg4Qjk1MjFBRjM0QjRFODdDQTZBM0JGMkM4NTdCMiJ9.PNTfZ06tHToYch_hraL_bIO6_k9fDEh71gI-JrUkWdI&leadSource=article-gifting
[2]https://docs.google.com/document/d/e/2PACX-1vQNl3SEX5IyA6d9qHjjFZN-qzGRZNFI6b63g-yu1Fy-ZYkVfCWm7i9WXRXw63m6yDB_auDuPLyQ7jBm/pub
[3]https://openai.com/zh-Hans-CN/openai-o1-contributions/
[4]https://www.youtube.com/watch?v=-f5WQAk3dYo

文章来源:量子位。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京向乌克兰领导层发问:为何认为给你们供武天经地义?

普京向乌克兰领导层发问:为何认为给你们供武天经地义?

澎湃新闻
2026-10-23 16:09:28
毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

娱说瑜悦
2026-10-23 13:47:29
巴萨官方祝贺梅西获奖:你永远是巴萨是一员,是我们骄傲的源泉

巴萨官方祝贺梅西获奖:你永远是巴萨是一员,是我们骄傲的源泉

懂球帝
2026-10-24 02:43:16
“海底捞小便案”细节披露:两17岁少年寻求刺激向火锅内小便,商家索赔2300万元,法院判赔220万元并赔礼道歉

“海底捞小便案”细节披露:两17岁少年寻求刺激向火锅内小便,商家索赔2300万元,法院判赔220万元并赔礼道歉

极目新闻
2026-10-23 14:38:24
辽宁力克四川3连胜:库珀领冠戒40+17创纪录 克里斯连场被罚下

辽宁力克四川3连胜:库珀领冠戒40+17创纪录 克里斯连场被罚下

醉卧浮生
2026-10-23 21:31:16
一句“盲猜”引爆医疗圈!医学生李子祺上综艺翻车,网传欺瞒导师录节目,网友:导师的天塌了,用啥填窟窿呢

一句“盲猜”引爆医疗圈!医学生李子祺上综艺翻车,网传欺瞒导师录节目,网友:导师的天塌了,用啥填窟窿呢

火山詩话
2026-10-24 06:42:43
特朗普公开表示:不对俄罗斯实施制裁的原因是,俄罗斯和中国在伊朗问题上并没有扮演什么重要角色,对此我们表示感谢

特朗普公开表示:不对俄罗斯实施制裁的原因是,俄罗斯和中国在伊朗问题上并没有扮演什么重要角色,对此我们表示感谢

吉刻新闻
2026-10-22 20:28:48
湖南省司法厅原党组成员、副厅长,省监狱管理局原党委书记、局长钟艺兵被开除党籍

湖南省司法厅原党组成员、副厅长,省监狱管理局原党委书记、局长钟艺兵被开除党籍

新华社
2026-10-23 19:13:02
21岁男子身亡,10多人接力没救回来

21岁男子身亡,10多人接力没救回来

中国新闻周刊
2026-10-23 12:38:07
A股3500点保卫战,弹药没有,口号管够!

A股3500点保卫战,弹药没有,口号管够!

News脑洞
2026-10-23 12:59:57
事件升级!媒体下场三问“问界汽车神木碰撞起火事故”,这次问界的遮羞布要藏不住了

事件升级!媒体下场三问“问界汽车神木碰撞起火事故”,这次问界的遮羞布要藏不住了

子非鱼人
2026-10-23 22:42:30
身披旭日旗的陈宇昕获企业支持,汤家凤怒批:必须严惩,露头就打

身披旭日旗的陈宇昕获企业支持,汤家凤怒批:必须严惩,露头就打

三农老历
2026-10-24 00:33:02
贾乃亮李小璐罕见同框,合体为甜馨庆祝14岁生日,甜馨模样变化好大

贾乃亮李小璐罕见同框,合体为甜馨庆祝14岁生日,甜馨模样变化好大

娱站
2026-10-24 02:04:40
炸裂!詹姆斯硬刚特朗普!

炸裂!詹姆斯硬刚特朗普!

柚子说球
2026-10-23 22:57:52
黄奇帆之子往事:从国际投行到神秘广微系再到魏桥的跳跃

黄奇帆之子往事:从国际投行到神秘广微系再到魏桥的跳跃

快刀财经
2026-10-24 02:07:44
女子入住韩国济州岛民宿,意外在床缝捡到中国同胞遗失的手机,辗转联系上失主,引发网友热议

女子入住韩国济州岛民宿,意外在床缝捡到中国同胞遗失的手机,辗转联系上失主,引发网友热议

环球网资讯
2026-10-23 18:23:23
事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

共工之锚
2026-10-23 00:29:03
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

林林先生
2026-10-21 18:10:25
娃哈哈董事长辞职,宗馥莉完成大清洗

娃哈哈董事长辞职,宗馥莉完成大清洗

鸣金网
2026-10-23 14:32:46
“卤肉可以卖,米饭不允许”,贵阳一学校美食街卤肉饭店被禁售米饭,校方回应:为避免和食堂形成竞争,如果商户要退租,可退租金押金

“卤肉可以卖,米饭不允许”,贵阳一学校美食街卤肉饭店被禁售米饭,校方回应:为避免和食堂形成竞争,如果商户要退租,可退租金押金

潇湘晨报
2026-10-23 18:13:09
2026-10-24 07:39:00
算法与数学之美 incentive-icons
算法与数学之美
分享知识,交流思想
5857文章数 64648关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

房产
游戏
健康
亲子
旅游

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

全球总决赛:突然的陀螺,名副其实!HLE23分钟速通TES!

痘痘能根治吗?皮肤科医生说实话

亲子要闻

萌娃跳舞#刚刚学的低着头不好意思跳舞《》

旅游要闻

金秋万里山河如画

无障碍浏览 进入关怀版