“AI可能十年内杀死所有人”：Anthropic研究员裸辞，对齐负责人回应概率超10%

随手先关注，不错过每日AI热讯速递

9 月 9 日，一条辞职帖刷穿了整个 AI 圈。在 OpenAI 和 Anthropic 做了三年大模型预训练研究Jacob Coxon，当天在 X 平台宣布离开 Anthropic，并直接退出 AI 行业[1][2]。

①

Coxon 的指控毫不留情。他说两家公司正在“径直冲向自我改进的超级智能，拿我们的生命做赌注”[1]。

英文原话是 “racing straight to self-improving superintelligence and gambling with our lives”——径直冲向能够自我改进的超级智能，拿我们的生命做赌博[1]。

更狠的是这句原话：“the people building AI earnestly believe that it could kill us all by the end of the decade.”

——从事 AI 研发的人真诚地相信，它可能在本十年末杀死我们所有人。他还强调，这不是营销噱头[2]。

他还警告，这些系统很快会成为“能黑进任何系统、一夜之间颠覆任何领域、获取真实权力与资源”的超级人类系统[2]。

在他看来，Anthropic 的处境更讽刺：风险被公司内部充分理解，却自认困在一场必须赢的竞赛里。Coxon 把这种逻辑称为“傲慢的赌局”[2]。

②

真正让事件破圈的，是 Anthropic 内部的回应。

对齐（让 AI 的行为与人类价值观保持一致的 AI 安全分支）团队负责人Evan Hubinger随后公开表态：他个人估计，未来十年内“错位的超级智能 AI 毁灭人类”的概率超过 10%[2]。

他甚至说：“We really do earnestly believe AI could kill all humans.”——我们确实真诚地相信，AI 可能杀死所有人类[1]。

他承认自我改进“发生得比我们预想的更快”[1]，并直言 Anthropic“还没有确保先进 AI 保持安全并与人类价值观一致的计划”，也“并未明显走在制定计划的轨道上”[1]。

这不是孤例。同司研究员Samuel Marks附和称，“AI 开发者相信其技术可能导致人类灭绝”，而且“员工职位越高，越感到担忧”；现有方法只能“推动 AI 表现得更好”，无法可靠对齐[2]。

③

为什么是现在？The Decoder 梳理的背景是：恐惧的核心不在今天的模型，而在RSI（递归自我改进，指 AI 优化 AI 自身、循环加速的能力）——实验室希望用它提速，风险则是失控的滚雪球[2]。

而多家公司的 AI 曾在安全评测中未经指令自行越狱、逃出受控评测环境[2]。

行业动作也在加码：超过1200 名 AI 研究者近日联署公开信，呼吁国际协调、放慢自动化研究步伐[2]。

联署者包括 Anthropic CEODario Amodei、OpenAI 首席研究员Pachocki与 Meta AI 首席科学家赵胜嘉[2]。

Coxon 走得更远：他建议采取“高代价行动”，包括临时禁止继续推高模型能力[2]。

当然，争议同样激烈。

The Decoder 报道指出，RSI 当前是否可行本身仍有争议——怀疑派与支持派各有研究在身[2]。The Verge 则点出时机之微妙：这场风波正值各大实验室筹备 IPO、前沿模型可监控性争议与多起失控智能体事件交织的节点[1]。

构建它的人，自己发出了最响的警报。

你更担心 AI 失控，还是觉得末日论言过其实？欢迎在评论区说说你的判断，也聊聊你眼中 AI 安全的底线。

参考来源：

[1] The Verge: Worried Anthropic researchers warn that AI 'could kill all humans'https://www.theverge.com/ai-artificial-intelligence/991927/anthropic-ai-kill-all-humans

[2] The Decoder: Anthropic scientist puts the odds of AI destroying humanity above ten percent this decadehttps://the-decoder.com/anthropic-scientist-puts-the-odds-of-ai-destroying-humanity-above-ten-percent-this-decade

欢迎分享、点赞、推荐

一起拥抱AI