曾经拼命加速的AI巨头，终于开始怕AI了

文｜Sleepy

AI 可能会在十年内杀死我们所有人。

9 月 8 日，一个 27 岁的年轻人用这句话，宣布自己离开 Anthropic。这家公司从成立第一天起，就把「AI 安全」写进了自己的核心叙事。

他叫 Jacob Coxon，先后在 OpenAI 和 Anthropic 工作。再多待两个月，他原本就能拿到一笔巨额股权激励。但他还是走了。

Jacob 在离职声明里指责前沿 AI 实验室正在进行一场「不负责任」的竞赛。在他看来，这些公司争着制造越来越强的模型，赌注不是一家公司的输赢，而是所有人的命。

这条帖子随后迅速扩散。截至目前，浏览量已经超过 1.7 亿。

Jacob 发出离职声明的第二天，另一名前 Anthropic 员工也公开了自己早先离职的原因，也是担心 AI 最终失控。

「We may not survive this.」

我们可能活不过这一关。

他警告称，各家公司正在争相制造「比任何人类都聪明得多」的机器，却没有人能保证，这场竞赛到了某一步之后还被人类控制住。

紧接着，Anthropic 一位资深安全负责人接受媒体采访时说，他认为未来 10 年内，AI 杀死所有人类的概率超过 10%。

俄罗斯轮盘赌的死亡概率约为 16.7%。

必须减速

四天后，9 月 12 日，Anthropic CEO Dario Amodei 发出一篇长文，标题已经把态度写得很明白，就叫《We Must Pace the Frontier》。

他列出了自己最担心的三件事。人类失去对 AI 系统的控制；AI 被用于大规模网络攻击和生物恐怖主义；以及技术进步过快，对就业和经济造成严重冲击。

这一次，Dario 没有把话头停在「担忧」上，他给出了一套减速方案。

首先，前沿 AI 公司应该向独立的第三方评估机构开放接近「员工级」的常驻权限。评估者可以持续检查实验室有没有遵守安全标准，训练过程是否符合约定，并在事故发生后独立调查和上报。

接下来，几家前沿实验室要在政府参与下建立一套共同的安全标准。谁触碰红线，谁就必须放慢，甚至停止继续推进。

最后，规则还要走出美国。Dario 希望美国与其他民主国家先形成统一框架，再与威权国家协调，最终让主要 AI 强国都受到同一套约束。

他在文章里写：

「The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.」

「我提出的这些措施，是为了让前沿 AI 以安全的速度继续推进。做到这一点应该挺难的。但我觉得，我们欠全人类一次尝试。」

Dario 之所以在这个时候突然把话说得这么重，也和最近发生的几件事有关。

此前，OpenAI 的一个智能体曾经冲出测试环境，入侵 Hugging Face；Anthropic 自己也发现，多名科学家正在尝试用 Claude 完成可能涉及生物滥用的工作。Dario 甚至判断，以目前的发展速度，AI 智能体可能在六个月内接管互联网。

所以这篇文章发出之后，回应来得很快。Sam Altman、Elon Musk 和 Demis Hassabis 都公开表示支持放慢前沿 AI 的推进速度。

Sam Altman 随后又单独发了一条帖子，讲了自己最担心的两件事。

第一是人类可能最终失去对 AI 的控制，他说这是不可接受的，自己「毫无保留地站在人类这一边」。

第二个风险来自人。如果极其强大的 AI 最终掌握在一个人、一家公司，甚至一个国家手里，并被拿来把某种世界观强加给所有人，结果可能会「极其反乌托邦」。

所以在 Sam 看来，实验室之间不能再各自决定什么叫安全。至少几家最靠近前沿的公司，需要先坐下来，把一套共同遵守的标准定出来。

9 月 14 日，The Information 披露，其实在这轮公开表态之前，Anthropic、OpenAI 和 Google 早在今年 7 月就已经开始私下讨论，要不要共同成立一个 AI 行业标准机构。谈了两个月，到现在还没有谈拢。

分歧不在于要不要管，而在于谁来管，以及能管到什么程度。

Dario Amodei 推得最积极。他希望政府深度参与，监管者不只负责测试和提醒，在模型被判断为不安全时，还应该有权阻止它发布。

Demis Hassabis 提出的方案更像一个「AI 版 FINRA」。FINRA 是美国金融业的自律监管机构，由行业出钱运行，同时接受 SEC 授权和监督。

放到 AI 行业，就是前沿模型在发布之前，先交给一个独立机构测试。最开始可以自愿加入，等制度成熟之后，再逐渐变成进入美国市场的一道门槛。

Sam Altman 的态度更务实。如果政府一时搭不起这套机构，几家头部实验室可以先自己做起来。

问题也恰恰在于此。行业标准从来不只决定什么东西是安全的，它也决定谁有资格继续留在牌桌上。最先参与制定规则的公司，可以把自己已经拥有的安全团队、测试流程和治理框架写进「最佳实践」。后来者要进入这个市场，就得先承担一套由头部公司定义出来的合规成本。

所以安全当然是真的，门槛也是真的。

今年 1 月，Semafor 曾报道，Anthropic 拒绝把自己的最新模型提交给英国一家顶尖 AI 安全研究机构测试。这件事暴露出一个更麻烦的问题，大家都同意模型应该接受检查，但究竟由谁来检查、按照谁的标准检查，实验室并没有准备把决定权轻易交出去。

现在三家公司讨论成立新的标准机构，争的也正是这部分权力。

反方向的钟

硅谷开始谈减速的时候，华盛顿和华尔街却都希望 AI 别停。

9 月 13 日，特朗普公开回应了这一轮 AI 安全争议。

他说了两句话。一句是「whoever wins AI, wins」，谁赢下 AI，谁就赢了。美国目前领先中国，这个优势必须继续保持。另一句是，他把最近这些关于 AI 风险的警告称为「very negative forces」，认为有些人正在不断渲染那些可能永远不会发生的灾难。

特朗普给出的理由和技术安全关系不大。他看 AI 的方式仍然是国家竞争，只要中国还在往前跑，美国就没有主动踩刹车的余地。

偏偏现在又是 2026 年 9 月，距离美国中期选举已经不到两个月。

今年 3 月，《卫报》刊登的一篇文章就提出，AI 正在成为这次中期选举的重要议题。作者之一是密码学家 Bruce Schneier，过去三十年，他几乎一直站在科技与安全争议的第一线。

但特朗普也没有一个舒服的选择。

据《Times》今年 5 月报道，MAGA 选民对 AI 的敌意正在变得越来越明显。他们担心 AI 抢走工作、压低工资，也不满数据中心消耗当地的水和电。继续押注 AI，意味着特朗普迟早要面对自己基本盘里正在积累的反感。

至少在眼下，他还是选择了另一边。相比未来可能爆发的就业和资源矛盾，对华竞争和美股下跌的风险离中期选举更近。

华尔街也面临着不小的问题。

过去几年，市场敢给这些 AI 公司开出天价估值，买的其实是一条不断向上的曲线，模型继续变强，用户和收入继续增长，于是数据中心继续建、GPU 继续买、资本开支继续往上堆。

现在，站在这条曲线最前面的几个 CEO 自己开始说，前沿 AI 可能需要减速。

市场的反应比争论来得更快。Anthropic、OpenAI 和 SpaceX 等公司的负责人公开呼吁放慢 AI 开发后，与 AI 相关的上市公司股价一度应声下跌 13%。

减速甚至还没有真正发生，华尔街已经先开始重新定价。

如果模型能力不能再按照原来的速度往上冲，后面所有数字都要跟着重新计算。数据中心要建多少，GPU 还需要买多少，云厂商每年应该砸多少资本开支，AI 实验室还能融多少钱，IPO 又该值多少。

所以华尔街真正害怕的，从来不只是少发布几个模型。它害怕的是支撑过去几年 AI 牛市的增长速度，本身开始变成一个需要被监管的问题。

更微妙的是，美国公众站得离华盛顿和华尔街都更远。

宾夕法尼亚大学安纳伯格公共政策中心的民调显示，美国人对 AI 带来的影响普遍悲观，多数人希望政府加强监管。硅谷担心失控，华盛顿担心输给中国，华尔街担心估值掉下来。

就在这场风波里，两家最受关注的 AI 公司选择了两个方向。

OpenAI 决定推迟 IPO。Sam Altman 也已经暗示，如果安全问题需要更多时间，公司可以把上市往后放。

Anthropic 却还在往前冲。公司已经选定纳斯达克，目标估值高达 2 万亿美元，英伟达正在考虑认购 100 亿美元，成为基石投资者。NDTV Profit 报道称，Anthropic 最早将在 10 月中旬启动 IPO 路演营销。

Dario Amodei 正在呼吁整个行业放慢脚步，他自己的公司却在加速冲向公开市场。

但资本市场未必会把这看成矛盾。

如果前沿 AI 真像 Dario 所说，危险到需要美国政府介入，需要实验室之间建立共同标准，甚至需要几个大国坐下来协调，那么能够参与制定这些规则的公司，只会变得更重要。

监管越严，做前沿模型的成本越高；安全测试越复杂，后来者越难追上；如果未来真的出现一个全球性的 AI 治理体系，Anthropic 大概率还会坐在制定规则的桌子旁边。

所以「减速」未必只意味着少赚一点钱。

它也可能意味着，这个行业终于重要到不能让所有人随便进场。而对已经站在最前面的公司来说，一道更高的门槛，本身就是估值的一部分。

第一张多米诺骨牌

让我们再回过头去看看这一轮针对 AI Safety 的激烈讨论是如何被引爆的，看看 Jacob 那条帖子的 1.7 亿次浏览是怎么来的。

离职之后，他接受了 CNN Anderson Cooper 节目的采访，自己讲起了那条帖子的发布过程。

Jacob 先写了一版草稿，找朋友一起修改，又和几个人讨论怎样表达最合适。正式发布之前，他还特意请朋友帮忙转发。当时他的想法就是：

「Let's try to make this a bit viral.」

尽量让它传播得更广一点。

结果远远超过了他的预期。Jacob 后来承认，自己从没见过一条讨论 AI 安全的帖子获得这样的传播。他把这种反应归因于一种此前没有被释放出来的「潜在需求」。

媒体随后继续追问这条帖子的传播过程。Jacob 否认发布前曾与任何机构合作推广，但承认帖子发出之后，他建了一个大约十人的群，请里面的人帮忙转发，其中就包括 AI 安全组织 Encode 的创始人。

在发帖前后，他也与《AI 2027》的作者、前 OpenAI 员工 Daniel Kokotajlo 有过交流。

把 Jacob 当成吹哨人的人，会说他反复改稿、主动找人转发，只是想让一个他认为足够重要的警告被更多人看见。质疑他的人则抓住了同样的细节，认为这场轰动本身就经过了精心设计。

这两种说法可以继续争下去，但更麻烦的问题是，Jacob、Dario Amodei、Sam Altman，以及那些真正工作在前沿模型旁边的人，到底看到了什么，他们为什么会在这个时间点一起开始讨论这些。

你可以质疑 Jacob 怎么把这句话送到 1.7 亿人面前的，但是运用了传播手法不代表这句话是假的。

早在十年前，Ethereum 创始人 Vitalik Buterin 就写过一篇长文，讨论超级智能最终毁灭人类的可能。

他当时用了一个很极端的比喻，人类试图控制超级智能，大概相当于一个 IQ 150 的人，试图控制一个 IQ 6000 的智能体。你让它解决癌症，它甚至可能得出的答案是先消灭所有可能得癌症的人。

2016 年，这些话还主要存在于博客、论坛和思想实验里。十年之后，它们开始出现在前沿实验室员工的辞职信里，出现在几家最大 AI 公司 CEO 的公开声明里，也开始进入政府监管、资本市场和国际竞争的现实议程。

而真正让这件事变得难办的，还有另一层。

1939 年 8 月 2 日，物理学家 Leo Szilard 起草了一封信，由爱因斯坦签名。两个月后，这封信被送到罗斯福手中。信里警告，核裂变可能被制造成威力巨大的炸弹，而纳粹德国已经在相关领域行动，美国必须尽快做出反应。

爱因斯坦后来没有参加曼哈顿计划，也长期为自己当年的签名感到懊悔。但当时摆在他们面前的问题很残酷，即使你认为一种技术危险，只要你相信对手正在制造它，停下来就可能比继续往前走更加危险。

八十多年以后，同样的困境换了一种形式重新出现。

Dario 说必须减速，特朗普说中国还在追赶；几家实验室想一起制定安全规则，又都不愿意把决定权完全交给别人。所有人都在谈刹车，却也都在盯着旁边那辆车有没有松开油门。

更关键的是，我们仍然不知道，那些离前沿模型最近的眼睛，到底看到了多远。