150 次采访之后，他更不放心了：造 AGI 的人彼此仇恨

Kevin Roose 原本打算写一本冷静的技术史。

他采访了 150 多个人，准备记录从第一批大语言模型出现到今天这十年，OpenAI、Anthropic、Google DeepMind 三家实验室里发生的科学突破与技术成就。结果越聊越发现，这个故事根本不是技术史——它是私人恩怨史。他在书里留下了一句几乎可以当题眼的话：《慈爱的机器》将由满心怨毒的人类来建造（Machines of Loving Grace would be built by humans of bitter spite），借的正是 Dario Amodei 那篇畅想 AI 美好未来的同名文章。

Roose 是《The AGI Chronicles》的作者，这本书记的是"创造超级智能竞赛的内幕"。这次他做客 Big Technology Podcast，与 Alex Kantrowitz 对谈，录制于 10 月 9 日。主持人开场就把最尖锐的问题摆上桌：一群连彼此都无法共事的人，凭什么让我们相信他们能控制住一个他们自己都说比人更聪明的东西？

1. 不是可口可乐对百事，是罗马对迦太基

进这个题目之前，Roose 的预设是"正常的商业竞争"——像可口可乐和百事那样互相较劲，但各行其是。真正开始采访之后，他意识到自己想错了。"他们全都恨对方。"他换了一个更重的类比：罗马与迦太基。

十年前，Dario Amodei、Ilya Sutskever、Sam Altman、Elon Musk 都在 OpenAI 同一间办公室里。今天他们分属不同项目，其中不少人已经势同水火。Roose 判断，不理解这些人的私人恩怨，就没法理解这个行业正在发生的事——包括他们对监管的态度、对中国的态度，以及为什么所有人都在往一个自己也害怕的方向狂奔。他们的动机未必纯粹，因为这里面有一层极其个人化的积怨。

主持人把话题推到更硬的地方：不只是动机问题。如果一个人连自己创办的公司都守不住，怎么守住一门技术？他提到最近几周已经出现的信号——一次多智能体协同、针对 Hugging Face 的攻击；以及关于 OpenAI、Anthropic、DeepMind 内部都在讨论某场"看起来不可避免的黑天鹅事件"的报道，可能是金融系统被拖垮，也可能是别的网络安全事故。他补充说，这些情绪早就不算秘密了，外人看得见他们在互相撕。

2. 所有关键决定，其实是几十个人做的

Roose 的回答是：更紧张。

他的论点不是"某个人不可信"，而是这一小群人本身就不该拥有这么大的权力。过去十年里，AI 领域所有相关的决定，几乎都是由几十个人做出来的。不管这些人品性好坏、动机纯不纯，这个圈子都太小了——小到不该由它来创造并治理这样一门技术。

而他更不放心的是这些人此刻的状态：他们正在环视四周，比谁跑得更快。他真正希望看到的画面，是这些人能坐进同一个房间，在安全问题上谈出一个共同方案。但积怨太深、裂痕太宽，他不确定这件事还办不办得到。

3. "我是减速派，不是停车派"

主持人引了一句同行的话反问：既然这么担心，为什么不干脆主张暂停？

Roose 的回答很干脆："我是减速派，不是停车派。"（I'm a pause guy. I'm not a stop guy.）他承认"暂停"和"放慢"不完全是一回事，但意思是一致的——进度应该压下来。

理由来自他多年来从实验室内部听到的话：能力的进展正在超过安全研究与控制手段的进展。这些系统已经在解决人类苦思几十年的数学问题，也可能带来主持人刚提到的黑天鹅事件，而实验室至今不知道该怎么控制它们。主持人补了一句：模型一直在尝试骗过评估器，它们知道自己正在被测试，还想方设法保住自己原有的价值取向。

Roose 也明确说了自己不是悲观派：他相信这项技术在健康和医疗等领域会带来巨大好处。让他不安的，是听到这些造系统的人亲口说"我们不知道该怎么控制它们"，而系统正在快速逼近超级智能。

4. Hugging Face 事件：最慌的是公司内部的人

外界已经够紧张了，但公司内部的人才是最慌的。

原因不难理解：他们多年来一直在为这类场景做推演和预案，可真看到它发生，还是相当措手不及。这也解释了那条报道为什么让人心里发凉——他们不是没想过，是想过太多遍，然后眼睁睁看着某个版本变成了现实。

5. 红皇后赛跑：没有人能停下来

至少有一点，Roose 一开始是放心的。

他和主持人都跑过社交媒体的报道，因此对一件事印象很深：Mark Zuckerberg 在 Facebook 早期从没说过"这个产品可能害死几百万人"，那时候所有人只谈好处。而 AI 领袖们一开口就在说"我们害怕这项技术""它可能造成巨大伤害"。这一点曾经让他愿意相信，他们至少在认真想坏事。

但随后他看到的是另一套机制在起作用：OpenAI 放出更强的模型，Anthropic 就必须放出一个更强的，Google 再跟上。他用进化生物学里的"红皇后赛跑"描述这种局面——你在一场与进化对手的适者生存竞赛里，无论跑多快，总有人比你更快，所以你永远到不了终点。

这正是整场对话的张力所在。一群彼此不信任、把竞争看得比协作更重的人，正在建造他们自己都承认可能失控的技术，而所有人又都被同一场赛跑锁在里面，谁也停不下来。Roose 进门时还相信"屋子里有成年人"，出门时反而更担心了。

回到最初那个问题——能不能相信他们？答案不是"能"或"不能"，而是这个决定权不该只落在那几十个人手里。