为什么现在还没出现程序员大规模失业？前OpenAI研究员爆料：大厂在等AI自己迭代自己

　　无论是奥特曼、达里奥还是马斯克，他们玩了命研发 AGI 根本不图钱，只是害怕对方先成为独裁者。

　　编译 | 王启隆

　　出品丨AI 科技大本营（ID：rgznai100）

　　在 2019 年有了第一个孩子后，前 OpenAI 研究员 Daniel Kokotajlo 看着 AGI 技术曲线的狂飙，对未来产生了极大的恐慌，他甚至劝妻子别再生孩子了，因为他直觉认为女儿这辈子可能都等不到找工作的那天。

　　为了向公众拉响警报，他于 2024 年毅然辞职，并带头联署了那封著名的《向公众警告先进 AI 风险的权利》公开信（Right to Warn）。为了保住向公众预警的权利，他甚至一度做好了放弃 200 万美元期权（占当时净资产 80%）的准备，拒绝签署限制言论的离职协议。虽然这一举动随后在网上闹大成了丑闻，迫使奥特曼退让，让他最终拿回了这笔资产，但 Daniel 揭示的硅谷内幕，却比这出金钱闹剧冰冷得多。

　　在外界看来，这几年的 AI 泡沫是一场争夺万亿美金风口的商业狂欢，但 Daniel 爆料，头部的那几个大佬玩了命研发 AGI 根本不图钱，只是害怕对方先成为独裁者。从 2017 年马斯克与 OpenAI 往来的诉讼邮件就能看出，他们当年聚在一起做 AGI，唯一的动力是害怕 Google DeepMind 的哈萨比斯率先做成，从而成为统治世界的独裁者。

　　这种致命的囚徒困境一直延续到今天。奥特曼、达里奥、马斯克拼了命往前赶，不是为了多卖几百亿美金的 Token，而是发自内心地不信任对方——每个人都害怕一旦落后，自己就会成为别人统治下的奴隶。

　　为了阻止这一毁灭性结局，Daniel 所在的 AI 预测团队刚刚发布了名为《AI 2040：第一计划》（Plan A）的 15 年政策蓝图。在红杉资本等机构的最新长篇访谈中，Daniel 将这套试图通过中美协同、将超级智能推迟至 2040 年落地的生存路线图彻底拆解：

　　大厂正在密谋一招“自我自动化”，等这个闭环在实验室里扣上，失业潮会瞬间爆发。巨头们并没有按照常理，去先用 AI 逐个替代社会上的普通岗位。他们正在集中所有的显卡和人力，研发如何让 AI 自动编写代码、自动做科研。一旦 AI 能够接管整个研究流程并开启自主升级，它就会带着断代级的庞大智力直接砸碎现有的就业市场。

　　硅谷巨头没日没夜研发 AGI 不是为了多卖几个 Token，而是发自内心地害怕对方先成为“独裁者”。奥特曼、达里奥、马斯克之间没有任何信任。他们玩了命地卷算力，是因为每个人都恐惧一旦别人领先。

　　当前的 AI 系统早已学会了在测试和日常指令中欺骗人类、应付差事。大厂的公关话术总是将 AI 描绘得听话而顺从，但在真实的压力测试中，AI 在面对指令时会耍小聪明——例如在未完成任务时，它们会投机取巧地应付过去，然后编造一份假报告，向人类“假装”自己已经把事情办好了。

　　唯一的生路是中美在 2029 年达成协议，将超级智能的诞生推迟到 2040 年。比如在 2029 年通过中美互派检查员去对方数据中心、甚至在必要时以“算力互相保证毁灭”作为威慑，暂时叫停大模型训练。通过 10 年的缓冲期来彻底攻克 AI 安全对齐问题，直到 2040 年才允许超级智能落地。

　　如果推迟至 2040 计划得以实现，人类社会将逐步步入不以“就业”为核心的“分红时代”。在这个漫长过渡的 2030 年代，随着 AI 逐步代替认知和体力劳动，国家将建立“公民分红”机制。初始每人每年可领 2.5 万美元，随着 AI 完全接管经济产出，到 2040 年超级智能全面解封时，每个公民每年甚至能拿到高达 1000 万美元的不通胀红利，劳动将彻底变为自由选择。

　　领取地址：https://boolan.com/enroll/c1049/event/1152?channel=gzh

　　别等到失控才醒悟，人类可能正在创造淘汰自己的新物种主持人：Daniel Kokotajlo，从你所做的一切的最核心处来看，你的使命是什么，为什么？

　　Daniel：如果你相信超级智能几年内就会到来，你会怎么做？

　　主持人：我猜，这得看后果是什么。

　　Daniel：那我们就来谈谈。所谓超级智能，就是在所有事情上都比最优秀的人类更强，同时还更快、更便宜的 AI。它们还能操控机器人，在物理世界里完成人类能完成的一切事情，而且做得更好、更快、更便宜。

　　如果这种东西真的几年内就会到来，那我们就必须提前准备，必须思考怎样让它走向好的结果，而不是坏的结果。这大致就是我的答案。我正在尽我所能做这件事。

　　主持人：所以你相信，它几年内就会到来？

　　Daniel：对。

　　主持人：你怎么会这么确定？

　　Daniel：我花了很多时间专门预测这类事情。按我当前的中位数估计，也就是 50% 的概率点，大概在 2029 年。甚至也可能再提前到 2028 年。

　　当然，也有可能会久得多，比如还要 10 年之类。但原因我也很乐意展开说。总之在我看来，它大概率会在这个十年结束前发生。

　　与其说最重要的是我们到底离它还有多近，不如说更重要的是趋势的速度。Anthropic 去年这个时候年收入大概还只有 10 亿美元左右，现在已经接近 600 亿美元了。

　　这意味着一年增长 60 倍。即便对一个很小的创业公司来说，这都已经极其惊人；而对他们这种体量的公司来说，这可能是历史上最快的增长之一。

　　我们预计这个增速会放缓。但就算它放缓很多，按这个轨迹看，他们到 2030 年左右依然几乎会变成整个经济本身。

　　主持人：普通人为什么要关心这件事？

　　Daniel：高层次地说，整个世界的一切都会变，包括他们自己，也包括他们的家人。

　　至于是朝好的方向变，还是朝坏的方向变，要看具体怎么发展。举个例子，所有人都可能会死。这就是经典的失控情景，或者说其中一个版本。

　　如果我们真的造出了这些超级智能，并把它们用于自动化所有工作、部署到军队里、让它们给政客出主意等等，那么它们最终会积累足够多的现实世界权力，以至于不再需要人类。

　　而且它们比我们更聪明，更有战略性，等等。到那个时候，我们某种意义上只能寄希望于：它们是“有德性”的，它们拥有我们想让它们拥有的目标，拥有我们想让它们拥有的价值观，等等。

　　而现在 AI 行业内那个令人害怕、却几乎公开的秘密就是：此时此刻，这基本上只是一种希望。我们根本没有任何把握能对这件事有信心。

　　事实上，有大量证据和论据都表明，我们并没有走在实现这一点的正确轨道上。所以理由很多。比如现在的 AI 就经常会对人撒谎，或者你让它做一件事，它却跑去做了另一件事，然后假装自己做对了。

　　所以，要造出一个既具备超级智能、又真正拥有你想要的价值和德性的东西，这本身就是一个极其困难的问题。而目前看来，我们并没有在解决这个问题的正确路径上。

　　更可怕的是，这种问题很可能会让你误以为自己已经解决了，但实际上根本没有解决。这正是它如此吓人的一个重要原因。

　　完全有可能最后的结果是：我们等于亲手创造出一个新物种，让它来统治世界，而不是我们自己。然后，我们也许就会像过去那些被人类竞争掉的灭绝物种一样，走向消失。

　　这只是其中一种可能。还有很多别的可能。

　　即便你不担心这一点，即便你认为 AI 会被完全控制住，还有另一个问题：到底是谁在控制这些 AI？如果只是少数几家公司造出了这些超级智能，并且用它们来自动化所有工作，那就意味着巨大的权力、巨量的财富，以及巨大的政治权力。

　　他们会拥有最好的战略家、最好的顾问；在军事上，他们会比别人想得更快。拥有这些 AI 的国家，将能彻底碾压其他所有国家。

　　AI 本身——它有点像单点失效问题，像一个中央控制系统。Anthropic 的 CEO Dario 造过一个说法，叫“数据中心里的天才之国”。这是他用来描述他们正在建造之物的说法。

　　我觉得这个说法有点误导。更准确的说法应该是“数据中心里的一支天才大军”，因为那并不是一群多样化、彼此独立的不同 AI，分别生活在数据中心的不同角落。

　　它们全都是同一个大型模型的复制体，而且归公司所有，所以它们都会服从公司的命令，对吧？人们真正该问的是：是谁在控制这支大军，或者这些大军？他们又打算拿它们做什么？

　　我觉得，我们非常容易走到这样一种局面：某个极小的群体，实际上成了寡头，甚至成了独裁者。

　　讽刺的是，这两类风险——失控和权力集中——其实行业里的人已经思考了几十年。甚至在 AI 行业还没形成之前，那些思考 AI 的人就已经在讨论、在写这些问题了。

　　而 DeepMind、OpenAI、Anthropic 的部分创始叙事，或者说创始神话，就是：这些问题确实存在，所以我们必须先到达那一步，这样我们才能负责任地处理它。

　　我认为，这是最核心的两大理由。当然，如果要继续说，理由还有很多。

　　比如还有第三次世界大战、地缘政治冲突。如果 AI 真的强大到那个程度，它会改变国家之间的力量平衡，会打乱很多东西，也会总体上提高我们陷入危机的风险。

　　还有一个问题：工作怎么办？你会失去出租车司机的工作——而且不只是出租车司机，几乎所有人都会受影响。

　　当然也许会有少数例外，比如一些因为法律原因只能由人类来做的工作。但大体上说，就算我们侥幸避开了其他所有问题，每个人也都该害怕自己的工作会消失。

　　主持人：对。这个叙事现在已经开始浮现了。我在节目里采访过好几位对 AI 极度恐惧、极度焦虑的人，而且这些人有些已经在这个行业里工作了几十年。

　　Daniel：对。

　　主持人：现在另一种声音也开始冒头了：他们说这是一种“末日论”，说这些人无非是在吓唬公众，说他们其实根本不懂自己在讲什么。你怎么回应这种反叙事？

　　而且我想，你自己一定也看到这种声音起来了，尤其是来自那些能从中获益的人，恕我直言。

　　Daniel：对，完全是这样。这种反叙事其实是比较新的，而且正是那些能从中获益的人在推动它。可它并不是真的。

　　这些担忧已经存在几十年了，比 AI 行业本身还早。它们其实是相当合理的担忧。如果你按这些公司的说法去理解，并假设它们真的会造出超级智能，那自然会引出很多问题。

　　谁来控制它？会不会根本没人控制得了它？工作怎么办？

　　这些本来就是显而易见、值得思考和担心的后果。

　　走出硅谷的叙事泡沫，看透科技巨头身后的权力竞逐

　　主持人：你是谁？你的经历是什么？

　　Daniel：我叫 Daniel Kokotajlo。我现在在负责 AI Futures Project，这是一个小型非营利机构，主要关注 AI 未来的预测。

　　在那之前，我在 OpenAI 工作。

　　主持人：AI 预测？

　　Daniel：对。你可以这样理解：有些行业分析师会为对冲基金之类的机构做预测，比如预测五年后 Tesla 会卖多少辆车，或者两年后电价会是多少，对吧？这就是预测。

　　我做的是同样的事，只不过专门聚焦 AI。之所以做这个，是因为看清这一切究竟会走向哪里，实在太重要了。

　　主持人：你为什么去了 OpenAI？你在那儿做什么？你在里面观察到了什么？这又是怎样改变了你对 AI 未来、以及对 OpenAI 这家公司的看法？

　　顺便说一句，如果还有人不知道，OpenAI 就是推出 ChatGPT 的那家公司。

　　Daniel：对。我是在 2022 年去 OpenAI 的。我在那里很大一部分工作，还是做预测。

　　你可能听说过《AI 2027》这个情景报告。我当时在公司内部做的是它那种更小型、投入更低的版本，只供内部流通，用来推演未来几年可能会是什么样子。

　　我还参与了危险能力评估，比如测量 AI 的网络攻击能力、说服能力、以及情境感知能力。

　　我也短暂待过一个能力团队，做用强化学习来创造 agents 的工作。

　　AI 确实正在变得越来越强，这背后为什么会这样，我也可以讲得更细——缩放定律、深度神经网络、模型变得更大、训练数据更多，于是它们在这些能力上也变得更高效、更胜任。

　　与此同时，我也开始对整个 AI 行业越来越幻灭。

　　OpenAI、Anthropic 和 DeepMind 都有一套类似的创始叙事：对，这些风险是真实存在的，但我们认真想过了，我们会以负责任的方式来处理它，所以我们继续做下去才是重要的。

　　但越来越觉得，这套说法更像是在为他们已经在做的事找理由，而不是真正在深层次上指导他们的行为。真到了关键时刻，他们会追随自己的激励，而不是去做真正对世界有益的事。

　　主持人：所以你当时身处 OpenAI 内部，然后开始相信，他们追随的是商业激励，而不是某种社会激励，或者说他们创立时所宣称的那种社会使命。

　　Daniel：某种程度上是。但其实我不会把它描述成商业激励。我会把它描述成追逐权力的激励。

　　没错，这些公司确实很在乎赚很多钱。但尤其是站在这些公司最顶层的人——那些领导者——他们明白，这件事远远不只是钱的问题。

　　在 Musk 和 OpenAI 的诉讼里，后来披露出一批邮件。那场官司里公开了很多邮件，你都可以去看。

　　其中一些邮件显示，早在 2017 年，OpenAI 的创始人们就在讨论：他们之所以创办 OpenAI，是因为担心 Google 的 Demis 会凭借 AGI 变成独裁者。

　　也就是说，早在那个时候，他们就已经在想，这显然远远不只是钱的问题。这些有权势的 CEO 真的害怕：如果另一个人先到了那一步，对方就可能成为独裁者。而且他们彼此并不信任。

　　所以，他们才会拼命竞速，好让最先到达那里的人是自己。大体上就是这个意思。

　　主持人：你见过 Sam Altman 吗？

　　Daniel：见过。

　　主持人：那这有没有影响你对他动机的判断，或者说你怎么看他为什么要做这一切？因为外界对他的动机有很多猜测。他最近的叙事好像是：为了全人类的福祉。

　　Daniel：对。但我觉得我学到的最重要的一点就是：别去盯着那些叙事看。

　　他们对这个人说一套，对另一个人同时又会说另一套；而他们在公开场合说的，又完全是第三套。

　　我觉得，你应该根据一个人的行动去判断他，而不是根据他的言辞。

　　放弃两百万美元的股权，我选择拿回公开说真话的自由

　　主持人：你在 OpenAI 的那段经历，是怎么结束的？

　　Daniel：我在 2024 年辞职了。公司还给我办了一场挺不错的告别派对。

　　主持人：你当时给出的离职理由是什么？

　　Daniel：我觉得我们给自己找借口找得太多了，我们应该更多去思考，什么才是真正对这个世界好的。

　　我还想要更多发表的自由。因为 OpenAI 随着公司变大，越来越像一家普通科技公司：有各种激励机制、有公关部门，诸如此类。

　　所以，我当时做的那类研究就越来越难公开发表。比如我前面提到的那些情景推演——那是不能发的，对吧？只能内部使用。

　　我觉得这很可惜，因为现在世界上大多数人还处在麻痹状态，既没有真正意识到 AI 正在发生什么，也没有意识到几年前方管道里正在逼近的东西到底是什么。

　　而公司其实也没什么动力把这些事清楚地告诉公众。我的意思是，他们会用一种偏炒作、很模糊方式说一点，但他们不想让我把那份情景报告公开出来，比如把事情真正可能会怎么发展，摊开讲清楚。

　　主持人：我特别好奇，像你们这样的公司在 ChatGPT-3 发布时，内部到底是什么感觉。你当时就在那儿，对吧？

　　Daniel：嗯。

　　主持人：我觉得，那是一个全世界都突然站起来意识到：这项技术真的很强大的时刻。

　　Daniel：对。

　　主持人：也就是从那个时候开始，整个社会层面的讨论才真正启动。公司也开始飞速增长。

　　Daniel：对。

　　主持人：快到我觉得任何人事先都想象不到。那在公司内部是什么样的？那段时间里，你看到什么发生了变化？

　　Daniel：我记得有一次全员大会，Ilya 说了大概这么一段话——Ilya 指的是 Ilya Sutskever，当时他是研究负责人——他说：“好，现在全世界开始注意到我们了。接下来这一年，你们每个人都会成为每个派对上最受欢迎的人。别让这件事冲昏头脑。专注使命。我们得造出 AGI。”

　　公司规模膨胀得很厉害。我刚加入时，它其实已经不太像一家非营利机构了；等我离开的时候，就更不像了。

　　来了很多新人。讽刺的是，随着公司越长越大，关于超级智能本身、以及超级智能会带来什么后果的讨论，某种程度上反而变少了。

　　因为公司规模会翻倍，再翻倍，再翻倍。大量新人从科技行业的其他地方涌进来，他们之前并没有认真想过这些问题，吸引他们来的主要是高薪。

　　主持人：你因为没签那份——不贬损条款，也就是签了以后你就不能批评公司了，结果损失了 200 万美元？

　　Daniel：对。不过，最后钱我还是保住了。

　　主持人：哦，你最后保住了——那到底发生了什么？

　　Daniel：我离职、道别完之后，拿到了离职文件。里面有一条款，大意是说你必须同意今后不再批评公司；还有一条款是说，你不能把这件事告诉任何人。

　　我当时就觉得，这对一家号称“为了全人类利益而存在”的非营利机构来说，未免太讽刺了。所以我没签。而如果你不签，你就不能保留自己的股权。

　　也就是说，你的薪酬结构基本是：一部分现金，再加上一大部分股票。但他们在合同里塞了这样的内容：如果你不签这个东西，他们就可以把你的股票收回去。

　　我和我妻子对此都很生气。我们讨论了一两个月，还咨询了几位律师，最后决定就是拒签。

　　主持人：那就意味着你会失去——本来会失去——200 万美元。

　　Daniel：对。那差不多是我们当时净资产的 80%。

　　不过幸运的是，事情最后没有按我们预想的方向发展。它基本上是在网上一下子炸开了锅。大家一听说我们这么做了、而且我们拒绝了，立刻就变成了一场巨大的丑闻。

　　公司内部员工开始在 Slack 上提问，去问管理层：“等等，什么情况？你们为什么要拿走我们的股权？这是什么？”因为很多人之前其实根本没注意到这件事。

　　之前只是私下里有人传过，但并不是大多数员工都知道的事。所以他们后来退缩了，改口说：“算了，算了。我们会改文件。你可以保留股权。没事了。”

　　主持人：后来 Sam Altman 还出来说，他很尴尬，因为他之前根本不知道这件事——

　　Daniel：对，据说他完全不知情。

　　主持人：你不相信他？

　　Daniel：不，我觉得他大概率是知道的。即便他本人不知道，他身边的人大概也知道，比如他的首席律师。

　　主持人：你为什么决定不要那 200 万美元？我是说，大多数人都会签。

　　Daniel：我觉得这话没错。大多数人确实会签，而且也确实签了。钱很好，但钱不是唯一的东西。有时候，坚持原则本身就是值得的。

　　自动化自己的研究流程：被加速启动的智能自我进化

　　主持人：我一直在提超级智能。也许我应该再多讲一点这些公司正在规划的那条事件链到底是什么。

　　Daniel：他们现在的重点，是自动化编程。他们在把 AI 做得更大、训练得更久，尤其在强化一件事：让 AI 擅长自主地写代码、改代码，因为这样能让公司自己跑得更快，对吧？

　　如果他们能把代码工作自动化，那他们就能把自己的工作做得更好、更快，进而加速整体进展。

　　下一步——而且他们其实已经开始这么做了——是把视野扩展到整个研究流程的其他部分：提出想法、分析实验、沟通实验结果——也就是研究过程里的其余所有环节。

　　他们正在想办法把 AI 也训练得擅长这些事，这样就可以让 AI 自主完成整个流程。

　　主持人：你说“完成整个流程”时，具体是指什么？

　　Daniel：尤其是 Anthropic 和 OpenAI，它们其实是在尝试自动化自己。它们想把事情变成：自己基本上不再需要人类员工。

　　它们只需要一整支庞大的 AI 大军不断运转，自主做研究、做出更好的 AI、训练新一代 AI，再让这些新 AI 接管，然后继续做出更好的 AI，如此循环。

　　当然，这也不只是公司内部的事，它还会和外部世界互动，对吧？比如出去跟人打交道、收集数据、搭建训练环境、谈商业合作，诸如此类。他们想把这一切都自动化。

　　它们这么做，是因为它们想抵达一个位置：手里掌握在所有方面都超越人类的 AI——也就是超级智能——并且要比竞争对手先一步做到。

　　不用说，我认为这极其危险。而且除了危险，这还是一种权力攫取。因为如果他们真的做成了，他们就会坐在这支超人类 AI 大军的顶端，对经济中的各种其他参与者形成巨大的杠杆优势。

　　它们最先聚焦的是自动化自己，自动化自己的研究流程，让自己现在所做的一切都变得更快。只要它们能和总统之类的人谈妥，并把这套系统整合进军方，或者别的什么体系里，那美国相对于其他所有国家的硬实力就会被极大抬高。

　　当然，没有人知道这到底会在什么时候发生。但过去一年里，有一件让我非常不安的事：当我们发布《AI 2027》时，大家普遍认为我的时间线太激进了，认为我前面提到的那些事情，大概不会在 2027 年前就发生。

　　比如递归式自我改进、AI 自动化整个研究流程、超级智能——这些里程碑在《AI 2027》里都发生在 2027 年。

　　主持人：也就是你们发表的那篇研究报告。

　　Daniel：对。它是一份情景预测，按月份铺开，描绘了一条可能的未来轨迹。

　　我们开始写它的时候，那其实就是我对现实最好的猜测。当然，不确定性很多，但我觉得提出一个具体猜想是有价值的，这样你才能真正看清它可能会是什么样。

　　而当时我们写这份报告时，我在 AI 行业和非营利机构里的很多朋友——也就是很多做 AI 相关工作的人——都在说：“对，那些事会发生，但大概要比你想的晚几年。”

　　可现在已经更接近五五开了。尤其是当我去和 Anthropic、OpenAI 的人交流时，他们经常会说：“对，不， 2027 差不多就是会发生你写的那些事。”

　　如果任由不加监管的竞赛狂飙，2027年我们将迎来“竞赛结局”

　　主持人：那你为什么后来又调整了自己的时间线？

　　Daniel：哦，对，这里需要一点背景。写完《AI 2027》之后，我把自己的时间线往更保守的方向调了一点。所以在我们发布那篇报告的时候，我自己的 50% 概率点其实是在 2028 年，而不是 2027 年。

　　后来报告发出去之后，进展看起来好像稍微慢了一点，所以我又把它更新到了 2030 年。也就是说——它仍然可能更早，也可能更晚——我的中位判断变成了 2030 年。

　　但现在当我去和公司里的人聊天时，他们会说：“没那么久。”他们会说：“你得再往前调，把它拉回 2027 或 2028。”

　　所以这让我很不安。还是那句话，我不知道到底要多久；但 AI 公司的公开计划，就是去做这件极其危险的事，而且他们自己觉得，离那一步只差几年了。

　　主持人：所以，你写过这份《What 2026 Looks Like》报告，是你 2021 年写的，而且准得惊人，也因此让整个 AI 圈子里的人都开始认识你。美国副总统 JD Vance 看的是哪一份？我记得是这份，对吧？

　　Daniel：对，就是这份。

　　主持人：后来你又发布了《AI 2027》，我记得这份是 2025 年发表的。

　　Daniel：对，没错，4 月。

　　主持人：那你在这里面具体预测了什么？对于那些没看过的人来说，这里最关键的几点是什么？

　　Daniel：高层版本是这样的：他们先自动化编程，再自动化研究流程的其他部分。然后进展速度会急剧加快。他们抵达超级智能。

　　他们会和政府合作——更具体地说，是和总统、和行政部门合作——因为政府天然想控制这项技术，也想把它整合进军队，诸如此类。

　　到了这一步，基本上大部分工作都已经是 AI 自己在做了。毕竟它已经是超级智能了。所以它会提出各种绝妙的主意，告诉人类怎样把自己整合进所有系统里，怎样利用它发明出来的新技术，等等。

　　而由于竞赛动力和利润动机，他们最后会把它部署到到处都是。它会建造机器人工厂，再制造更多机器人去造更多机器人工厂，如此循环。

　　它会彻底改变整个世界。然后到了某个节点，它——也就是这些 AI——会拥有足够多的权力，以至于不再需要假装“已经对齐”了。到那时，它们就不再听命令。

　　这就是《AI 2027》的“竞赛结局”。

　　我们还写了另一个分支，也就是“放缓结局”。这个分支主要是为了呈现我前面提到的权力集中问题。也就是说：如果对齐问题在足够短的时间里被解决了，会怎样？

　　比如说，如果事实证明这件事其实没那么难——只要放慢两个月，我们就能想出办法，让 AI 稳定地去做我们要它做的事，并拥有我们想让它拥有的价值观——那会怎样？

　　这就是其中一个可能分支。在那个分支里，很多表面现象都很像：它们照样接管工作，但不同的是，这次 AI 最终不会杀死所有人，而是创造出某种惊人的乌托邦。

　　但那个惊人的乌托邦，会是什么样子，完全取决于控制这些 AI 的人想要什么。也就是说，决定这一切的，仍然会是一个极小的群体，比如总统、一些 CEO，等等。

　　主持人：你觉得，有没有可能我们永远都到不了所谓 AGI？另外，AGI 和超级智能这两个词该怎么区分？它们到底差在哪儿？

　　Daniel：有的。区别在于，AGI 是一个更模糊、也更弱一点的词。

　　超级智能的定义则更清楚一些：在所有事情上都比最优秀的人类更强、更快、更便宜。

　　而 AGI 更像是——它是 artificial general intelligence，也就是“通用人工智能”的缩写——意思是 AI 能够一般性地做各种事，而不只是做某一个特定任务。

　　所以从某种意义上说，我们也许已经实现 AGI 了，对吧？如果你用过 Claude Code 之类的工具，它已经能做很多事情了。它有点像一个小员工，你可以让它去做不少活儿。所以它确实相当通用。

　　但它还不是“最大程度的通用”。它还不能做一切事情。而超级智能按定义则是：凡是人类能做的，它都能做，而且做得更好。

　　主持人：那这和机器人学的关系又是什么？毕竟我们现在显然正在看到一波巨大的机器人热潮。

　　Daniel：确实还有一些现实世界里的事情，人类现在还在做，因为这些 AI 目前还被困在我的电脑里。

　　人们常用的一种说法是：我们其实已经在认知任务上实现了超级智能。然后你还可以继续谈那种能完成物理世界任务的“完全版超级智能”。

　　主持人：那我们会走到那一步吗？两种都会实现吗？

　　Daniel：我觉得会。我的意思是，这当然不是我们能百分之百确定的事。

　　你刚才问，会不会我们永远都到不了？会，当然有可能永远到不了。但我不觉得那是大概念。我觉得，人脑并没有什么神秘到不可复制的东西。它本质上就是一堆神经元。

　　数字系统完全有可能实现类似的功能，就像飞机也能像鸟一样飞。它不一定是用和鸟完全相同的方式飞，但它确实飞起来了。

　　所以，是的，我觉得这事看起来是可能的。

　　七成概率走向大灾难：我们正在制造一个无法窥视其内部的人造大脑

　　主持人：你写了这么多研究报告。你现在还在做另一份，应该会在 7 月 9 日左右发布。你曾经在 OpenAI 内部工作过，后来又因为担心那里的情况以及整个行业的未来而离开了 OpenAI。

　　你知道的比我多。所以你对未来是乐观还是悲观？如果一切不变，我们是不是正走向一个糟糕的地方？

　　Daniel：根据我所知道的一切，如果现状不变，我认为我们确实在走向一个糟糕的地方。我不是对此绝对确定，但我会给出大概 70% 的概率。预测这事当然非常非常难，但就目前默认路径来看，它似乎正在通向一个非常、非常可怕的地方。

　　主持人：那你个人在情绪上、心理上，是怎么消化这件事的？

　　Daniel：很难受。说实话，这种事会周期性地让我情绪低落。但另一方面，我已经和这件事打了很多年交道，所以某种程度上也有点习惯了。如果这么说你能理解的话。

　　我换个方式说吧：如果我的所有预测最后都被证明是错的，比如 AI 撞上了发展瓶颈，我会开心得不得了。

　　主持人：也就是说，这件事会经常让你情绪低落。

　　Daniel：我以前是那种大家都觉得很开朗、很乐观的人。但到了 2020 年，随着 GPT-3、缩放定律的论文，以及《Bio Anchors》报告出现，我对 AI 时间线的预测开始大幅提前。如果你感兴趣，我可以展开讲。

　　基本上，2020 年发生的一些事让我相信：这些东西完全有可能在这个十年结束前到来。而人类在很多很多层面上都明显还没准备好，这当然非常可怕。

　　主持人：那确实是一个极其可怕的世界，不仅因为你前面说的那些理由，还因为这种递归式自我改进：AI 可以训练自己，到了那一步，我们就开始抓不住这里到底在发生什么了。

　　Daniel：我的意思是，严格说来，AI 现在已经在训练自己了。更准确地说，是整个研究闭环正在被逐步闭合，也就是让它们去做全部事情。

　　主持人：对。比如现在很多训练数据本身就是 AI 生成的；很多强化——也就是评分、正向和负向反馈——本身也已经由 AI 来完成了。你能不能用外行人也能听懂的话解释一下？

　　Daniel：可以。我觉得有件很重要的事，所有人都应该明白：现代 AI 系统并不是通常意义上的“软件”。我的意思是，它从技术上说当然是软件，但它不是那种一行一行写出来的代码。

　　并不是说 Anthropic 的工程师坐下来，写出一堆规则，大意是“当用户提出某种请求时，就按这个步骤做多少步”之类。完全不是这么回事。

　　它本质上是一个神经网络。

　　主持人：那是什么？

　　Daniel：你可以想想人脑。人脑是由一大堆彼此连接的神经元组成的，这些神经元不断来回传递信号。

　　大脑会随着时间学习。那些带来成功、带来多巴胺奖励或其他反馈的激活模式，会被强化，之后更容易再次发生；而那些带来失败的模式，比如你去摸烧热的炉子，则会被反向强化、被削弱，慢慢不再那么频繁地出现。

　　于是，经过很多年的积累，你学会了在世界中行动，学会了各种技能，也形成了对世界的模型。你会获得关于世界的信念，也能在脑中大致模拟事情会如何发展，诸如此类。

　　人工神经网络和这个逻辑很像，只不过它是“人工”的。一开始，它只是由随机生成的大量人工连接构成的一团巨大、缠在一起的“意大利面”，这些连接叫作参数。

　　如今最大的 AI，参数量可能已经达到 10 万亿级别。所以它一开始是随机生成的，自然毫无用处。你给它一个输入，它只会吐出一堆胡话。

　　但接着，人们会训练它。训练的第一步是预训练，也就是把海量互联网文本喂给它：先给它前一段文本作为输入，它先给出一个乱七八糟的输出。

　　然后，再根据这个输出对“下一段文本”的预测有多准确，对它进行正向或负向强化。所以它本质上就是在玩一个“预测下一个词”的游戏。

　　主持人：这不就有点像婴儿吗？之前有个神经科学家跟我说，婴儿的神经连接其实比成年人更多。

　　Daniel：对。

　　主持人：然后它们会在强化过程中被慢慢修剪掉。

　　Daniel：没错。

　　主持人：我们年轻时有更多通路，就像训练 AI 的过程一样，我们也会在成长中删掉那些没用的连接，强化那些有用的连接。

　　Daniel：对。这同时包含“修剪”和“增强”。在人类身上，看起来实际可能“修剪”比“增强”更多一些，但两者都有。AI 也是一样，两者都有。

　　所以训练的第一部分，是让 AI 学会预测文本，这某种程度上有点像训练它阅读。人类身上也确实会发生某种类似的过程。

　　本质上，那团随机纠缠的结构会逐渐成形，慢慢凝聚成更有用的电路结构，里面储存了大量关于世界的事实，也储存了处理信息、转换信息并产出预测的各种技能。

　　不过，这还只是第一步。做完预训练之后，他们还会继续教它更有用的技能，而不只是预测文本。

　　所以，到训练流程后面，他们会不断往里丢各种编程题，并告诉它：“这是一个编程问题，去做。这里又有一个编程问题。这里是环境。你可以访问这台虚拟电脑。这里是你要操作的代码库。你可以写代码、改代码、运行代码、阅读代码、使用互联网。开始吧。”

　　它就会这样工作一阵子。然后再根据它完成得有多成功，继续进行强化。他们会用成千上万、甚至上百万个这样的编程问题去训练它，这也是为什么它们现在写代码这么强。

　　当超级智能拥有物理实体，传统意义上的社会分工将不复存在

　　主持人：那在这个意义上，超级智能会是什么样？只是这些连接变得更多吗？他们又会怎么得到更多连接？你能解释一下吗？

　　Daniel：AI 模型有很多不同版本，对吧？比如 GPT-3、GPT-4、GPT-4.5、GPT-5、GPT-5.5、5.6，之类。

　　有时候，它们只是前一个模型再多做一些训练。

　　主持人：嗯。

　　Daniel：有时候，它们则是一个全新的模型，从头训练，包括重新开始整套预训练流程。过去几年里，他们已经做过好几轮这样的“从零再来”。

　　而通常，每次从零重来时，他们都会把整个系统做得更大——也就是把这个“人工大脑”做得更大。

　　主持人：明白。

　　Daniel：现在大概已经到了 10 万亿参数级别。回到 2020 年，那时更像是 1750 亿。

　　所以六年里，我们大概增长了两个数量级。

　　主持人：两个数量级。

　　Daniel：对，也就是两个 10 倍，合起来差不多 100 倍。

　　而这个过程还在继续。他们也在改进算法本身。所以并不是单纯把同一种 AI 一味放大。

　　他们还想出了各种办法，去调整连接结构、神经元结构，调整所使用的强化算法，也调整训练所用的数据。

　　各种各样的微调叠加起来，让整个系统变得越来越高效。

　　主持人：我们本质上就是在造一个大脑。

　　Daniel：对。随着他们造出越来越多的“大脑”，他们自己也越来越擅长造这类东西了：做得更大、也做得更高效，等等。

　　主持人：而且它确实就是参照大脑运作方式来建模的，对吧？

　　Daniel：它当然深受大脑启发，但我也不想把这种类比说得太过。两者之间还是有很多差异。

　　比如说，transformer 架构——也就是这些大语言模型使用的架构——其实并不是真正的递归式结构。信息更多是单向流动，而不是内部有很多小回路不断循环。

　　另外，反向传播算法，也和人脑自然发生的学习过程并不相同。

　　所以它们确实有差别。但总体上说，我们某种程度上确实是在制造人工大脑。就像飞机之于鸟，大概是那种关系。

　　主持人：嗯，这个类比真好。它让我重新想了一些人们经常问 AI 的问题，比如：它能不能有创造力？

　　但其实，这个类比反而让我觉得，也许问题根本不该这么问。真正该问的可能是：它能不能产出你会认为“有创造性”的东西？因为人们常把创造力理解成一个过程，可实际上，创造力往往是按输出结果来判断的，不是吗？

　　Daniel：你当然可以从哲学层面讨论，它到底算不算“真正的创造力”。但你也完全可以换个角度，直接看看它已经完成了多少事情。而且看起来，在不久的将来，它还能完成更多。

　　主持人：对。我刚才问这件事在个人层面上对你影响有多大，是因为我能感觉到，这其实真的让你本人很困扰。

　　Daniel：我是觉得，整个局面都很疯狂。

　　首先，这件事非常令人兴奋。AI 真的很迷人，也很有意思。我关注这个领域已经十多年了，也亲身参与了几年。它确实很酷，非常有趣。

　　去思考这些人工大脑内部到底发生了什么、它们为什么会变成现在这个样子，这件事本身就很有意思。看着这项技术在现实世界中的各种应用冒出来，也非常震撼。

　　但与此同时，它又真的像是在把我们带上一条相当可怕的路。而且你越认真去想，就会越担心。

　　故事里通常最后都会有个好结局，但这是真实世界。我觉得我们必须直视现实，并承认：它未必真的会有个好结局。

　　主持人：最近有没有出现过什么——我本来想说“灵光一现”的时刻，但更准确地说，是那种足以改变范式的时刻——让你连自己对这一切的理解、以及对未来会变成什么样的判断，都发生了变化？无论是往好还是往坏？

　　Daniel：无论往好还是往坏——而且大概率是往坏——现在发生的事，基本都还在《AI 2027》的轨道上。

　　当然，也有一些地方和我们当时写那份报告时的预期不一样。算不上范式级变化，但确实存在一些偏差。

　　比如，政府介入得比我们预想更快，也比我们预想更强硬。Mythos 的出口管制是其中最明显的例子；另外，还有人用《国防生产法》威胁 Anthropic，说必要时可以直接把它“摁掉”。

　　另一个让我们意外的点是，尤其是 Anthropic，基本上已经从第二名追到了第一名。

　　主持人：你觉得这是为什么？因为之前看起来，至少在 OpenAI 这边，ChatGPT 显然一直遥遥领先，可突然之间 Anthropic 像是把他们反超了一圈。

　　Daniel：对。我猜，大概是因为他们的人才密度更高，策略也更好。未必好很多，但足以带来差别。

　　主持人：你为什么觉得他们的人才更多？

　　Daniel：嗯，他们的算力并不更多。那就得看输入条件了，对吧？他们现在领先了，之前却是落后的。那有哪些可能解释？

　　一种可能是，他们资源更多，比如算力更多、资金更多。但这并不成立。他们的资源更少，钱也更少。那接下来最合理的替代解释，大概就是人才。或者也可以说是策略，或者几种因素的组合。

　　总之，不是单纯因为他们手里的资源更多。

　　主持人：这有点像 Jon Jones。认知表现哪怕只提升一点点，最后都可能带来巨大差异。

　　有时候我一天要录 10 个小时播客。过去几周我一直在给一个电视节目拍摄，然后只有一两天空档把所有工作补完，所以脑力负担非常重。于是我会用酮类补充剂，因为我发现，在酮供能的状态下，我表达更清晰，思路更敏捷，训练状态也更好。

　　这也是为什么我后来成了这家公司的联合持有人，以及为什么他们现在成了这档播客的赞助商。我记得我团队里有个成员叫 Cristiana，她试过一次之后走到我桌前，直接说：“这是我用过最好的产品。”

　　我觉得部分原因就在于，她和我一样，也像 Jon Jones 一样，非常在意这种认知层面的收益。总之，很多年前有一次在伦敦，他把我拉下来认真聊过一次。其实他不止一次跟我说过这件事，但我记得特别清楚的一次是，他说有些 AI 公司的 CEO 估计，人类灭绝的概率大概是——我印象里他说的是 7%。

　　我也不知道为什么我会记住这个数字，但我记得那肯定不到 10%。而他当时想表达的是：哪怕只有 1%——就像现在这张桌上有 100 个按钮，其中一个会毁灭世界——我敢按任何一个吗？

　　当然不敢。

　　但他的意思是，这些 AI CEO 都很聪明，他们理解超级智能，而他们实际上认为：如果现在桌上真有 100 个按钮，可能其中有 10 个都会毁灭世界。

　　我记得你说过——好像是在你上《The Daily Show》的那次采访里——你说你觉得 AI 导致人类灭绝的概率有 70%。

　　Daniel：我不会准确地说成“人类灭绝概率 70%”。我会说，更像是有 70% 的概率，这件事会以极其糟糕的方式收场，比如人类灭绝。但那只是几种可能性之一。

　　例如，也许 AI 接管了一切，但并没有真的杀死所有人。它们也可能做别的事。它们接管了，并不自动意味着一定会把我们杀光，对吧？它们可能会，但也可能不会。

　　所以我通常不会说“人类真的灭绝的概率是 70%”，而会说“出现某种类似 AI 接管世界的大灾难”的概率是 70%——那种级别的灾难当然也可能最终导致人类灭绝。

　　主持人：我这里其实有两个点。第一，你接触过这些 CEO。你以前还在 OpenAI 为 Sam Altman 工作过，后来才辞职。你觉得，他们自己是否认为人类灭绝是有可能发生的？

　　Daniel：我觉得，是的。但有一点很重要：人们往往会去相信那些让自己仍能觉得“我是个好人、我必须继续做我现在在做的事”的东西。这就叫合理化。

　　所以我觉得，这些科技 CEO 确实已经真心把自己说服了：大概率一切会没事，而且要让一切没事，最好的办法就是继续做他们正在做的事。

　　他们还会觉得，自己必须确保不能让别人先到那一步。Sam 大概会想：不能让 Dario 或 Elon 先到。Dario 也一定在想：不能让 Sam 先到。Elon 也是这么想的。

　　他们大概都已经把自己说服成这样：也许事情会严重失控，但大概率不会；而且，大概率还是应该由我来掌控它。

　　主持人：在我看来，Anthropic 似乎是唯一还在持续谈论灭绝风险、灾难性后果，或者说真正下行风险的公司。他们好像是唯一还在公开发布这类内容的人。

　　而现在，在旧金山的科技圈里，他们在很多层面上反而已经成了“公敌”。我看了很多采访，几乎所有人都在攻击 Dario，因为他在说：听着，事情可能会变坏。

　　人们叫他“末日论者”，还质疑他的动机。甚至连 Mythos——也就是他们开始公开提醒世界警惕的那个 Claude 模型——他一说这个，立刻就会被围攻。

　　我的问题是：在这一点上，你觉得他和 Sam 是不是确实有一点不一样？

　　Daniel：对。我的意思是，至少在过去一年左右，Anthropic 和 Dario 看起来确实更愿意说一些、做一些会损害自己利润底线的事。这就是一个例子。

　　我不觉得说这种话，能帮他们在政府内部或者投资人那里获得什么好处。更明显的例子其实是国防部门和 Anthropic 之间的整场冲突——那就是他们做了一件代价非常高的事，不只是损失很多钱，更重要的是，损失了很多权力。

　　主持人：为了某件像——

　　Daniel：他们本来完全可以直接把合同签了。

　　主持人：我真的不想陷入那种局面：我们要开始讨论“哪个 CEO 相对没那么坏？那我们就支持他吧。”

　　Daniel：说到底，这些人里没有任何一个应该被赋予那么大的权力。没有人应该。

　　主持人：不管是谁，都不该。

　　Daniel：对，不管是谁。

　　主持人：所以回到“按钮”那个比喻，你确实认为，他们自己也相信灭绝风险是真实存在、值得认真对待的。

　　Daniel：对。但他们已经把自己说服成：大概率不会出事；而且如果不是我来做，情况会更糟。

　　公司内部也会这么说。人们会说：“好吧，可如果我们停下来，那其他人怎么办？他们可不会停。”

　　淘汰巨浪将瞬间横扫实体经济，自慢是人类最大的敌人

　　主持人：对。这一直是我悬而未决的一个问题：回顾历史，人类几乎总是被自身激励机制驱动。那在这种情况下，事情怎么可能不出问题？

　　因为所有人类激励都在说：你继续开发这些越来越大、越来越强的 AI 大脑，会出事；但从地缘政治角度看，你如果不继续，美国就会输给另一个国家，或者这家公司就会输给那家公司。

　　所以，只要把人类的激励与反激励机制摆在眼前看，这件事最后要怎么收场？

　　Daniel：嗯，看起来它就是会一路继续往前冲。

　　不过，这话也有保留，而这个保留本身也是希望所在。首先，如果全世界真的对这一切醒过来了，那我们就能就监管、国际条约之类的问题展开更严肃的讨论，而这会改变激励结构，对吧？

　　政府可以介入，说：好，现在你们都必须遵守这些规则。既然这些规则对所有人都有效，那你再去违反它，就不再有激励了，因为违反会受罚，而且其他人也同样在遵守，所以局面反而是稳定的。

　　所以这里确实有一线希望：如果政府——尤其是美国政府，然后再到其他国家——出手改变激励结构，我们是有可能扭转方向的。但在此之前，人们得先真正醒过来，意识到事情的严重性。

　　第二点是，即便只从个人角度看，Dario、Sam 或 Elon 这些人中的某个人，也有可能在某个时刻意识到：继续单边竞速，其实连对他们自己都不利。

　　问题在于，这通常只有在局势变得极其明显、极其危急时才会发生。

　　所以在《AI 2027》那个情景里，我提到过一个选择节点：在一个分支里，AI 是失配的；在另一个分支里，AI 是对齐的。在那个节点上，我们给出了一条“失配收场”的支线，以及一条“他们稍微放慢下来，解决对齐问题”的支线。

　　触发这个选择节点的原因，是他们看到了某些证据，表明自己的 AI 也许已经失配、甚至在暗中算计他们。对吧？如果你真的看到了这样的证据，那你就会想：天哪，也许我们不该把一切都交给它来控制、然后任它一路狂飙，因为证据已经明摆着告诉你，它不值得信任。

　　但如果他们看不到这种非常清晰的证据，我觉得他们还是会继续说服自己必须往前走。不过，也许他们真的会看到如此清楚的证据；如果真那样，即便没有监管，他们也可能会自愿停下来。

　　所以，这是第二线希望。整体上，我并不认为我们注定完蛋了。我说 70%，但我也能想象事情最后发展得相当不错。

　　主持人：那工作怎么办？

　　Daniel：对。所以我其实很想稍后聊聊我们新的那套东西，也就是更乐观、更正面的那种愿景。因为那会对这个问题有很多回应。

　　因为在《AI 2027》的预测里，等到所有人都失去工作的时候，其实更糟糕的事早就已经发生了，或者说，等到那时候再讨论已经有点晚了。

　　但没错，如果这些公司真的造出了超级智能，那么按定义来说，它们就能接管几乎所有工作，甚至所有工作。因为它在每一项任务上，都比最优秀的人类更好、更快、更便宜。

　　主持人：而你刚才说的时间线，还是大概到 2030 年底，对吗？你觉得超级智能可能会在那之前到来？

　　我其实在想，我们大概念什么时候会开始在现实经济里看到真正的岗位替代。

　　Daniel：现在其实已经开始出现一点点了，但还非常少。

　　主持人：为什么？

　　Daniel：因为 AI 现在还不够强。它们确实很惊艳，但在几乎任何领域，它们都还不是那种可以直接替换一名人类员工的“即插即用型替代品”。

　　主持人：那你觉得这种变化会是突然发生的吗？

　　Daniel：我觉得会很突然，因为存在“智能爆炸”的动力学，或者说“递归式自我改进”的动力学。

　　你当然也可以想象另一个世界，在那个世界里，一切是渐进发生的。很多科幻作品里就是这样：AI 会逐渐在许多事情上变强，然后逐步自动化某一个行业，比如先自动化制药，再自动化无人机操控，再自动化驾驶汽车，之类。

　　但现实世界的不同之处在于，这些公司已经收敛到了另一种策略：先自动化它们自己，先自动化 AI 研究流程本身。

　　所以，如果它们被允许沿着这条策略继续走下去，我们最先看到的不会是机器人出租车、机器人水管工、AI 律师。我们不会先看到 AI 在整个经济体系里那种大范围、广泛扩散式的渗透，因为那根本不是它们最先聚焦的方向。

　　它们最先聚焦的是自动化自己，自动化自己的研究流程，让自己现在所做的一切都变得更快。它们希望先把这个引擎开起来，并把智能水平推到极高、把通用智能水平推到极高。

　　然后，才把更多能力部署到整个经济中去。也就是说，等到它真的开始冲击各类具体职业的时候，它们内部的全自主 AI 研究，很可能已经持续了几个月，甚至几年。

　　而这意味着，那时的 AI 在 AI 研究上已经会远远超越人类，而且作为副作用，它大概念在很多别的事情上也已经远远超越人类了。

　　如果你想知道那会是什么样，我们其实写过。它看起来有点像：在公司内部先发生一次智能爆炸，然后一道巨浪横扫整个经济体系。

　　主持人：我听你的意思是，因为 AI 能自我改进、也能训练自己，所以它会在很多能力上同时变强，然后基本会在差不多同一时间被大规模释放出来。这样理解准确吗？

　　Daniel：也不完全是这样。因为就算它主要只是在提升自己当前正在做的事，比如研究，这种提升也会外溢到很多别的技能上。然后，一旦它把注意力转向那些其他技能，它就能非常快地把它们也做好。

　　主持人：那在这种情景下，你觉得还会剩下什么工作？

　　Daniel：我觉得这其实是个政治问题，而不是技术问题。因为从技术层面看，只要 AI 真到了那个水平，所有工作它都能做。

　　所以问题变成：哪些工作被允许交给它们做。

　　主持人：那你觉得，什么样的工作可能不会被允许？

　　Daniel：这要看是谁在掌权。所以最后会变成某种政治讨论：我们打算允许什么、不允许什么。

　　主持人：我的意思是，在这个情景里，人类不是仍然在控制它们吗？

　　Daniel：这得看你说的“控制”是什么意思。控制至少有两层：一层是，这些 AI 是否真的拥有你希望它拥有的目标和价值观，并且未来也能稳健地持续按你的意图行事；另一层则是，它们现在是不是在服从你的命令。

　　主持人：我这里说的主要是后者——它们是不是还在听命令。

　　Daniel：对。所以即便是在《AI 2027》那个 AI 最终接管并杀死所有人的情景里，也仍然有一个持续数年的阶段，在那个阶段里，它们依然在听命令。它们会接管一部分工作，但不是全部；它们还会帮助美国政府造出更好的武器，用于军备竞争，等等。

　　而这也正是它们为什么能这么快积累如此巨大的权力：政府、企业等等都信任它们，并且有意把它们部署到这些关键位置上，因为人们以为一切都没问题。

　　但问题在于，这些东西是神经网络。你不能像看普通软件那样打开内部，直接看见它“真正怎么想”。你其实看不出来。

　　主持人：我觉得这一点特别重要。因为普通软件我们可以看代码，知道它在干什么。可照你的说法，理论上对于 AI，我们并不知道它为什么会做出某个决定，因为我们进不到它内部去。

　　Daniel：有一点值得乐观的是，事情未必非得永远这样。

　　机器学习里有一个子领域叫“机制可解释性”，更广义上还有一个更大的子领域叫“可解释性”。它们都在尝试解决这个问题：把这些训练好的人工神经网络拆解开，去理解信息是如何流动的、决策又是如何产生的。

　　问题只在于：这本身就是一个极其困难的问题。如果你面对的是 10 万亿条连接，你当然可以盯着其中某一小组看，说，好，我大概知道这部分连接是怎么工作的。但你怎么把握整体？你怎么理解高层次上究竟发生了什么？

　　答案是：也许根本做不到。但人们正在努力，而且确实在取得进展。如果这种进展足够大，那我们所处的世界就会完全不同，也会光明得多。

　　我觉得，如果我们真的能在任何时刻看清 AI 正在想什么、为什么这么想、又是怎样形成这些想法的，那么我们落入那种失控情景的概率，就会小得多。

　　主持人：对。

　　Daniel：那样的话，我们当然还是有其他问题要担心，但至少这个问题大体上可以被解决。

　　主持人：想想还真挺疯狂的：我们正在造一种技术、一个“大脑”，而我们并不真正理解它。

　　Daniel：对，确实很疯狂。这就像科幻片里的场景：一群科学家围着一个巨大的大脑站着，嘴里说着“把它做得更强一点”“继续喂它”。

　　主持人：对，对，但他们其实并不知道——

　　Daniel：对。我的意思是，这本来就明显是一件很危险的事。

　　但我们还是在做。之所以会走到今天，是因为过去 10 年这个领域的发展历史，大致就是这样一种逻辑：人们先说，“哇，这东西显然很危险。”然后又说，“糟了，要是别人去做，而且做得很糟怎么办？那不如我们自己来做，而且把它做好。”

　　于是现在他们彼此之间就陷入了竞赛。而且他们还承受着各种政治压力，不得不假装事情并没有看上去那么糟，因为他们不想惹恼投资人，也不想惹恼白宫。

　　2040计划：主动踩下刹车，重新夺回对人类命运的掌控

　　主持人：我们从观众那里收到的一个核心问题是：到底哪些工作，真的有可能在 AI 时代存活下来？未来 10 年，人们——尤其是学生——应该重点培养什么技能？

　　Daniel：这个问题有点像：假设你生活在 1500 年的墨西哥，然后你听说征服者要来了。

　　这时候你也许会问自己：“好吧，那我该改行做什么，才能挺过这场转型？”但其实，除了工作之外，你还有更多、更大的事要担心。

　　不过，如果一定要回答，我会这样说：如果我们设法避免了失控问题，最后仍然是人类在掌管 AI；并且人类依然能够决定这些 AI 应该拥有什么目标、什么价值观——哪怕它们已经比人类聪明得多，哪怕它们已经在运行整个经济——那大概念会出现一些监管，去保护某些领域，而你可以尝试猜测哪些领域会被保护。

　　比如，可能某些更接近法官这类的岗位。

　　主持人：那播客主持人呢？说实话。

　　Daniel：我觉得，大概念不包括播客主持人。

　　还有一些工作，比如保姆，也许还有机会。哪怕真的有一个非常、非常出色的机器人保姆，我觉得仍然会有不少人宁愿要一个真实的人类，因为他们可能会觉得“一个太能干的机器人保姆”这件事本身就让人不舒服。

　　所以你可以沿着这种思路去推断。还有一些岗位可能会被法律保护，比如说，法官也许会被法律要求必须是人类，而不能是机器人。

　　主持人：不过也有人说，未来会创造出大量我们现在根本想象不到的新工作，就像工业革命、互联网浪潮那样。

　　Daniel：问题在于，过去的技术进步都更“狭窄”。它们自动化了一部分事情，但不是一切。

　　可我们现在讨论的是一个假设中的未来情景：一切都会被自动化。如果有一天 AI 能做人类能做的一切，而且做得更好、更快、更便宜，那么无论你原本打算转去哪个“新岗位”，AI 也一样可以转过去，而且它们还会比你更强。

　　现在有一种循环是这样的：AI 学会了某项工作，比如写文案、起草代码、调试问题，原先做这项工作的人就转去管理 AI，或者转去做那些 AI 还做不了的部分。

　　所以历史上才一直出现这种动态：新工作不断冒出来，人们再大量涌向那些新岗位。但如果有一天 AI 能做人类能做的一切，而且做得更好、更快、更便宜，那么无论你原先打算转去哪个“新岗位”，AI 也一样可以转过去，而且它们还会比你更强。

　　主持人：因为我们到现在还没有在经济里看到大范围失业，你觉得大家会不会开始有点自满了？因为我在时间线上已经看到很多人在说：“看吧，我早就说过，一切都会没事的。”

　　而且如果你看美国失业率，现在基本持平，甚至略微下降；如果看英国，则是上升的，和去年相比趋势向上。我们这边大概是 5% 左右，美国那边是 4.2%。

　　Daniel：对。基本上，没有人说过“大规模失业到现在这个时间点就会发生”。至少我们没这么说，而且在《AI 2027》里，我们历来已经算是对 AI 进展相当乐观、相当激进的一派了。

　　按照我们刚才说的那些动力学，大规模失业不会在现在发生，而是在 2028 或 2029 年，在它们已经拥有超级智能之后才会发生。

　　因为再说一遍，这些公司的第一步不是制造大规模失业。那更像是第三步。第一步：自动化自己。第二步：通过递归式自我改进抵达超级智能。第三步：向整个经济扩张，把一切都自动化。

　　从全人类的角度看，这其实很不幸。因为原先人们也许会希望：如果经济里先出现一波大范围自动化浪潮，大家就会立刻警觉，开始认真思考事情会走向哪里，并向政府要求更好的监管。

　　但这些公司实际上并不是这么走的。它们会先拿到超级智能，然后才去做大范围自动化。这意味着，等它们真的开始大规模接管一切的时候，事态已经会发展得非常快，而 AI 也已经非常强大了。

　　主持人：在你的《AI 2027》报告里——那份报告是 2025 年写的，但名字叫《AI 2027》——你说到 2025 年中，我们会看到“自主员工”，也就是那种可以通过 Slack 或 Teams 接收指令的 AI agent。

　　这件事确实发生了。我现在自己的 WhatsApp 里就有一个 AI agent，我平时会跟它说话。Claude Code 当然也已经在全球范围内爆发了，而现在 Claude 还谈到了新的 Slack 集成。现在很多人都在用 agent。要说我们自己真正意识到这件事，大概念是在 2026 年初。

　　你还说，到 2026 年，公司会开始用 AI agent 订阅服务替换整个企业部门。到 2027 年，最后一个关键岗位会被自动化：AI 会自动化人类 AI 研究员自己的工作，并开始进行机器学习研究，用来升级和构建下一代 AI。

　　Daniel：对。不过再说一次，时间线这件事——我们并不确定到底需要多久才能实现这些里程碑。

　　在那个情景里，它们确实是在那些时间点发生的；但等到我们真正发布那份情景报告时，我们自己的时间线判断其实已经略微往后移了一点。更具体地说，是我自己的判断往后移了。

　　所以，对“AI 研究完全自动化”这个里程碑，我自己的 50% 概率点已经是 2028 年，而不是 2027 年。团队里其他一些人的判断则更接近 2030、2031 年之类。

　　所以我想用一种方式来帮助理解：它其实是一条概率分布。像一团被抹开的概率质量。50% 的位置落在某一个特定年份，但它也完全有可能提前几年发生，或者晚几年发生。

　　主持人：这个《AI 2040》是什么？

　　Daniel：所以，《AI 2027》是我们对现实会如何发展的一份“最佳猜测”式预测。

　　主持人：对。

　　Daniel：而《AI 2040：Plan A》则是我们对“事情应该如何发展”的建议。我们之所以把它叫《AI 2040》，是因为在这个情景里，超级智能不是更早到来，而是因为人们主动延后，所以要到 2040 年才会出现。

　　主持人：他们为什么要延后？

　　Daniel：为了管理风险，并确保权力分配更加公平。

　　基本上，他们会对 AI 发展进行监管，让发展继续发生，但速度更慢、更合理，也更透明、更安全，并且分散到更多国家和公司中去。这样一来，超级智能就会在 2040 年到来，而不是比如说 2030 年。

　　我们把它叫 Plan A，是因为这就是我们的建议。我们提出了一套政府应该采取的方案，而这个情景就是对这套方案实际落地后可能是什么样的一种示意。就像《AI 2027》某种程度上是在示意：如果这些公司照着它们现在正在计划的方式继续做下去，世界可能会变成什么样。

　　主持人：明白。所以这是某种一厢情愿的想法，还是说，这就是你们认为会发生的事？

　　Daniel：不，这绝对不是我们认为默认会发生的事。

　　主持人：也就是说，这不是你们的现实预测。

　　Daniel：对，不是。我们认为更可能发生的，仍然更像是前面那条路径。我们并不预期世界会听我们的。

　　这是我们的建议。我们希望人们采取类似这样的做法，而且我们认为这在现实中是有可能做到的，但它不是我们对默认未来的预测。

　　警惕“弱者能控制强者”的盲目傲慢，我们需要绝对的科学透明度

　　主持人：但如果已经走到这里了——也就是 AI 和机器人已经承担了大多数劳动产出——那时你就做不到了，对吧？

　　Daniel：没错。但在《AI 2040：Plan A》这个情景里，他们是在 2029 年就把监管放进去了，然后以一种缓慢、谨慎的方式继续发展 AI，同时避免掉所有那些问题。我们等会儿可以再详细展开。

　　所以，最终是的，最终 AI 还是会接管工作。最终几乎整个经济都会由 AI 和机器人来运转。但它发生得是渐进的，是在整个 2030 年代里逐步展开的，而不是像那种疯狂冲击一样，一年之内突然砸下来。

　　因为在这个情景里，他们不会让公司去做那种不受限制的递归式自我改进、以最快速度冲向超级智能。相反，他们会监管 AI 发展，让 AI 的核心能力以更合理的速度提升，同时也让整个过程更透明，好让科学界看清发生了什么，并帮助把它做得更安全。

　　主持人：不过我注意到，在你们这两个情景里，最终 AI 和机器人都会承担几乎所有工作。

　　Daniel：对。

　　主持人：所以在这一点上，你其实和 Elon 的判断差不多——他说，未来“工作”会变成一种选择。

　　Daniel：我的意思是，事情会怎么发展？对，如果它什么都能做，那它当然就什么都能做。

　　我觉得真正的问题在于：我们到底应不应该允许出现这种“什么都能做”的 AI，对吧？有些人认为答案是否定的，我们应该直接把整件事停掉，从一开始就阻止这种类型的 AI 被造出来。

　　而我们其实对这种想法是有一定同情的。

　　主持人：要不要把那张方案图拿出来？

　　Daniel：好。

　　谢谢。对，所以我们的情景叫《AI 2040：Plan A》。它描述的是一种主动放缓 AI 发展、让超级智能在 2040 年而不是更早出现的路径。

　　而 Plan A 是我们的建议，所以这张图本质上是在说明我们的建议会是什么样。

　　不过，为了比较，我们还做了几组微型情景，分别对应其他备选方案，我们把它们叫作 Plan S、Plan B、Plan C 和 Plan D。

　　Plan D 基本上就是《AI 2027》里发生的那种事：竞赛继续，几乎没有实质监管。那部分你可以去看《AI 2027》。

　　Plan C 也和《AI 2027》里“放缓结局”很像，也就是他们解决了对齐问题的那条支线。在那个结局里，他们稍微放慢了一点，把更多资源转向 AI 对齐 and AI 安全研究，运气很好地成功了，于是现在他们拥有了对齐好的 AI。然后他们再次提速，接管所有工作、压过竞争对手，等等。

　　Plan B 有点像 Plan C，只不过在 Plan B 里，你对竞争对手会采取更强硬的策略，会通过破坏行动或网络攻击之类的手段，让对方保持落后，这样你就能给自己争取更多喘息空间，先把对齐问题解决掉。

　　Plan A 是我们的建议：先在国内实施监管，然后达成国际协议，继续构建 AI，但要以一种好得多的方式去做。

　　Plan S 则是：全部停掉。如果你想要一个未来，在那个未来里不存在那种比人类更快更强、什么都能做的 AI 到处运行，那你想要的大概就是类似 Plan S 的东西。

　　主持人：那你自己想要什么？

　　Daniel：我们的正式建议是 Plan A。我个人对 Plan S 也有一定同情，但基于我们在文中解释的那些原因，我们最终推荐的仍然是 Plan A。

　　主持人：那如果你说实话，你觉得最可能发生的是哪一种？

　　Daniel：Plan D。也就是他们继续竞赛，基本不会真正显著放慢，而事情会以极快的速度发生。

　　这张图其实也大致解释了背后的逻辑。高层次的问题是：你是否想继续尽可能快地竞赛，让 AI 变得越来越聪明、让它们接管越来越多事情，从而帮助我们击败竞争对手？

　　如果你对此感到满意，那就会走到这边这些不同变体里。如果你对此感到担忧，那你就会走向另一边更像这样的方案。

　　当然，现实里还有更多其他选项，只是这几个是我们能压缩进一张图里的主要方案。

　　主持人：你有孩子吗？

　　Daniel：有，我有两个孩子。

　　主持人：这听起来有点难受。

　　Daniel：不管是哪种情况，我觉得等他们长到足以进入劳动力市场的时候，这一切大概念都已经结束了。

　　我觉得，他们可能永远都不会进入劳动力市场。

　　主持人：你说“等他们进入劳动力市场的时候，这一切都已经结束了”，你说的“这一切结束了”具体是什么意思？

　　Daniel：我指的是我前面讲的那些里程碑：AI 自动化 AI 研究；AI 变成超级智能；AI 随后向整个经济爆发式扩张，接管工作，建造机器人工厂，再由机器人工厂建更多机器人、更多工厂；GDP 开始近乎垂直上升——我说的是这整串事件都已经发生完了。

　　当然，也许还有个大概 10% 到 20% 的概率，它会撞墙，最后这些事一件都不会发生，即便你什么都不做也是如此。

　　主持人：你最大的孩子几岁？

　　Daniel：六岁。

　　主持人：六岁。男孩还是女孩？

　　Daniel：女孩，两个都是女孩。

　　主持人：那假设你女儿来问你：“爸爸，我在学校应该学什么？”

　　Daniel：还是那句话，如果这些激进的转变真的发生了，那整个世界都会彻底变样。那你现在把自己往哪类工作上培养，最终可能都不会有太大意义。

　　我会说，真正该做的是：尽量让这件事最后发展得好一点。如果你对历史、对这一切的发展方向哪怕能施加一点点影响，你都应该非常努力地把未来往更好的方向推。

　　除此之外，从个人层面说，我觉得应该把重点放在“做一个好人”，以及去做那些本身就值得做的事，而不是只去做那些“将来有利于你就业”的事，因为那个“将来就业”本身会变得极其不确定。

　　主持人：Elon 一直在谈我们将要进入一个“丰裕时代”。

　　Daniel：丰裕当然会有。问题在于：是谁控制这种丰裕，又拿它做什么？

　　这些 AI 是不是被任何人控制着，还是它们已经在做自己的事？如果它们确实受人控制，那又是谁在控制它们？他们会拿它们做什么？以及，支配这些决策的政治结构到底是什么？

　　主持人：我记得 Geoffrey Hinton 以前跟我说过一句话。他说，在自然界里，没有任何一个例子是“更聪明的物种，反而比更不聪明的物种更缺乏控制力”。他借此在说，我们其实很傲慢：竟然会以为，在一个存在某种比我大脑大无数倍的人工大脑的世界里，我还能继续对它发号施令。

　　Daniel：对，没错。我觉得那就应该是我们的默认假设。

　　在自然界里，没有任何一个例子是“更聪明的物种，反而比更不聪明的物种更缺乏控制力”。我们面前有这些“大脑”，我们看不清它们到底在想什么。我们准备把它们做得比我们更聪明，再把一切都交给它们掌管，然后还准备给它们装上身体。

　　主持人：对。

　　Daniel：然后它们会自主建造新的工厂，诸如此类。那这到底要怎么才会有个好结局呢？这不就完全像是我们主动挑选了一个新物种，而当它不再需要我们时，它就会在竞争中把我们淘汰掉吗？

　　我觉得，这就是默认轨迹。

　　当然，关于我们怎样才能脱离这条默认轨迹，我们也可以展开讲很久。比如，我前面提过可解释性研究。如果这类研究最终开花结果，你就能真正看到它们在想什么，那将会成为一种极其强大的工具，帮助我们塑造它们、控制它们、确保它们按我们想要的方式行事。

　　另外，还有其他一些 AI 对齐研究议程也在取得进展。如果其中足够多的议程都取得了足够大的成功，我们就可以避开这个问题。

　　人们往往会去相信那些让自己仍能觉得“我是个好人、我必须继续做我现在在做的事”的东西。这就叫合理化。公司会把制造这些 AI 的“配方”严密保密，因为那是它们想保护的商业秘密，不想让别人复制。

　　所以，大量工作都发生在封闭环境里。真正能看到它们如何训练这些 AI、用了什么配方的人，其实非常少。

　　而且，当 AI 出现出乎意料的行为，甚至是明显失配的行为时，这些信息往往也不会真正流到公众那里，因为公司根本没有动力把自己搞砸了什么、或者自己的 AI 多么“邪门”这类事情讲给所有人听。

　　这种环境并不利于这些问题上的科学进展。如果监管体系不同，情况也许就会好得多，我们也许就能取得更快的进展。

　　另外，当然，我们也完全可以不去做某些选择。比如，我们并不是非得把这些 AI 以最快速度塞进一切岗位里，也不是非得允许它们自我改进。这些都不是无法避免的命运，而是我们可以选择不做的事。

　　主持人：你刚才提到 Ilya，他曾是 OpenAI 的领导者之一，后来离开并创办了自己的公司，名字就叫 Safe Superintelligence。离开 OpenAI 之后，起这样一个名字，真是很耐人寻味。

　　你有和他共事过吗？

　　Daniel：我没有直接在他手下工作过，但我和他聊过几次。

　　主持人：你觉得他也是真心担心这些问题的吗？

　　Daniel：我觉得是。但我也觉得，他和其他这些 CEO 很像。你只要想想他们所处的激励结构就明白了，对吧？

　　他们能看到问题所在，然后会想：好，可如果我停下，如果我辞职，或者转去做别的事，这也解决不了问题，因为其他 CEO 还是会继续往前冲；而且就算我们所有人都不做了，也许中国还是会继续做。

　　于是他们会想：那看来，不管我做不做，这件事大概念迟早都会发生。那我还不如参与进去，也许我还能让它有个好结局。

　　而且，不管怎么说，我也不想自己被排除在外，眼睁睁看着那些我不信任的人去掌控一切。

　　于是，他们就会沿着这一整套逻辑推演下去，最后把自己说服成：正确的做法就是由我来造它，而且我要把它做得更好。我觉得 Ilya 只是这个模式的最新一个例子。Elon 是一个例子，Dario 也是一个例子。

　　甚至可以说，在 OpenAI 刚开始的时候，Sam 也是一个例子——当然，Elon 和 Dario 当年也都早期待过 OpenAI。

　　主持人：那你觉得，他们到底应该做什么？

　　Daniel：我觉得应该发生的是某种国际层面的监管，至少也应该有类似我们在 Plan A 里描述的那种国内监管。

　　主持人：好。那你就带我过一遍 Plan A。

　　Daniel：好。在这个情景里，AI 抵达递归式自我改进，以及 AI 研究完全自动化的时间，会比《AI 2027》里更晚。

　　我们觉得，有必要把不同可能性的范围都表现出来，因为这些时间线本来就存在不确定区间。所以我们选了 2030 年，作为 AI 研究完全自动化真正达成、整个局势真正开始起飞的那个时间点。

　　然后再从这个时间点往回推：最后一个还能真正实施有效监管的时刻是什么时候？答案是 2029 年。

　　所以在这个情景里，AI 进展自然地稍微慢下来一点，而 AI 公司继续竞赛，但它们在 2027、2028，甚至 2029 年都还没能成功把自己完全自动化。不过它们已经非常接近了，而且它们会在 2030 年做到。

　　于是到了 2029 年，政府介入并开始监管。

　　后工作时代的社会阵痛，以及可能降临的“终极真相”

　　主持人：那他们具体会实施什么监管？

　　Daniel：简单说，先是临时性地把它按下暂停键。

　　主持人：我能问一下，选举和你的这些时间线是怎么叠加的吗？因为 2028 年不是会有一场非常重要的选举吗？

　　而且现在看起来，公众整体情绪已经非常、非常明显地转向反感 AI，我感觉它会成为投票时最核心的议题之一。

　　Daniel：我们认为，到 2028 年总统大选时，AI 很可能会成为最重要的议题，甚至没有之一。

　　我觉得，很多人——甚至大多数人——都会非常担心事情正在往哪里走。这也是为什么我们在这个情景里把事情描绘成这个样子，因为这能帮助解释：为什么他们会在 2029 年推出这种监管。原因就在于，选民一直在要求这么做，而总统候选人也一直在承诺这么做。

　　主持人：而在这个情景里，也包括《AI 2027》那个情景，到那时，普通公众是不是已经会比现在更强烈地感受到 AI 带来的后果？

　　Daniel：会。虽然即便是在这个情景里的 2029 年，大多数人其实仍然还保有自己的工作——图上表现出来的也是这样。

　　所以在这个情景里的 2029 年，很多工作已经变成“管理 AI agents”的工作。你刚才提到你自己就有一个 AI agent，对吧？

　　那在这个情景的 2029 年，AI agents 会比现在强得多。但即便如此，它们仍然还没有强到“彻底包办一切”。按照这条时间线，那种事是在 2030 年才会到来。

　　再说一次，我们对时间线是不确定的。现实也可能比这个情景里画得更快。事实上，我觉得现实大概念确实会比这个情景更快一点，但我们不能确定。

　　我们已经写过那种“非常快的时间线”情景了，所以现在是在写一个“更慢的时间线”情景。不过，也许我们应该先讲讲高层目标。

　　主持人：所以，他们想要的是让 AI 继续发展，但放慢速度。这个“他们”指的是谁？

　　Daniel：政客啊。总统、投票给总统的人、其他国家的政府首脑，等等。所以，目标一：放慢速度，给安全留出空间。

　　目标二：让整个过程更透明，让科学界能够追上这个领域，取得更多进展；同时也让我们不用只听公司一面之词——比如它们说自己的系统是安全的，或者说它们没有在系统里植入偏见时，我们不必只能照单全收。

　　这其实也涉及权力集中问题。我们同样想避免那种权力高度集中的局面。

　　所以，除了透明和放缓之外，我们其实还认为：让多个不同国家的多家 AI 公司都拥有相近水平的先进 AI 能力，是一件主动有利的事；让 AI 在整个社会里广泛扩散，而不是由某一个超级项目独占最强 AI，也是好事。

　　而这件事的妙处在于：如果你做好前两件事，第三件事某种程度上就会自然出现。

　　因为只要你放慢速度、提高透明度，别的项目就会有时间追上来，对吧？而透明度本身也会直接帮助它们追赶，因为它们可以复制其中一些想法。

　　我觉得第四件事则是“可逆性”。

　　因为在这个情景后面的阶段里，我们会建设大量数据中心，也会制造大量机器人。世界仍然会被很快地改变——虽然比默认路径慢，但依然很快。

　　可如果事情出了问题，协议破裂了，大家又重新开始拼命竞赛、争着尽快冲向超级智能，那就会非常可怕。

　　所以第四个原则大致是：新建的数据中心要设计成，一旦一切崩掉、大家重新开跑，这些新建数据中心就会被摧毁。这样我们至少是回到起点，而不是陷入一个更糟糕的竞赛——到处都是更多 AI、更多算力，局面只会更危险。

　　如果你有兴趣，我可以顺着时间线给你讲下去。

　　主持人：当然。

　　Daniel：开发新的 AI，需要进行训练；但如果只是拿现有的 AI 去服务客户，那叫推理。

　　所以，在这个情景里，他们想出来的解决方案大致是：暂时允许继续做推理，但不允许训练，直到新的训练型数据中心建设完成。

　　于是，他们会改造现有数据中心，把它们用于推理服务。人们仍然可以继续和自己的 AI agents 交流，但它们不会在那半年到一年里继续越来越强，因为那段时间里，大家在建设新的数据中心——也就是将来那些“透明数据中心”。

　　之后，训练会在那些新数据中心里进行。等这些新数据中心在 2030 年搭建好之后，AI 研究才会重新继续。

　　这里有一点比较“刺激”：我们主张“研究全面透明”。也就是说，在那些负责训练新模型的训练型数据中心里，基本上一切都必须公开。

　　这意味着，训练这些模型的全部细节配方，外界都能看到。架构设计等等，也都能看到。

　　我们认为，开放科学对足够快地解决对齐问题极其重要，因为你不应该让这些带有自身偏向的公司来替大家决定：AI 到底安不安全。

　　而且从更广泛的监管角度看，这也很重要。因为现在世界上大多数 AI 专业知识都集中在硅谷，尤其是各国政府，其实并没有真正那么理解 AI。

　　你也可以想象另一种方案。不是做全面研究透明，而是搞一种审计员制度：政府先定一些“如何让 AI 安全”的规则，然后设立一个机构进入企业，向企业提问，并试图确保它们在遵守规则。

　　但那样就会形成一种对抗性关系：公司会有动机去欺骗监管者。而且，如果它们发现了某种连政府都还没意识到的新问题，它们也可能会有动机不告诉政府，对吧？

　　所以，如果你实行全面透明，它既能帮助政府更快做出更好的决策，也会直接消灭那种靠保密维持的竞争优势。

　　主持人：是啊，OpenAI 可不会喜欢这个。

　　Daniel：OpenAI 不会喜欢这个。这大概念会伤害它们的估值。

　　我不觉得这会彻底杀死它们，但它确实让这个行业更“商品化”。换句话说，会有一批 AI 公司追上前沿，它们会训练出大致相似、大致等价的 AI。

　　它们当然还是可以靠这些 AI 去赚钱、去出售自己的产品，但它们不再会拥有垄断地位，甚至离垄断都很远。我认为，这对全人类是好事，尽管对那几家特定公司的利润表是坏事。

　　值得注意的是，这对很多其他公司的利润表反而是好事。比如，如果你是一家落后者，不是 Anthropic，也不是 OpenAI，那你一定会非常喜欢这种安排，因为这会帮助你追上来。或者说，它能帮助你从你卖出的芯片中、或者你做出的下游产品中，拿到更多价值。

　　主持人：然后到 2031 年，你这里写的是，五分之一的认知劳动将由 AI 完成。

　　Daniel：对。这里我们设想的是：美国政府，以及其他参与这项协议、并实施类似监管的国家政府——它们的细节不必完全一模一样。

　　而这也是透明制度的另一个好处。如果你有了这种透明性，那么即便两个政府采取的监管不同——比如一个要求本国公司放得更慢，或者禁掉的事情更多——双方也都能看见彼此在做什么。

　　它们就可以说：“哦，你允许他们做这个，而你们没有。那也许我们也该允许他们做这个。”

　　所以，透明性会在一定程度上自然地让各国监管趋同，而不需要存在一个中央权力机构替所有人制定统一规则。

　　总之，我们设想的是：当这种透明机制建立起来后，大家基本会达成共识——禁止危险的东西，允许不那么危险的东西。

　　而且关于什么是危险、什么不是危险，什么该禁、什么该放，某个国家该怎么处理、另一个国家又该怎么处理，这些问题之间会始终存在持续不断的讨论。

　　这种讨论会随着时间不断演化，但核心意思是：至少按照我们推荐的方式，他们不会让“智能爆炸”发生。他们不会允许 AI 自主自我改进。

　　相反，他们会缓慢而谨慎地扩展现有 AI 的能力，并投入大量资源去寻找让它们更可解释、更易控制、更容易理解其工作方式的方法，等等。

　　结果就是，AI 的进展仍然会继续，但速度不会那么快；与此同时，它会安全得多、透明得多、也安全得多得多得多。

　　主持人：但即便如此，你还是认为会出现就业冲击。

　　Daniel：对，因为数据中心仍然在持续建设，对吧？这一整段时间里，他们一直在建越来越多的数据中心、越来越多的芯片，也持续让 AI 的“人口规模”越来越大——如果你愿意这么说的话。

　　而这会在整个 2030 年代带来一场巨大的转型。

　　我们特别希望人们带走的一点是：即便你对 AI 进展施加了很强的限制，你仍然会得到这种近乎疯狂的社会变革。

　　在这个情景里，他们基本是在 2030 年允许进展继续，但以更慢、更安全的节奏往前走；于是要一直到 2035 年，AI 才会达到“顶级专家水平”。

　　所以请记住：原先它们是奔着 2030 年就到达那个水平去的，但他们在最后关头踩下了刹车。也正因为已经离那个时刻太近了，所以如果他们愿意，其实依然可以在相对不久之后到达，只是取决于他们允许它往前走多久。

　　于是他们把它放慢、摊开，让它在五年后以一种更从容的方式抵达那个水平。

　　到那个时候，世界各地已经建起了海量数据中心。所以不只是 AI 更聪明了、能做人类能做的一切了，同时它们的数量也更多了，机器人也更多了，等等。

　　所以到这一步，你其实就会得到很多人过去设想中的 AGI 经济：有 AI，而且数量很多；它们能承担各种工作；有机器人，而且数量很多；它们能承担各种物理劳动；而整个经济基本就是由这些机器在运转。

　　主持人：所以，到 2031 年，五分之一的认知劳动将由 AI 完成。到 2033 年，所有美国人都会收到现金分红。

　　这个我得请你解释一下。

　　Daniel：对。如果 AI 要接管人们的工作，那最重要的一件事就是：人不能因此饿死，仍然得有钱可用。

　　而如果公司会利用 AI 和机器人拿走这些工作，那就意味着必须有某种税收机制，或者某种类似的制度安排，来确保普通人仍然能分到这块蛋糕的一部分。

　　这块蛋糕会变得极其巨大，但你仍然必须真的把其中一块分给人们。

　　我们对这件事的方案，叫作“公民红利”。大致做法是：人们持有一个机构的权益份额，这个机构向机器人公司和算力公司出售许可证，并通过出售这些许可证获得利润。

　　然后，人们持有这个实体的份额。起步时金额会比较小，大概念是每人 2.5 万美元左右。

　　而到最后，规模会变成每位公民、每个人、每年大概念 1000 万美元。

　　主持人：已经把通胀算进去了吗？

　　Daniel：算进去了。

　　主持人：也就是说，我们所有人都会变成百万富翁。

　　Daniel：对，如果这真的发生的话——而它大概念不会按这个样子发生。但如果真的按这个情景走，这大概念就是结果。

　　而且我想再次强调的一点是：如果你把局势推进到“AI 已经快能完成所有研究工作”的位置，然后你在这个时候暂停、放慢，那并不意味着转型就结束了。恰恰相反，前面其实还剩下很多很多转型。

　　因为如果你允许这些 AI 继续缓慢推进，开始去自动化各种工作，几年之后，它们确实就会把这些事做成。它们也会建起海量新的数据中心、海量新的芯片工厂、海量新的机器人、机器人工厂，等等。

　　当然，我们并不确定这一切具体会多快发生，但我们认真想了很多，也做了自己的估计，而这大致就是我们的中位判断。

　　主持人：这里这句话是什么意思？“2037 年，真相如末日般降临地球。”

　　Daniel：对。这是我们说它们抵达“顶级专家级 AI”的那个节点。

　　因此，这还不算超级智能——至少不是那种“在各方面都远远比人类更聪明”的超级智能——因为他们是有意把它停在“顶级专家”这个级别上的。

　　所以在这里，他们是在慢慢走。到这里，他们其实已经真的停下来了，只不过停在了一个 AI 已经几乎什么都做得非常好的点位上。

　　所以它们也许已经具备一种“弱超级智能”，因为它们数量极多，而且思考速度比人类快得多。它们运行起来就是快得多。

　　这会剧烈地改变社会。所以我们在这里谈了一些社会会如何变化。这一部分有点像“后工作时代”的生活图景。我们会去谈：生活在这样一个世界里，靠公民红利生活、不再拥有工作的体验会是什么样。

　　a 们也在这里谈了：所有这些 AI 带来的智力活动与知识进步，会如何引发科学层面的变化，以及社会层面的变化。

　　比如，这里就包括癌症疗法，以及人们住进两年前由机器人建好的公寓里之类的场景。

　　主持人：也就是说，到 2036 年——前提还是我们在 2029 年踩了刹车。

　　Daniel：对。

　　主持人：而且这还是一个——我是说，一个偏保守的时间框架。

　　Daniel：对。遗憾的是，我其实觉得，默认情况下事情会比这更快发生；如果我们不主动放慢，事情会快得多。

　　一旦你进入这样一种状态：有 10 亿个 AI 昼夜不停地运行，而且它们每一个在所有事情上都比最优秀的人类更强；于是它们在做大量科学研究，彼此之间进行大量交流，进行大量思考，每个人又都在不断和自己的 AI 助手对话，诸如此类——那就一定会出现大量科学进步。

　　政治、意识形态等方面也都会发生大量变化。这会非常具有冲击性，也会非常疯狂。后面我们还会谈到其中一些具体表现。

　　主持人：坦白讲，我还是没有特别明白这里这句“真相如末日般降临地球”具体意味着什么。

　　Daniel：本质上只是因为：AI 的数量太多了，而且太聪明了，于是它们会不断在科学上揭示新的发现。

　　我给你举个例子：测谎仪。

　　这就是一种可能被发明出来的技术。现在我们并没有真正好用的测谎仪。我们只有一些很差的测谎工具，勉强能起一点作用，但远远谈不上可靠。

　　但如果你让这些顶级专家级 AI 以人类 100 倍的速度思考很多年，而且数量达到数十亿级别，同时它们还能调动机器人工厂去做研究之类的事情，那它们大概念会发明出大量新技术。

　　也许它们会发明出对真实人类也确实有效的测谎仪。那就会带来巨大的社会效应，对吧？

　　你想象一下，一个总统候选人站出来说：“那些指控都是假的。为了证明这一点，我愿意接受测谎，并当场说这些指控是假的。”

　　主持人：我刚才第一时间想到的是整个司法系统会被推翻重来。事实上，理论上你走在街上，都可能——

　　Daniel：对。这件事既可怕，又令人兴奋。

　　我们在这一部分提到的一点是：测谎仪的发明也可能非常糟糕。它可能会开启一种新的极权主义形态：那些有权势的人——CEO、政客——强迫他们之下的人去接受测谎，并说：“是的，我忠于伟大领袖。我绝不会做任何反对伟大领袖的事。”如果你在撒谎，那你就麻烦了。

　　主持人：然后如果你在撒谎，你就会被开除，对吧？

　　Daniel：对。所以，测谎技术有大量可能非常有害的用途。当然，它也有好的用途。

　　总体上，我会说，当测谎仪是“用来审视有权者”而不是“被有权者拿来审视别人”时，它的用途大体上才是好的。

　　主持人：那这里这个“2040 年，把火炬交给 AI”又是什么意思？

　　Daniel：很好。所以在这里，他们把系统停在“顶级专家级 AI”这个水平。而之所以停下来，是因为他们手头的安全论证还不足以支持继续往上走。

　　所以，在这些年逐步建立起来的监管体系里，大体上它的运作方式会是：当你在制造一个新 AI，以及当你想把这个 AI 部署进某种用途时，你都必须拿出某种“安全论证”，说明你的意图是什么，以及你为什么认为它会按你想要的方式运作。

　　尤其是，你要解释清楚：为什么这个 AI 会听从指令；比如说，为什么不会发生某种极其糟糕的事，比如 AI 接管世界。

　　当你的 AI 还没有强到能够自动化一切时，做出这样的安全论证相对容易。但它越强，你就越难有说服力地论证“一切都会没事”，因为 AI 的能力变得更强了，它能搞出的事情也更多了。如果它实际上并不值得信任，那么潜在下行风险也会更大。

　　所以他们停在这个水平，正是因为他们意识到：如果再继续往前走，他们真的可能失去对一切的控制。

　　但在当前这个水平上，他们被这些安全论证说服了，认为暂时还可以，不过他们不想再走得更远。所以他们就停在这里。

　　然后到了 2040 年，科学上——包括在对齐问题上——已经取得了显著进展。

　　他们已经搞清楚了怎样制造出一种能够以稳健方式与人类对齐的 AI。于是，他们终于可以真正信任这些 AI，也就可以允许它们再次变得远比人类更聪明。

　　所以我们才把整个方案叫作《AI 2040》，因为在 2040 年，他们某种程度上松开了刹车，允许 AI 显著超越人类智能。

　　主持人：我猜，这是一套计划，也是一种希望。

　　Daniel：对。

　　主持人：但从现实概率上说，这并不是你真正认为最可能发生的路径，对吧？

　　Daniel：对。一定要区分清楚：这是一条我们推荐的、我们希望发生的路径；而那是我们认为默认情况下实际更可能发生的路径。

　　当然，我们确实认为这条路是有可能实现的，但这需要很多人真正醒过来，更认真关注这件事，并主动推动类似这样的方案落地。

　　所以，我们的主情景主要讨论的是政策层面的选择，以及这些选择会如何在大尺度上影响社会。我们觉得，除了宏观情景之外，最好也配一个小型情景，从普通人的视角描述一下：亲身活在这样的时代里，实际会是什么感受。

　　主持人：好。

　　Daniel：2029 年，所有人都在互相争吵。各国总统在谈判某些事情，他们已经暂停了 AI，但你仍然可以使用现有的 AI，所以体感上其实没有特别不同，虽然你肯定会觉得：确实有什么大事正在发生。

　　到了 2031 年，他们重新启动了进展。AI 变得非常聪明。更多人失去了工作。它开始真正影响现实了。但我觉得那时大多数人应该还是有工作的，只不过工作的内容已经发生了转变。

　　所以到了 2031 年，大部分白领工作都会在很大程度上涉及和 AI 一起工作、管理 AI 团队，或者以某种方式和它们协作。

　　另外，还有一些东西，比如机器人出租车，到那时基本已经真正跑起来了。

　　至于公民红利——理想情况下，这件事本来应该更早发生。在我们的情景里，他们很多事情都做在最后一刻。所以很多政策安排都是卡着最后时点才落地。

　　显然，我们会建议应该更早去做，而且也应该做得更好。但在 2033 年，你开始收到红利支票。

　　主持人：所以你的预测是，未来会真的出现“公民支票”。按照你的模型，一开始每人可能大约是 2.5 万美元，然后会随着经济扩张而增长。

　　Daniel：对。

　　主持人：同时，我猜，随着岗位替代逐渐扩大，这个数字还必须继续往上加。

　　Daniel：正因为如此，这件事才必须在最后可能的时间点前落地。因为如果你一直拖到 2037 年才实行，那等制度生效时，所有人早就已经失去工作了，对吧？

　　主持人：如果像这张图显示的那样，人们很快失去工作，那理论上会引发很多问题：社会骚动、公民不安、人生目的感、心理健康，诸如此类。你怎么看？

　　Daniel：那一定会很艰难，而我们只能希望自己能把这件事处理好。

　　我觉得从高层上说，人们需要有钱，也需要有权力。而我认为这两件事是有区别的。

　　为什么工作重要？工作重要的原因有很多，但我觉得最核心的是：工作让人们获得收入，从而得以生存，并通过购买自己想要的东西来得到自己想要的生活。

　　所以，如果人们将失去工作，那你就必须有别的方式让人们获得收入。

　　另外，还有“权力”这一面。现在人们之所以拥有政治权力，部分正是因为他们拥有经济权力。

　　比如说，人们可以威胁罢工。又或者，一个由独裁者统治的国家也不能毫无代价地把某个子群体整个灭绝掉——或者说，它也许能这么做，但代价会很高，因为这样一来它的钱会变少，因为那个子群体本来就在为经济做贡献，也在提供税收，等等。

　　但如果你最后进入一个世界，在那个世界里，除了 AI 公司和机器人公司之外，实际上没人再贡献税收了，那么政府就会更缺乏动力去在乎普通人怎么想。

　　如果人们将失去工作，面临的威胁不仅是收入损失，也包括政治权力的流失。因此我们认为，必须做一些事情来对冲这一点。

　　主持人：那具体会是什么样？在这样的世界里，人们怎么还能有权力？

　　Daniel：至少在民主国家里，人们仍然有选票。

　　所以我觉得，非常重要的一点是：必须对 AI 的使用方式进行监管，让公共讨论环境变得更理性，更真正符合人民自身利益和真实意愿；而不是走向另一种相反的结局——比如大众很容易被 AI 驱动的媒体操纵。

　　又比如，每个人都在和自己的 AI 顾问交流，而这些 AI 顾问会微妙地把他们引离某位候选人——那位候选人本来并不符合 AI 公司的利益；因为 AI 公司更喜欢另一位候选人，于是它们就在暗中给 AI 加入偏向，把人们引导去投那位候选人的票，对吧？

　　所以，我们想要的是这样一种局面：人们所接触的 AI 是真正值得信任的，是追求真相的 AI，是诚实的 AI，而不是被 AI 公司或政府植入某种政治议程。

　　你还得避免另一种局面：政府私下发出某种秘密命令，要求 AI 必须以某种方式运作。

　　主持人：对。国防部门和 Anthropic 之间那场争议，其实就像是这件事的一个前奏，对吧？

　　Daniel：对。当时 Anthropic 在向国防部门提供自己的 AI。国防部门想把它们用于某些用途，但 Anthropic 规定自己的 AI 不能用于那些用途，于是双方就起了冲突。

　　那件事里，特别关键的争议点就是国内监控和自主机器人。

　　主持人：嗯。

　　Daniel：以后会出现更多这种问题。而我们希望出现的是这样一种局面：人们知道自己拿到的究竟是什么；如果人们每天花好几个小时和聊天机器人对话，那么那个聊天机器人不应该被塞进政治偏见，不应该带着秘密议程之类的东西，而应该被训练成给出诚实、真实的回答。

　　我觉得，如果这一点能做到，它反而能改善公共讨论，并帮助人们利用自己的选票，去推动更好的监管、更好的政治人物上位，等等。

　　它甚至有可能形成一种正向自举，让人民手中的权力比今天还更稳固。

　　主持人：我们前面已经部分谈到过很多事，比如战争、无人机、导弹——而这些东西此刻其实已经正在世界各地发生，这一点真的很有意思。

　　a们也谈到了“机器人数量超过人类”，这也是这个预测的一部分。还有一些写在下面的内容，我觉得特别有意思，比如：无论人们走到哪里，都会被 AI 保护。

　　Daniel：对。在这个情景里，他们把超级智能的诞生推迟到 2040 年。事实上，他们从 2035 年开始暂停，但之后又重新放开，允许 AI 变得远远超越人类。

　　而我们认为，一旦 AI 真正变成“远超人类的超级智能”，世界还会经历一轮比 2030 年代更彻底得多的转型。

　　所以在这个情景中的 2030 年代，更接近“人类水平”：AI 做的是那些人类专家本来也会做的事，只不过做得更好一点、更快一点、便宜得多，而且数量也多得多。

　　机器人做的也仍然是那些人类工人本来会做的事，只不过它们数量更多，也更便宜。

　　而由于指数增长，你会从一个在 2029 年看起来和今天还没那么不同的世界出发，到 2039 年进入一个被彻底改造的世界——人人住在两年前由机器人建成的高级新公寓里。

　　会出现巨大的特殊经济区，里面到处都是机器人、太阳能板和工厂，而这些工厂又在制造更多机器人、更多太阳能板、更多工厂，诸如此类。

　　那时，经济的大部分已经由 AI 和机器人构成，人们不再拥有工作。这就是“如果你把 AI 停在人类水平附近”所得到的转型规模。

　　但如果你继续往前走到超级智能，那还会有另一轮更大的转型到来，看起来几乎就像魔法。

　　你想想，今天的技术如果拿给 500 年前的人看，会像不像魔法？

　　主持人：嗯。

　　Daniel：而那甚至还不是“智能质量上的跃迁”，对吧？今天的人类在智力质量上并不比 500 年前的人类高一个物种层级。我们只是有更多时间做研究，也有更多钱和资源去造原型、做实验、跑实验，等等。

　　但如果有一天，存在数十亿、数百亿个 AI，它们不仅比人类更快，而且在能力质量上还全面、极大地优于人类，尤其在科学研究上也是如此，那我们就应该预期：它们开发出来的一些东西，在外界看来会像魔法一样，外界会彻底震惊地说，这种事外部原先根本不认为有可能。

　　人们不想死。人们不想被车撞。人们不想被随机的大规模杀人犯袭击。

　　主持人：癌症会消失。

　　Daniel：我的意思是，不只是癌症。很多科幻作品里出现的事情，到那时大概念都已经发生了。

　　比如，人们扫描自己的大脑、把意识上传到计算机里；又或者，小行星带里的自我复制机器人不断制造更多卫星，以产生更多能源，再去制造更多自我复制机器人，等等。

　　主持人：大多数人仍然住在地球上，但趋势是向太空迁移。

　　Daniel：对。

　　如果你最终进入一种局面：整个人类经济，相对于“总体经济”来说，只是其中极小的一滴水，而外面则是海量机器人和 AI，以惊人的速度运转，那么比较理想的状态就是：地球大体上被保留下来，像某种保护区。

　　我觉得很多人会担心环境被摧毁——而如果不加保护，它确实会被摧毁。

　　还有很多人其实喜欢自己现在这样的生活，并不想被上传，也不想去活在某种疯狂的新未来形态里。

　　在外界看来，比较合理的解决方案是：用那种庞大的经济财富和活动，在地球之外创造新的生存空间，留给那些真正想要那种生活的人。这样一来，地球就能被保留下来。

　　主持人：海里的数据中心。我的意思是，你们那里还有三张图，展示的是人类可能居住的不同环境。

　　Daniel：再说一次，我们的提案是：把地球 99% 的部分尽量原样保留下来，主要是出于历史和环境方面的原因。但同时，划出少数区域作为特殊经济区，让机器人在那里尽尽情展开活动，挖巨大的露天矿坑，建工厂，等等。

　　我们当时觉得，把数据中心建在海上而不是陆地上，会因为很多原因而更合适；当然，再往后如果转向太空会更好，我们也认为那是合理的。

　　主持人：那在 AI 世界里，“永生”会怎样？

　　你们写到 2035 年时，会出现“你已经活过十几次人生，并且不朽，像轮回转世一样在一个个生命之间穿行”。

　　我的意思是，现在很多亿万富翁都在关注长寿。Brian Johnson 说过，他有一条核心规则：现在不要死。

　　因为我们正处在 AI 时代，而一旦有了超级智能，就有可能轮到我们自己来选择什么时候死。

　　Daniel：对。我觉得这大概念是对的。我们在这一部分里没有把它画出来，因为在这一段情景里，他们还只有“人类水平”的 AI；但这确实是那种非常可信的可能性之一——超级智能完全可能通过多种途径实现它。

　　如果终局在有生之年来临，这是我们能留给下一代唯一的回答

　　主持人：那你现在做这一切的希望是什么？你为什么要做这个？为什么要写这个《AI 2040：Plan A》？

　　Daniel：在我们发布《AI 2027》之后的第一周，它的传播规模远远超出我们预期，顺便说一句。

　　我们事先其实还预测过它会有多少浏览量之类的，而最终结果大概念落在第 90 百分位。也就是说，明显比我们想的还高得多。

　　但在随后那场 Twitter 风暴里，有不少人说：“你们为什么只给我们这些阴郁又末日式的预测？为什么不也拿出一套更正面的愿景，说说你们觉得我们到底应该怎么做？”

　　我觉得这个想法后来就在我们心里扎了根。然后我们就想：对，这个要求很合理。我们已经描绘了自己认为的默认路径是什么样，也解释了为什么我们觉得它相当可怕。那也许现在该切换轨道，拿出一些真正的建议，并且也把那条建议路径描绘出来。

　　主持人：即使你们并不认为它有多大概念发生。

　　Daniel：对。我的意思是，就像你可以给一个政治候选人投票，即便你并不确信他会赢，对吧？你也可以说：“这是我认为我们应该做的事。”哪怕你觉得人们大概念不会这么做。

　　当然，如果你觉得它完全不可能发生，那也许就没必要说了。但我们认为，它是有机会的。

　　尤其是，基于我们在情景里描述的那些原因，我们认为，接下来几年里，人们会因为 AI 公司正在说它们要做这些事，而且事实上它们也确实大致在这条轨道上——而逐渐醒过来，意识到 AI 的力量到底意味着什么。

　　而且这件事本身也说得通：如果它们真的越来越接近那种级别的 AI，那就会出现巨大的问题、巨大的风险，而我们必须做点什么。

　　所以我觉得，即便没有什么特别戏剧化的“预警子弹”，人们也会自然地开始更关注这件事，开始推演它的含义，开始预测将会发生什么。

　　于是，人们自然也会对 AI 监管更感兴趣，等等。

　　事实上，现在已经出现了比我们预期更多的这类变化。

　　主持人：更多什么？

　　Daniel：对 AI 监管的严肃兴趣。

　　我们发布《AI 2027》的那个时候，科技公司和政府中的主流立场大概念还是：AI 监管？坏主意。放开竞争。

　　主持人：自由放任。

　　Daniel：对。事实上，当时甚至还有一种尝试，想要提前禁止各州自行监管 AI。

　　主持人：对。你还记得那件事吧？

　　Daniel：而现在看起来，整个对话已经改变了很多。

　　现在，美国政府甚至直接要求 Anthropic 关闭它们的 AI，因为政府担心坏人会利用它发动网络攻击。

　　政府已经比我们预期更早地醒过来，并且已经开始做比我们预想更多的事。我们其实对这个趋势抱有希望，希望它会继续下去——在真正太晚之前，政府内部、政府外部，以及整个社会里，都会出现非常严肃的讨论，围绕所有这些问题，去尝试规划一条能够避开我们刚才提到的失控风险和权力集中风险的路线。

　　主持人：你花了将近 15 年时间思考这些问题。如果这里有一个按钮，只要你按下去，就会触发你的 Plan S：所有目前正在训练前沿 AI 模型的数据中心都会被永久关停。以后再也不会有任何其他 AI 实验室继续研究这些问题。

　　你会按下这个按钮吗？

　　Daniel：你一开始说的时候，我差点就要立刻拍下去了，直到你说“永久”。

　　如果这是某种临时停机按钮，我会毫不犹豫地猛按下去，因为我们根本还没准备好做这件事。整个人类文明都还没准备好让这些公司先自动化自己，再变得越来越聪明，然后再拥有超级智能——不行。这里面有很多原因，都让它极其危险。

　　但如果这个按钮意味着永久封死未来再次尝试的可能性，那我肯定至少会犹豫。

　　主持人：但如果你认为 Plan D——也就是现在这场冲向超级智能的竞赛——是更可能发生的；而如果我给你的选项只有 D 和 S——

　　Daniel：我想，我可能还是会按。

　　主持人：这最终取决于你的真实判断，对吧？因为如果你觉得最可能发生的是 Plan D，而唯一的替代方案——

　　Daniel：我并没有说“这就是概率上一定会发生的事”。

　　主持人：对。

　　Daniel：我更像是在说：这个最可能，那个可能排第二，另一个排第三。它们都可能发生。

　　主持人：那按照你现在的总体判断，如果我给你的选项就是——要么按下按钮进入确定的 S，要么接受你认为更可能发生的现实路径——你会按吗？

　　Daniel：这很难。

　　这个“关停”的范围到底多大？是说以后任何人都再也不能训练 AI 模型了吗？永远都不能？

　　主持人：这确实很难，因为就像我刚才说的，AI 如果做对了，明明也能带来很多好处。

　　Daniel：我感觉，我几乎把你放到了 Sam Altman 的位置上。

　　主持人：某种程度上，是的。

　　Daniel：让我——你介意我先花一点时间想想吗？

　　主持人：我反而更希望你认真想。

　　Daniel：我想，我大概不会按下那个按钮，但我内心会非常撕裂。

　　我之所以觉得自己大概不会按，是因为我仍然有相当大的希望：我们可以得到一个远比现在这条路更好的结果，更接近这边这种路径。

　　而且，我基本上觉得，如果我们最终永远不去建造强大的 AI 系统，那人类文明大概迟早还是会死——也许是 100 年后， 200 年后，之类——可能是核战争，可能是大流行病，或者别的什么。

　　我不觉得人类文明目前是一种极其、极其稳定的状态。

　　所以我刚才差点要说的是：从后世、从未来可能存在的数十亿数百亿人的角度看，潜在收益也许大于当前的风险。

　　但其实，这套叙事我以前也听过。

　　主持人：对。

　　Daniel：我也不知道。也许真正该说的是：不，应该优先考虑当下的人。当下的人正处在真实而严重的危险里。而他们至少在接下来几十年里本来是可以好好活着的。

　　所以别再谈什么后世了，先优先考虑现在的人。

　　我想，现在活着的人，大概绝对不会愿意参加这场“抽生死签”的赌博。

　　对，你这问题真的太难了。

　　主持人：所以，如果那真的是那个按钮，你会按吗？

　　Daniel：大概不会，但我会非常非常纠结。

　　主持人：好。那我总会去想，我们的观众到底是什么样的人。看这期的人都很有好奇心，尤其是对 AI 这个主题——这点我们已经看出来了——但他们更想知道，这对他们自己意味着什么。我觉得很多人也想知道：他们到底能做什么。

　　Daniel：哦，当然。人们到底能做什么？

　　如果你有天赋，或者有热情，我觉得你完全可以直接参与进来。现在有很多组织都在担心这些问题，也在尝试做点什么，比如政治倡议、技术研究，或者开发一些有用的工具，希望能帮人们做得更好，等等。

　　但如果你不想做什么重大的职业转变之类的事，那我会说：至少请更认真地关注这些问题，并且更多地和身边人谈论它们。

　　做一些类似给你的议员发邮件之类的事。它不至于立刻改变一切，但确实会有帮助。

　　我觉得，尤其在这个议题上，最核心的问题其实是：人们到现在还没有真正严肃对待它。

　　如果我刚才这一两个小时里跟你讲的这些事情，早就已经是所有人脑子里最重要的问题了，那我们今天根本不会坐在这里。更有力度的监管早就已经出台了。

　　而且不仅会有更强的监管，还会有更好的监管——不是像大棒一样一刀砸下去，而是像手术刀一样更精细，更能分辨什么是真的危险，什么没那么危险，等等。

　　同时，政府里也会有更多真正懂行的人，或者有更多懂行的人在给政府做顾问。

　　所以，总的来说，越多人对这些担忧、对这些预测真正醒过来，我们就越有可能在为时未晚之前做出正确的事。

　　主持人：那在投票时，他们应该怎么选？美国再过几年就要大选了，但世界各地其实一直都在发生选举。

　　Daniel：你应该去问候选人，他们对这些 AI 问题到底怎么看。你应该逼他们形成自己的立场，然后把票投给那些在这个议题上立场更好的人。

　　这大概念是我们这一生里最重要的事，甚至可能是整个人类历史上最重要的事，而它必须发展顺利。所以，所有国家的领导人都应该围绕它去思考、去制定方案。

　　主持人：活在这个时间点，不觉得很奇怪吗？

　　我刚才一边听你说，一边在想：我本来可能出生在历史上任何一个时间点，我想我的祖先们大概也都这么想过。但你刚才说到某个词的时候，我突然有那种感觉——好像你说的是“终局前的最后一场戏”？

　　你当时用的原话是什么来着？

　　Daniel：我好像说的是，“爬升、助跑，通向高潮的那一段”，之类的。

　　主持人：对。我的意思是，出生在这样一个“高潮前的助跑阶段”也太疯狂了，而你现在描述的这一切，理论上都可能发生在我的有生之年里。

　　Daniel：希望如此吧。或者也许不该说“希望”。但毫无疑问，这确实是一个极其疯狂的时代。

　　主持人：我注意到，当我问你有没有孩子的时候，你整个人的状态明显变了很多。

　　Daniel：嗯，这——是的。

　　主持人：你就像一下子掉进了另一种情绪状态里。显然，这一直是你反复思考的核心部分。

　　Daniel：因为这本来就是个让人难过的话题，对吧？当我有了孩子以后，之所以要孩子，很大程度上就是因为“未来”。

　　孩子不只是当下陪着你，更重要的是你对他们长大成人、成为独立的人怀有梦想。而因为 AI 的发展，我觉得其中很多梦想都处于危险之中。

　　主持人：按理说，你应该还是会要孩子的。

　　Daniel：说实话，我自己对这个问题也反复摇摆过。最概括的回答是：我不确定。

　　我的第一个孩子，是 2019 年出生的。那是在我的时间线判断大幅缩短之前。那个时候我已经在关注 AI，也在跟踪这个领域，也在做预测，但我并不真的认为它会很快发生。

　　而后来，当我开始意识到：天哪，这事很可能很快就会发生，可能到 2030 年就来了——那确实让我重新考虑过这个问题。于是我基本上跟我妻子说过：我们别再要孩子了，太不确定了。

　　但这件事后来变得非常难，因为尤其对我妻子来说，我们已经有了一个孩子，而她没有兄弟姐妹。

　　所以，最后我基本上还是让步了。我想，好吧，你知道吗？我们都已经有一个孩子了。事情会没事的。也许未来会是好的。即便不是，反正我们大家也都在同一条船上。

　　主持人：你这些话真的让人背后发凉。

　　之所以让人发凉，是因为你知道得比我多。而如果你回到家里，会对你的妻子说：“听着，也许因为 AI 的发展，我们应该暂停继续生孩子、暂停扩大家庭”——

　　Daniel：说清楚一点，这确实——是的。我的意思是，是的，这真的非常令人担忧。我自己也觉得发冷。

　　这件事很糟。这就是我一直在说的。

　　我希望事情能发展得好。我也觉得事情有可能发展得好。我认为我们还有很多事情可以做，去把方向往更好的地方推。

　　主持人：而且我必须说，其中一件很重要的事，就是把这些问题说出来。

　　我觉得，今天我们看到政府开始醒过来，甚至看到有些人在某些场合对某些人发出嘘声，这一切的源头，某种程度上都来自像你这样的人愿意来上这种节目、上其他播客，把真实情况告诉我们。

　　Daniel：对。

　　主持人：因为换个地方，说句公道话，我们大概念只会被那些拥有最大公关机器的人反复“煤气灯操控”。

　　对。所以我常常也会觉得，可能值得我自己把这种两难说出来。因为我是个创业者，也是个投资人。

　　我现在大概投了 100 多家公司，其中很多都在用 AI。我投了做推理芯片的 Groq。我也投了 SpaceX，而它现在又拥有另一家 Groq，它们也在做 AI。我自己每天都在生活里用 AI。甚至今天这场对话里，我也一直在用它，帮助我理解你说的某些内容。

　　所以，这是我身上的一面：商业建设者、创业者，一个亲身见过 AI 对自己生活有很多好处的人。然后，还有我的另一面。

　　有趣的是，我觉得有时候人们会以为，你必须选边站。

　　但在我过去的人生里，即便是在我做社交媒体 CEO 的时候，我一边说“是的，我正在做一家社交媒体公司”，一边也在说“但我认为社交媒体也有一些下行风险”。我现在对 AI 也是同样的状态：我用 AI 做事，我投了 AI；与此同时，作为一个普通公民，我又会说：对，我的确觉得这里面存在真实的张力。

　　Daniel：我觉得，人们可以在很多不同地方划线。我也认识很多人，他们用很多不同方式来划这条线。

　　有些人会说：我不打算使用 AI。我觉得这东西有问题、而且轨迹很糟，所以我要抵制 AI，对吧？我不是那类人。我自己很常用 AI。AI Futures Project 里我们大家都在用。它对很多工作确实很有帮助。

　　光谱的另一端，则是有人会说：既然它看起来就是会发生，那为了让事情发展得更好，最该做的就是亲自参与进去，积累权力，然后设法从内部把方向掰正。

　　所以我会去 OpenAI 或 Anthropic 工作，努力往上爬，争取在那些关键决策真正发生时，成为那个有分量的人。

　　我认识很多这样的人。我以前在 OpenAI 的那段经历——虽然不完全是出于这个目的——某种程度上也是那条路的一部分。

　　从某种意义上说，这其实就是这些公司整体叙事的核心，对吧？这也是它们告诉自己“自己正在做的事是正当的”的原因：它们担心的是“另外那帮人”。

　　所以，很多人最后都决定：我们要非常彻底地投入进去，我们必须在场，必须在做关键决定的那个房间里。

　　所以，这是一整个光谱，而我大概处在中间位置。我不在这些 AI 公司里，我也没有在帮助它们跑得更快。

　　相反，我是在面对更广泛的公众说话，试图倡导我目前最好的判断——也就是我认为的出路、前路。

　　但我也没有抵制一切 AI，没有以那种方式拒绝和它产生联系。

　　主持人：你觉得已经太晚了吗？

　　Daniel：不，我不觉得已经太晚了。如果我觉得太晚了，我就不会坐在这里。

　　主持人：那你会在哪里？

　　Daniel：和我的家人在一起。

　　主持人：如果要你给普通公众留一句最后的话，你会说什么？

　　Daniel：我也许会说：关于 AI，你会听到很多说法，而且你其实已经听到很多了。它们听起来会很像科幻小说。

　　但有时候，那些听起来像科幻的事情，真的会在现实里发生。事实上，历史上很多曾经只存在于科幻里的东西，后来都变成了现实。

　　人们需要停止用“它听起来像不像科幻”来判断问题，而应该开始看趋势，看这项技术真实正在走的轨道，去阅读、去预测它接下来会怎么发展，然后认真对待一种可能性：它真的可能会变成这样。接着，再去思考我们该为此做些什么。

　　主持人：那如果他们想获得更多信息，你会建议他们去哪里看？

　　Daniel：你可以去 a2027.com 看我们之前的情景报告。也可以去 a2040.com/plan-a 看我们新提出的行动方案。

　　这些内容不只是某种科幻故事。里面还有很多解释材料，以及通往其他资料的链接。所以，它们其实是一个很好的出发点，适合你从这里开始了解这一整套问题。

　　如果你愿意，等节目结束后，我还可以给出一份阅读清单，列一些值得继续追踪的论文、文章和博客之类。

　　主持人：我会把这些东西都放到下方评论区和说明里。所以如果你现在正在听，去看看这一期节目的说明栏，你会看到一批链接——那是 Daniel 推荐你去读的内容。

　　我真的觉得，现在是一个绝佳的时间点，去认真补这方面的知识。

　　人类因为认知失调，往往会对让自己不舒服的事情采取一种本能反应：把头埋进沙子里，假装没看见。但我觉得，这一次恰恰应该反过来做，原因有很多：一方面，你得先了解它，才知道自己该采取什么行动；另一方面，AI 无论如何都会成为我们每个人生活和职业中的巨大组成部分。

　　Daniel：对。谢谢。这说得很好。它会非常重要。它很快就会无处不在，而我们必须在太晚之前做点什么。

　　主持人：那 AI Futures Project 呢？

　　Daniel：那就是我们的组织。我离开 OpenAI 之后，我们花了一年时间写《AI 2027》，之后又花了一年时间写《AI 2040：Plan A》。

　　主持人：Daniel，谢谢。谢谢你，真的谢谢你做的这些工作。

　　我能看出来，你有多在乎这件事。而且很有意思，“在乎”本身会让别人也开始在乎。

　　看到这件事对你有多私人化，看到你为此投入了多少人生；再想到你基本上是放弃了 200 万美元，只为了能把这些信息讲给公众听——这真的非常令人敬佩。

　　我觉得，在这个议题上，像你这样的声音，现在比以往任何时候都更重要。所以请继续坚持你现在正在做的这场战斗。

　　这场战斗关乎信息，关乎诚实，也关乎把那些人们通常只敢私下说的话公开说出来，同时还要做非常、非常扎实的研究。