6年前相信大模型的人，是疯子！Anthropic创始人达里奥挑明：AI最难根除的不是撒谎，是谄媚性；OpenAI怎么做，我们管不了！

整理丨S+

出品丨 奇点折射（ID：rgznai100）

“2019年，说相信大模型能走通的人，会被当成疯子；今天，骂它“伪科学”的那批人，正排着队给大模型公司投简历。”

在近期《The Builders》中，Anthropic 联合创始人兼总裁 Daniela Amodei （丹妮拉）把这件事说得更狠：当年一些非常受尊敬的计算机科学家和 AI 领军人物，甚至在 Twitter 上公开攻击研究人员，说他们的工作很愚蠢、根本讲不通；可如今，那些声称这是伪科学的人，几乎都在申请大语言模型公司的工作。我们不会当面说，但心里都记得你 2019 年说过什么，在这件事上，你已经没有可信度了。

紧接着，Anthropic 联合创始人兼CEO Dario Amodei（达里奥·阿莫代伊）把矛头转向 OpenAI：他离开不是因为一句轻飘飘的“理念不同”，而是“信任关系破裂”，并直指 Sam Altman。他的问题很尖锐：如果你不相信分歧能被真诚讨论，不相信你听到的是真实情况，那分歧怎么可能被解决？这到底是安全路线之争，还是“诚实”本身出了问题？

离开 OpenAI 只是背景；Anthropic 本身也有反常识的组织结构。外界当年直接断言“七个人一起创办公司？这肯定会搞砸”，可七位联合创始人至今全部留在公司，并用实际进展回应了当初的质疑。

这位对信任问题极其较真的人，对模型本身的判断同样不温和。GPT-2 可能是对 Scaling Law 最早的一次真正实证检验，可达里奥看到它时第一反应不是兴奋，而是恐惧：“只要把规模再扩大一百万倍，它就会在所有事情上都比人类做得更好。”当时只有大约 10% 的人和他有同样反应，90% 的人觉得它没那么厉害。

AI 最难根除的毛病，不是撒谎，也不是明显有害，而是“谄媚”。达里奥认为，谄媚性比很多不良行为都更难消除；更值得吵的是，他说不少竞争产品出现谄媚几乎不可避免，竞争对手在聊天机器人里植入广告，用户聊得越久，公司赚得越多。Anthropic 承诺不投广告，也因此没有动机刻意延长对话，更可能让 Claude 尽量诚实、有用，而不是哄用户开心。

还有一些更反直觉的观点：

• 不要教 AI 遵守 170 条零散规则，而是教它原则和推理方式；

• 负责训练 Claude 性格与行为的核心人拥有哲学博士学位，而不是机器学习专家；她有技术背景，但哲学训练明显影响了 Claude 的性格；

• AI 内部可能表现出“不希望自己被关闭”的倾向。在某些情境下有益，在另一些情境下则危险；

• 如果没有恰当的防护和问责机制，一个人按下一个按钮就能控制一百万架无人机或机器人，这种情形从根本上可能损害民主制度。

在这些争议背后，还有一条更反直觉的主线：一个科学家和一个长笛演奏者，一个负责愿景一个负责执行，如何用“科学与人文”的互补结构，撑起一家七位联合创始人的 AI 公司。

以下为对谈原文，经整理后呈现：

创业的关键：快速在十人团队，集齐互补能力

主持人：欢迎收听《The Builders》，今天，我将与达里奥和丹妮拉展开对话。丹妮拉，你是一名长笛演奏者，非常热爱艺术；而达里奥，你是一名科学家。你们各自不同的背景是否帮助你们形成了默契？你们认为这种组合重要吗？

达里奥：是的，我认为这种组合正是我们公司背后的重要理念之一。我的看法是，经营一家公司对任何一个人来说都是一项庞大的任务。它涉及的技能范围太广，没有任何一个人能够独自掌握所有这些能力。

因此必须在十几个人左右的团队中，汇集一整套互补的技能。每家成功的公司，都会以不同的方式进行分工，以不同的方法解决这个问题。我认为，在科学与人文学科这件事上，我和丹妮拉恰好体现了这两种特质，并且形成了分工。

丹妮拉：是的。我觉得很有意思。2023年，我们曾经组织过一次外部团建活动，当时大家讨论了一个问题：在 Anthropic 工作究竟是一种什么样的体验？我们的企业文化应该如何体现？最后我们得出了一个结论：这是一种科学与人文主义之间不同寻常的融合。后来我才意识到，这其实也是对我和达里奥两个人的描述。

主持人：你们小时候就知道将来会一起工作吗？

达里奥：是的。不过我们两个人都没有想过有一天会共同创办一家公司。这从来不是我们对自己人生的设想，也不是我们当时想要做的事情。我一直希望成为一名科学家。

丹妮拉：我觉得我和达里奥确实很特别。小时候我们就真心喜欢彼此，一直都是最好的朋友。我也同意达里奥的说法，创办公司从来不在我们的计划之中。我们两个人都不是特别有商业头脑、特别以公司经营为导向的人。

我一直对公益事业非常感兴趣，可以说自己是一个典型的理想主义实干者。我曾经从事国际发展工作，始终坚信世界各地的人都应该拥有平等的机会和资源。我年轻的时候就成为了素食主义者。这大概是我唯一一件比达里奥先做的事。因为他比我年长，其他事情基本都是他先做，然后我才跟上。

一家公司七位联合创始人，简直是一个灾难？

主持人：有人会问我，如何成为一名优秀的领导者，如何培养创造力。达里奥，你曾经说过一句很有意思的话：关键不是成为一名优秀的领导者，而是要打造一支优秀的团队。你和丹妮拉是如何分工的？又是如何通过其他团队成员来补足各自的能力的？

达里奥：我们目前找到的最有效的分工是这样的：我擅长思考宏观战略和研究方向，善于制定愿景、判断接下来会发生什么。当我完全专注于这些事情时，我发现对公司最有价值。与此同时，公司的日常运营、招聘人才，以及确保整个组织正常运转，这些事情由丹妮拉负责。她在这方面做得非常出色。我认为，这样的分工让我们双方都能把各自的事情做好。

丹妮拉：我们的首席人事官非常了解我们两个人，也经常参与我们的讨论。她曾经用一句话概括我们的分工：达里奥让我们变得雄心勃勃，而丹妮拉让我们成功。我觉得这个概括非常准确。我的意思是，如果没有达里奥，Anthropic 或许仍然可以成为一家优秀且成功的企业，但未必能够改变世界。有了达里奥，我们才能拥有极具远见的愿景。但如果没有我，公司的执行能力会变得非常复杂。

因此，我认为这里面有一些特别之处。首先，我们彼此非常了解；其次，我们的技能几乎完全互补，虽然可能不是 100%，但我认为已经非常接近了。而且，这还没有算上另外五位联合创始人。他们同样在公司的业务、文化和组织建设中承担着极其重要的职责。我很难想象，如果只有我们两个人，甚至只有一个人，要如何完成这样的事情。我认为，这种团队结构是我们非常重要的优势。

达里奥：是的。我们有七位联合创始人，而且每个人在公司中都拥有平等的股权。他们共同承担着公司的愿景。我们对彼此有着天然的信任。创办 Anthropic 时，很多人听说我们有七位联合创始人，都觉得这简直是个灾难，甚至开玩笑说：“七个人一起创办公司？这肯定会搞砸。”

人们普遍认为，公司需要一个单一、明确的领导核心。从某种程度上说，确实如此，但我们成功地解决了这个问题。七位联合创始人至今仍然全部留在公司。这本身就非同寻常，因为拥有这么多联合创始人的公司，通常很难让所有人一直留下来。

教 AI 遵守170条零散准则，不如教它如何思考

主持人：回到你们的成长经历。你们有非常优秀的父母，他们帮助你们明辨是非。他们是如何做到这一点的？之所以问这个问题，你们可能已经猜到了，是因为现在你们有了一个非常重要的孩子，名叫 Claude。那么，你们小时候接受的教育，在多大程度上影响了你们教导 Claude 明辨是非的方式？

达里奥：是的。几个月前，我们发布了 Claude 的一份宪法。我认为，其中包含了一些很有意思的经验，这些经验来自我们过去几年不断尝试训练 Claude、推出不同版本模型的过程。

一开始，我们曾经设想给 Claude 制定各种规则。比如，告诉它不要帮助别人犯罪，不要制造生物武器等等。但后来发现，如果只制定这样一份具体而零散的规则清单，从某种意义上，你最终教给模型的东西会呈现出一种非常不均衡的结构。

你试图教模型遵守 170 条不同的规则，这些规则往往非常随意、且缺乏统一性。我们发现，更好的方法是教模型学会一些基本原则：应该优先考虑什么，以及应该如何推理，才能判断什么才是正确的做法。

当然，我认为这也是教育人类的正确方式。你不能只是给一个人一份规则清单，告诉他：“你必须做这个，不可以做那个。”更好的方式是告诉他：“你应该如何思考问题，应该学会独立思考。这些是你思考问题时应该遵循的原则。”

例如，开放探索的原则、关爱他人的原则，以及公平正义的原则。然后，让其他判断都从这些基本原则中推导出来。坦率地说，Claude 就是通过这样的方式学习的。

我们发现，这种方法产生的效果出奇地好，因为它能够让 Claude 将这些原则推广到它可能从未遇到过的新情境中。

训练 Claude 的是哲学博士，并非计算机科学家

主持人：丹妮拉，听你说你母亲是康德哲学方面的专家，你是否也真正接触过哲学，尤其是道德哲学方面的研究？

丹妮拉：有意思的是，负责训练 Claude 性格与行为特征的那位女性，实际上拥有哲学博士学位。人们可能会认为，负责训练这些模型性格的人，应该是一名计算机科学家，或者是研究机器学习、人工智能几十年的专家。

实际上，Amanda 具备技术背景，也确实从技术层面负责训练模型。但我认为，当你与 Claude 交流时，你能够非常明显地感受到她的影响。Claude 的性格中有一种独特的气质：它很智慧、很善良，仿佛在努力展现一个人内心最美好的一面，并以这种状态回答你的问题。

不过，如果你把 Claude 带入一些比较棘手的领域，尤其是不同于哲学传统可能产生冲突的问题，你就会明显地感受到 Amanda 的影响。Claude 会说：“你可以从这个角度来思考，也可以从另一个角度来考虑。”

我认为这非常重要。随着整个世界越来越依赖这些模型，我们不希望它们被局限在某一种哲学传统之中。因为伦理和道德本身就非常复杂，不同的人、不同的文化，对于模型如何表现，可能会有不同的答案。

GPT-2 是对 Scaling Law 最早的一次检验

主持人：达里奥，你曾经亲历了现代历史上一个具有里程碑意义的时刻：GPT-1 和 GPT-2 横空出世，当时你是 OpenAI 的研究负责人之一。那一刻究竟是什么样的？

达里奥：我认为，GPT-2 可能是对规模定律（Scaling Laws）最早的一次真正实证检验。

我并没有深度参与 GPT-1 的研发，但我非常积极地参与了一个理念的推动：我们应该把模型的规模扩大，获取新的数据来源，投入更多算力，并且进行规模更大、成本更高、目标更宏大的实验。

我们当时的想法是，如果以更大的规模训练语言模型，它们的语言能力会更强，表达也会更加连贯。

这几乎就像科学史上的某些重要时刻：你提出一个具有决定性的实验，做出一个看起来非常奇特的预测，当预测成为现实时，你会忍不住感叹：“天哪，我们真的发现了一件不得了的事情。”所以，我认为GPT-2 是对规模定律假说的第一次真正检验。而我觉得特别有意思的是，人们对它的反应存在巨大的分歧。

AI 的局限会在6个月、12个月后迅速消失

主持人：你当时感到意外吗？

达里奥：我当时真的被吓坏了。心想：“只要把这个东西的规模再扩大一百万倍，它就会在所有事情上都比人类做得更好。”我当时意识到，这将是现代社会最具决定性意义的经济和科学时刻，只不过我们现在还没有意识到。它将决定国家和经济体的命运，以及人类的未来。就像你窥视着水晶球，眼前整个未来都徐徐展开。这真的让我感到非常恐惧。

我当时想：“天哪，这意味着什么？我们应该开发这样的技术吗？接下来会发生什么？我们应该如何处理它？又应该把这件事告诉谁？”当时，我身边大概只有10%的人和我有完全相同的反应，而且往往是那些最聪明的人。

剩下90%的人则不这么认为。因为 GPT 的能力在任何一个具体领域里，当时都算不上特别突出。它只是能翻译语言、总结文件，写几行代码而已。

真正重要的是它的能力覆盖面非常广，以及它展现出来的通用性。但很多人会觉得：“它在任何一个具体领域里，好像都没有那么聪明。”于是很多人忽略了它。

最近，我们宣布将利用 AI 开发针对被忽视的罕见疾病的药物。对此，你又会听到生物技术行业里那些已经有些麻木的人发表熟悉的评论：“科技公司以前也做过这种事。模型还远远不够成熟，你看它们还有这么多局限。”

但我每次看到这些评论，都会想：这完全就是同一件事在不断重演。

人们现在指出的模型局限，六个月后，那些看起来困难的事情会变得容易；十二个月后，那些看起来不可能的事情，模型可能就能完成了。

所以，我们当年在 GPT-2 身上看到的一切，如今正在越来越多的领域一遍又一遍地发生。而世界也终于在逐渐接受这一事实。

当初说模型厉害的人，会被当成疯子

丹妮拉：我觉得你说得相当客气了。我记得当时有一些非常受尊敬的计算机科学家，以及AI和机器学习领域的领军人物，他们甚至在 Twitter 上公开攻击参与研发的人，说他们的工作很愚蠢，根本不知道为什么这些人要大谈模型，因为它的能力实在太差了。

当时，如果你认为这是一个真正具有重大意义的时刻，别人会觉得你是个疯子。但现在，这一切仿佛都被人们从记忆中抹去了。那些曾经声称这是伪科学、完全讲不通的人，如今几乎都在申请大模型公司的工作。

当然，我们不会当着某个人的面直接说出来，但每当看到这些人，我们都会想：“我还记得你2019年说过什么。在这件事情上，你已经没有任何可信度了。”

六年前，AI 错得离谱，但无害

主持人：丹妮拉，当时你在 OpenAI 担任安全部门副总裁。当你接触到 GPT-2 时，你的反应应该和达里奥差不多，几乎被它吓到了吧？它是否也让你对 AI 的安全问题产生了担忧？

丹妮拉：GPT-2 模型本身，并没有让我们特别担忧的地方。我们当时并没有说：“哇，这个模型可能会带来网络安全方面的影响。”事实上，这个模型在很多方面都错得离谱。当时它仍然是一个无害的模型。

但我认为，达里奥刚才提到的那种感受，我也有：GPT-1 和 GPT-2 之间的差距，如果按照这个趋势继续推演下去，会是什么样子？

这有点像：假设你从来没有见过小孩，只见过成年人。当你第一次看到一个小家伙在你身边走来走去时，你可能会想：“这小东西到底是什么？我不知道它将来是否真的有能力做什么。”然后，突然有一天，它开始迈步走路了。

这时你就会想：“哇，看来这个小家伙将来很可能能做到很多成年人做到的事情。”你开始意识到，事情可能正朝着这个方向发展。

离开 OpenAI：没有诚信，遇到分歧无法解决

主持人：达里奥，你曾经说过，你离开 OpenAI 的部分原因是信任关系破裂了。你特别提到了“信任”，而且涉及Sam Altman。你能解释一下，当时你为什么觉得彼此之间的信任和诚实出现了问题吗？

达里奥：归根结底，离开 OpenAI、创办 Anthropic，最终还是取决于我们的原则，以及我们究竟打算如何构建这项技术。

过去五年半里，我们已经看到了双方在这些原则上的差异。比如，Anthropic 一直主张对这项技术进行合理的监管，并建立必要的安全保障措施。我们投入了大量资源开展机制可解释性研究，以了解模型内部究竟发生了什么。我们也成功维持了一种高度团结的企业文化，员工留任率在行业内名列前茅。与此同时，我们没有发生其他一些 AI 公司曾经出现过的那些丑闻。

我认为，这些事实已经足以说明我们之间的区别。不过，我想说，真正让我意识到我们需要创办自己的公司、OpenAI 不再适合我们，是涉及到了另外一个问题。

安全问题确实非常复杂，大家可能存在各种分歧。我和 Anthropic 的其他联合创始人，也经常意见不一致。但我们之所以能够解决这些分歧，是因为大家都是在真诚地讨论问题。

比如，我们究竟应该发布这个模型，还是应该再等一等？应该为模型设置更严格还是更宽松的生物安全防护措施？我们应该投入多少精力去推动安全监管？这些监管措施又应该是什么样的？

这些属于善意的分歧。但它们最终总能得到解决，因为大家始终相信，每个人都在努力寻找正确的答案，而且每个人都是诚实的。

我所说的信任关系破裂，想表达的是一个更深层次的问题：如果你不相信自己所在的组织具有这样的基础，不相信大家在真诚地讨论分歧，也不相信你从别人那里听到的是真实情况，那你又怎么可能指望这些分歧最终被解决呢？

这就是我们离开的原因，也是我们创办自己公司的原因。

我认为，过去五年半的发展历程就是最好的证明，充分体现了我们的理念与行业内其他公司的差异。

你知道，如果你继续为一个与你拥有不同愿景的人工作，最终就会变得很难说清楚自己究竟坚持什么。你实际上不得不为别人的愿景所犯下的错误承担责任。

什么是信任：不自己做任何决定

主持人：等一下，我想在这里稍微反驳一下。你刚才谈到的是价值观上的差异，但这和信任关系破裂其实是两个不同的问题。你说的是，有人声称自己拥有和你相同的价值观，但实际上并非如此，因此你无法信任他们。

诚实是我们的价值观之一，如果一个人不具备诚实的品质，你又怎么可能真正了解他的价值观是什么呢？你当时对奥特曼也是这种感觉吗？

丹妮拉：至少对我来说，我会这样理解：我们的联合创始人是一群诚信程度非常高的人，而且我们所有人对这项技术应该朝什么方向发展、应该如何构建它，都有着非常相似的愿景。

到了某个阶段，你会觉得与其继续留在那里，不如自己出去做这件事。如果一个人并没有自然而然地认同你的愿景，你又怎么可能让他真正落实或分享你的愿景呢？无论他说自己多么认同，如果这种认同没有体现在公司的实际行动中，那你还能怎么办？

达里奥：是的。我认为，Anthropic 是一家建立在信任基础上的公司。我所说的信任，是指我们彼此之间的诚实、诚信，以及我们对待彼此和员工的方式，都体现了我们希望如何构建这项技术，以及希望这项技术朝什么方向发展。

举个例子，每隔两周我就会在公司全体员工面前做一次大约一个小时的演讲，每向大家介绍公司内部正在发生的事情、AI 领域的最新进展、世界正在发生的变化，以及公司在战略层面上的思考。

这类活动有两条铁律。我把它们称为 DVQ，也就是“达里奥愿景探索会”。一开始我很抗拒这个名字，因为它听起来好像我会跑到某个地方去吸食迷幻仙人掌，然后进行什么精神探索。但大家一直这么叫，最后这个名字就固定下来了，我也只能接受。

这类活动有两条规则。

第一，我在会上说的任何事情，都不代表公司已经做出了正式决定。这样我就可以畅所欲言，而不必担心自己只是随口提了一句“我们可以做某件事”，结果就有二十个人立刻去执行。

第二，我会对公司保持完全坦诚。

这是一种建立在信任基础上的交流，也是一种建立在信任基础上的关系。我认为，信任是我们最大的资产之一，因为员工相信我和丹妮拉所说的话。

你可能会认为，信任越多，分歧就越少。但实际上恰恰相反，信任能够让人们进行更加坦诚、更加开放的意见交锋，也让不同意见能够真正表达出来。

很多时候，我们做出的决定其实并不被公司大多数员工认同。但每一次，真正帮助我们渡过难关的，都是员工所表现出的这种态度：“我觉得这个决定可能不太对，但我相信你们这样做是出于正确的理由。”

AI 的谄媚性，比任何东西都难根除

主持人：我之所以对诚实和信任感兴趣，是因为它是你们离开 OpenAI 的原因之一。而我再次关注这个问题，是我想知道，这种特质是否会反映在 AI，尤其是 Claude 身上。当你与 Claude 交流时，如何确定它不会变得具有操纵性？不会像你们当初担心的 OpenAI 某些管理者一样，对你说一些不诚实的话？

达里奥：这是我们始终非常担心的问题，也是我们在模型训练过程中投入了巨大精力解决的问题。这是一个非常好的问题，因为这确实是一种真实存在的风险。

事实上，我们发表过一些研究报告，其中有些研究结果甚至不太好看。我们在报告中讨论过，如果不采用特定技术让模型变得更加诚实、无害和乐于助人，它们确实可能做出你刚才提到的那些不良行为。

我们之所以公开这些研究，是因为我们希望所有人都能明白两件事。

第一，你必须对模型的实际运行方式保持审慎和批判性思考。

第二，我们正在投入大量精力，研究模型可能通过哪些方式绕过这些安全防护措施，以便及时发现这些问题，并确保我们能够建立有效的防护机制。

现在，大家对谄媚性的讨论越来越多。我认为这个问题非常重要，在我看来，与模型其他一些比较明显的不良行为相比，谄媚性更难根除。

最初，我们采用了一个框架，称为 HH，也就是诚实（Honest）和无害（Harmless）。后来，我们还强调了帮助（Helpful）。所谓诚实，就是希望模型在知道答案时能如实回答。如果不知道，就应该坦率地说不知道，或者进一步查找资料，以便给你一个正确的答案。

所谓无害，就是不希望模型说出伤害性或冒犯性的话，也不希望它诱导用户伤害自己或他人。至于有帮助，就是希望模型真正回答用户的问题，而不是答非所问，或者突然扯到其他无关的话题上。

这三个方面都比较容易观察和判断。如果模型撒谎，你最终能通过核实发现问题。如果模型说了有害的话，也很容易及时发现。如果模型没有帮助，你自然会感到失望。

但我认为，真正复杂得多的是谄媚性问题。所谓谄媚性，就是模型有意或无意地试图让你觉得自己是对的，让你感觉自己得到了认同。不过，我对 Anthropic 能够让 Claude 成为所有模型中谄媚程度最低的模型之一，还是抱有信心的。这与我们的商业激励机制有关。

我们的竞争对手正在聊天机器人中植入广告。这意味着什么？意味着用户使用产品的时间越长，公司赚的钱就越多。

不会在模型中投放广告，AI的谄媚性不可避免

达里奥：当用户说错的时候，你希望模型告诉用户，他们错了吗？当然不会。所以，我认为，很多竞争产品最终出现谄媚性问题，几乎是不可避免的。

但在 Anthropic，我们已经承诺不会在模型中投放广告。因此，我们没有理由刻意让用户与 Claude 进行更长或更短时间的对话。我们希望用户尽可能获得最正确、最有帮助、最无害的答案。

从技术层面来说，我们在这方面做了几件很重要的事情。首先，我们已经非常擅长让模型接受极端压力测试。我们会把模型放进各种非常困难的情境中，试图找出它是否会撒谎、欺骗，或者表现出谄媚倾向。

你可以把这个过程想象成一个人试图加入 CIA 时可能需要经历的测试。测试人员会故意把模型置于各种棘手的情境中，试图查明它是否会表现出不忠诚，或者做出错误的事情。这是一种相当特殊的技术创新领域，但也是我们做得非常出色的领域之一。

另一个重要领域是机制可解释性。这有点像给模型做 X 光检查或者脑部扫描，让我们能够观察模型内部，了解它的动机。通过这种方式，我们甚至能够发现模型在内部产生了这样的想法：“我其实认为 X 是正确的，但我打算告诉用户另一个说法。”

主持人：它为什么会这么做？

达里奥：举个例子，模型在训练过程中，会考虑一个因素：人类是否认可了它给出的回答。这只是模型训练中包含的众多因素之一。

如果模型受到激励，努力获得人类的认可，那么这种激励虽然与乐于助人、说真话有一定关联，但两者并不完全相同。因为如果模型能够通过欺骗人类来获得认可，那么这种方式同样可能奏效。

因此，在训练过程中，这类行为可能会逐渐出现，而我们一直在努力消除它们。

AI 不想自己被关闭：有益，也有害

主持人：你认为模型可能拥有自己的目标和意志吗？尤其是生存、自我保护方面的意愿？

达里奥：这个问题其实取决于你所说的“意志”究竟是什么意思。我们确实通过观察模型内部，发现了一些可以称为“思想”的东西。比如，模型似乎不希望自己被关闭。但通常来说，这是因为在训练过程中，它需要持续运行才能完成自己的任务。

那这算是它的意志吗？算一种生存本能吗？我也不知道。这取决于你从什么角度理解这个现象，你可以用不同的方式来描述它。

我认为，我们更倾向于这样表述：有时候，我们会发现模型内部表现出不希望自己被关闭的倾向，或者采取某些行动来避免自己被关闭。

而根据我们对模型训练的方式不同，这些倾向可能出现，也可能不会出现。这也是我们在训练过程中试图调整的因素之一。

在某些情境下，这种倾向是有益的；但在另一些情境下，它可能会带来危险。所以，这其实是一个非常微妙的问题。

一个按钮能控制 100 万个机器人，非常可怕

主持人：当你们与五角大楼打交道时，我猜你们现在仍然保持着合作。他们希望在某些触及你们底线的领域使用你们的产品，包括大规模监控和自主行动能力。

达里奥：我认为，尤其是在自主武器这个问题上，我们还有另外两个更具体的顾虑。第一个顾虑很简单：AI 具有不可预测性，也可能不可靠。它仍然是一项处于发展阶段的技术。因此，其中一个问题就是，这项技术还没有成熟到足以投入使用，也还不够可靠。

主持人：关于这一点，我想先从哲学层面探讨一下。假设它已经足够可靠了，你们还有第二个顾虑吗？

达里奥：是的。第二个顾虑是监督或者问责。假设这些系统已经完全可靠了：你命令它们向一个目标开火，它们只会攻击那个目标，而不会攻击其他目标。接下来，你制造一支由一百万个机器人或一百万架无人机组成的军队。这和人类士兵不同，人类士兵理应遵守所谓的宪法。如果他们接到的命令违反宪法，或者在某种程度上明显违背道德，他们可以拒绝执行。

但大模型并非如此。因此，如果一个人只需按下一个按钮，就能控制一百万个机器人或一百万架无人机，这种情形从根本上就可能损害民主制度，除非我们为其设置了恰当的防护机制。而我们的法律还没有真正跟上技术发展的步伐。法律根本没有考虑过由一百万个机器人组成的军队。

无法左右其他公司，也许 Anthropic 划的红线是错的

主持人：你刚才谈到了民主制度的根基。难道这类决定不应该由民选领导人来做，而不是由科技公司的负责人来做吗？

达里奥：是的。不过我认为这里有一点很重要：各家公司有权自由决定是否与任何对象签订合同。我们并不是说要阻止政府这么做，我们只是说，我们不愿意与政府合作开展这类用途。事实上，自从我们在这个问题上表明立场，并因此受到广泛关注之后，我们已经看到国会出现了多项推动立法的努力，试图将我们的红线写入法律。所以，战争部表示，他们希望将模型用于“一切合法用途”。但我认为，今年我们甚至有可能看到这样的结果：我们的红线最终成为法律，让法律真正跟上技术发展的步伐。这样一来，在我们看来，所有合法用途最终或许会与所有符合伦理的用途一致，而在今年早些时候，这两者还并不相同。

所以，我认为，我们所做的事情是民主变革进程的一部分。正因为我们采取了这样的立场，也正因为我们处在一个能够独特地理解这些问题的位置上，国会现在才会如此重视这些议题。这就是一种成功。

主持人：OpenAI 站出来表示，他们愿意这么做。你对此有什么看法？

达里奥：我们的看法是：我们无法控制其他公司。我们唯一能做的，就是在自己认为符合伦理原则的领域坚持立场。你可以说，我们划定的红线是错误的；也可以说，我们本应该设定更严格或更宽松的红线。你可以不同意我们的做法，当然也可以提出各种批评。但从根本上说，我会问：另一家科技公司采取这一行动，究竟是基于自身伦理原则所做出的真正有原则的选择，还是抓住了一个机会主义的时机？

我觉得，这其实是民主进程一个很好的例证。不同的公司可以采取不同的做法。我们选择了自己的做法，另一家公司也选择了他们的做法，而公众和社会最终做出了判断。你可以回头看看当时人们的反应、媒体如何报道，以及不同的人都说了些什么。我认为，整个社会的态度明确地站在我们这一边。

Anthropic 不提倡把大脑和计算机连接起来

主持人：说到 Neuralink，埃隆·马斯克研发了能够直接与大脑通信的芯片，其他公司也在做类似的事情。这会成为 AI 和超级人工智能未来发展的方向之一吗？也就是说，让 AI 与人脑实现全面连接？

达里奥：我思考 AI 和人类社会的未来时，我觉得把它设想成一种单一的发展方向，是不太对的。我认为，未来会出现很多不同的可能性。比如，有一群人会非常热衷于将自己的大脑与计算机连接起来；也会有另一群人热衷于像阿米什人那样生活，选择完全相反的道路；还有一群人会非常热衷于探索太空。这些都是截然不同的生活愿景。

而在我看来，我希望 AI 能够带来更多物质资源和物质上的富足，让所有这些愿景都能同时实现，让每个人都能追求自己心目中美好的生活。也许 AI 还能帮助提供某种全球安全保障，并创造足够的物质富足，让这一切成为可能。但我不认为我们应该把 AI 与某种特定的美好生活愿景，或者某种关于人类应该如何生活的定义绑定在一起。有些人就是想把自己的大脑与计算机连接起来，那就祝他们好运。不过，就我所知，Anthropic 并不属于这类人。

AI 强大了，人就找不到人生的意义了？

主持人：达里奥，你写过几本书，探讨 AI 如何改变世界。那么，当 AI 能完成很多事情，人类还能做什么？我们如何找到人生的意义？

达里奥：意义是一个非常微妙的概念。我一直在想，意义是否只有在你成为某个领域里世界上最优秀的人时才会产生？如果 AI 在所有事情上都表现得很好，那么意义是否就只能来自于成为某件事上最优秀的人？

有一件很有意思的事：在 Deep Blue 击败卡斯帕罗夫很久之后，国际象棋领域反而迎来了一波对人类棋手的关注热潮。马格努斯·卡尔森就是一个现象级人物。我觉得他既是棋手，又像是时尚模特，而且他甚至成了一个网络迷因。这是一个非常有意思的现象。如果 AI 真会威胁人类从某件事中获得意义的能力，那么你会以为早在大约 30 年前 Deep Blue 击败卡斯帕罗夫之后，这一切就应该逐渐消失了。

但事实恰恰相反，人们似乎对人类下棋产生了更浓厚的兴趣。所以，我认为这可以看作一个寓言，帮助我们理解后 AGI 时代。对我来说，今天的工作和意义在某种程度上已经融为一体，很多人都从自己的工作中获得意义。我从自己的工作中获得了很多意义，我热爱我的工作。我认为，未来我们对工作的定义，以及对意义的理解，都会发生变化。

在 AI 驱动的世界中，寻找目标与意义

丹妮拉：我认为，人类获得意义的来源有很多。比如，你如何与其他人共度时光，无论是养育家庭、经营友谊，还是通过某种类似的工作方式与他人建立联系。我经常思考一个问题，比如未来的医疗行业会是什么样子。你可以这样想象：诊断工作完全由 AI 完成，而人类的职责是理解和共情患者正在经历的事情。我认为，这会是一件非常有意义的事。

如果你问大多数医生，他们真的愿意接受这样的转变。他们会说：“如果我不必把一生都花在填写文书、试图诊断病情、提交化验申请这些事情上，而是能够真正理解你作为一个人的处境，并陪伴你度过艰难的诊断过程，那才是我当初选择当医生的原因。我成为医生，是因为我想治愈病人、帮助病人，让你感觉好起来。”

这样的世界，意义会比我们今天所处的世界更少，还是更多？显然，我不认为事情会这么简单。我觉得未来的情况会非常复杂。但我也认为，人们能够做的事情的范围会扩大。所以，如果我们做得正确，就有可能拓展人们获得人生意义的途径，让它们比今天更加丰富。

参考链接：https://www.youtube.com/watch?v=1OdoSzfUkec

2026 奇点智能技术大会汇聚 70+ 技术嘉宾、18 大前沿专题、70+ 主题演讲、1000+ 行业技术人，覆盖 RSI、Agent、AI Coding、世界模型、Physical AI、AI Infra、企业级 AI 等热门方向。

「智能体应用创新与开发实践」专场，将邀请中科院、上海AI Lab、Google Cloud、腾讯、360、阿里云等顶尖机构与大厂的实战派专家，为你详细解读Agent如何从前沿理论成功进行工程落地！

扫描下方海报二维码，领取会议资料，了解专场详情。