连发俩小作文,Anthropic CEO Dario Amodei被逼发声

“我认为‘要么通过监管将其集中在少数选定公司和政客手中，要么广泛分发’是一种虚假的选择。”

面对投资人Gavin Baker 对Anthropic 及其本人的公开质疑，公司 CEO Dario Amodei罕见在X上连发两篇长帖回应。

上一次他的 X 更新还是两个多月前。

他认为，监管并不天然意味着权力集中，真正重要的是“规则具体是什么”。

Amodei 称，好的制度可以把权力从个人手中转移到规则和程序上，就像法院体系虽然有时显得精英化，但在保护弱者方面仍优于“暴民正义”。

因此，Anthropic支持的政策并非单纯保护头部公司，反而在有意降低前沿AI公司的优势。

例如加州SB53对规模较小的公司豁免，前沿模型测试要求高于非前沿模型，以及“Pacing the Frontier”方案，都试图在约束头部实验室的同时，为挑战者和开源模型留下空间。

在Amodei看来，AI本身就是一种“结构上倾向于集中权力”的技术，原因更多来自规模定律，而非监管。

开源权重能够缓解这种集中，却不足以彻底解决问题，因为最终仍可能集中到拥有最多算力和芯片的公司手中。

因此，他主张建立一套同时应对AI安全风险、约束前沿实验室权力，并为开源模型留出空间的“游戏规则”。

他也反驳了“自己的监管主张已经失败”的说法。

Amodei表示，目前美国政府考虑的前沿模型部署前测试，以及当开源模型接近前沿能力时进行测试，正是他支持的方向。他还赞同Google DeepMind CEO Demis Hassabis提出建立类似FINRA的机构。

另一个议题，则是Amodei是否一直在“贩卖AI风险”。对此，他进行了否认。

他称，自己写《Machines of Loving Grace》，恰恰是因为认为行业没有描绘出足够鼓舞人心的AI未来，并明确提出，未来5到10年内治愈大多数人类疾病是可能的。

但Amodei不愿意靠“AI将治愈癌症”这样的宣传口号赢回公众信任。

在他看来，真正的问题不是传播方式，而是一场持续已久的“信任危机”：普通人不相信企业、政府和科技行业，怀疑它们正在寻找新的方式伤害自己。

他的答案是，不要靠营销证明AI有益，而是“真正治愈癌症”。

他透露，Anthropic正在迅速加大生物学和医学投入，希望未来几年取得实质性成果，甚至在未来几个月看到一些初步成果。在那之前，他仍会继续公开讨论AI可能带来的风险。

“诚实本身就是正确的做法。”这或许是Amodei这次回应最核心的立场：AI的未来既不是监管与开放的二选一，也不是风险与繁荣的二选一。

真正的问题，是能不能建立一套规则，让这项技术在不把权力交给少数人的同时，也不把可能的风险直接交给所有人。

以下为 Dario amodei 的帖子全文——

感谢Gavin进行了一次特别深思熟虑的交流。我通常不会在社交媒体上花费太多时间，但我想在这里参与讨论，因为这确实突出了一个重要对话的核心。

首先，关于监管，我认为“要么通过监管将其集中在少数选定公司和政客手中，要么广泛分发”是一种虚假的选择。

我知道硅谷有一种简化的说法，即监管 = 监管俘获 = 权力集中，但我一直觉得这是一种对世界的过度简化描绘。

在这个圈子之外的许多人认为，监管是约束企业权力并惠及普通人的东西。我并不一定同意这种观点，而是认为这很复杂，真正取决于“监管”具体包括什么。

但特别是，我认为那些持“监管 = 监管俘获 = 权力集中”观点的人往往低估了客观公正的制度流程的去中心化力量。

一个粗糙的类比是，正式的法院系统有时会让人觉得古板和精英化，但它在捍卫弱势个体权利方面做得比另一种选择——暴民正义——好得多。

在其最佳状态下，制度可以将权力赋予理念而非个人，从而实现权力的去中心化。

这就是为什么Anthropic在制定政策提案时总是非常谨慎。

我们非常努力地提出那些会削弱（减缓）前沿AI公司同时*有利于*较小竞争者的提案。

加州的SB53（我们支持的），甚至备受诟病的SB 1047（我们对此持矛盾态度），都完全豁免了收入或模型训练成本低于一定金额的公司（SB 53为5亿美元，1047更低但我们对此提出异议）。

最近我们在CAISI和白宫倡导的测试流程，对前沿模型的要求比非前沿模型更严格——这是一种差异化有利于挑战者的方式。

同样，“Pacing the Frontier”信件设想（或至少Anthropic偏好的实施方式设想）在不约束追赶者的情况下调节最先进模型的步伐。这损害了前沿实验室的商业利益，同时帮助了挑战者，包括开源权重模型！

总的来说，我的观点是AI从结构上是一种倾向于集中权力的技术，其原因与监管无关（更多与缩放定律的极端含义有关）。

开源权重确实在一定程度上有助于缓解这个问题，但远非充分解决方案，因为它们只是将集中程度略微转移到拥有最多计算资源和芯片的那些实体（大致上是前沿实验室加上可能的硬件提供商）。

相比之下，我认为正确的“游戏规则”可以同时（a）应对AI的网络/生物/对齐风险，（b）从制度上约束前沿AI公司的权力，以及（c）为开源权重模型留出空间，同时也应对它们带来的特定风险。

顺便说一句，我并不认为过去几个月的进展“未能导致[我]偏好的监管路径”。

据报道美国政府将采取的方法——对前沿模型进行部署前测试，以及当开源权重模型接近前沿时对其进行测试——是我非常支持的，当然我必须看到细节才能确定。

我也支持Demis Hassabis关于类似FINRA实体的想法。这与六个月前形成鲜明对比，当时行业大多数人仍在推动优先废除所有州监管，也没有明显的联邦方法。

其次，关于人工智能的传播信息。我不同意我的传播信息过于负面。

事实上，它在风险和益处之间基本保持了平衡：我写了一篇关于风险的主要文章，也写了一篇关于益处的文章，甚至在讨论风险的访谈中，我也确保经常提到令人难以置信的益处，并提出可能的解决方案来应对这些风险（我的访谈片段在社交媒体上流传时往往显得过于负面，因为那样能吸引点击）。

事实上，我写《仁慈机器》（Machines of Loving Grace）是因为我觉得人工智能行业没有描绘出足够鼓舞人心的愿景，来展示这项技术如何彻底改变世界，让它变得更好。

这篇文章的主要部分致力于反驳人们对人工智能在健康和生物学领域潜力的怀疑，并解释为什么我认为在未来约5-10年内治愈大多数人类疾病是可能的，尽管这听起来对普通人——坦白说，对生物学家也是如此——可能很疯狂（我以前就是生物学家！）。

而且，如果你读我最近的文章（《人工智能指数的策略》Policy on the AI Exponential），我会讨论一些具体的提议，比如如何简化FDA流程，以确保人工智能加速药物的大量涌入不会被监管程序拖慢。

我在这里感受到紧迫性：我的父亲死于丙型肝炎，那时距离直接作用抗病毒药物（索非布韦）的开发仅几年，这种药物能治愈95%的患者，很可能也能治愈他。

我确实同意公众对人工智能持负面看法（这确实是个大问题），但我不认为这主要是由我或其他人工智能领导者警告人工智能风险引起的。

我认为这本质上是一个信任危机。我觉得普通人不信任公司、政府或科技行业，总怀疑我们在酝酿某种新的方式来坑害他们。这种情况的根源可以追溯到几十年前，而人工智能只是它的最新表现形式。

我不认为通过一个光鲜的营销活动来施加正面宣传（有些人主张Anthropic这么做）是赢回信任的方法——在这一点上，说人工智能将治愈癌症更多是陈词滥调，而不是鼓舞人心，大多数人认为这是欺骗性的。真正有效的方法是真正治愈癌症。

我认为，对包括Anthropic在内的人工智能公司最准确的批评是，我们还没有兑现我们造福世界的宏大承诺。这完全是我们自己的责任，我认为这才是你应该提出的批评，而不是所有这些关于传播信息和营销的东西。

不过，我们正在尽最大努力修复这个问题：Anthropic正在生物学和医学领域迅速加大力度，我们希望在未来几年取得令人难以置信的成果，并在未来几个月内看到一些初步的曙光。当我们真正实现一些实质性成果时，整个世界都会尽可能大声地听到，你相信我的话。

但在那之前，我不想做出空洞的承诺，同时我感到有必要诚实地谈论人工智能非常真实的那些风险，以及如何应对它们。

诚实本身就是正确的做法，从公众可信度和信任的角度来看，它并不比忽略或转移人们本能地理解为真实的那些风险的做法更糟，事实上可能更好。

以下为Gavin baker 的质疑帖子全文——

Sholto，谢谢你澄清事实。更大的问题是，硅谷的许多非常严肃的人听到了这种说法的各种变体，并相信这是真的。

而它之所以对这么多人来说可信，是因为它与Dario的公开信息以及你在文章中分享的他概述的内容一致：这项技术可能以多种方式对人类构成危险，可能导致经济权力的极端集中（正如文章所述），因此需要审慎监管。

我同意这些潜在风险，我相信Dario是善意地提出所有这些论点的。

正如在播客中讨论的，如果一个人同意AI可能是危险的，那么应对这种潜在风险有两种方式。

要么通过监管将其集中在少数选定的公司和政治家手中，要么广泛分发。本质上，这归结为一个人是否认为AI太危险而不能集中，或者太危险而不能分发。

双方都有合理的论据，但我深刻同意Zuckerberg的声明：“AI如此危险，以至于唯一安全路径是极端权力集中的观念，似乎本质上就有问题。从历史上看，寄希望于绝对权力如果足够开明就会仁慈地为人类提供福祉，并没有带来安全或积极的结果。”

正如Dario在上述文章中所说，“有些人可能反对，我们只需通过许多AI系统之间的权力平衡来控制AI，就像我们对人类所做的那样。”

我相信这是前进的最佳路径：我希望尽可能多地拥有AI，以最大化其中一个分享我自己特定价值观的机会。

而且正如Dario指出的，没有人类曾经能够征服世界。

在这一点上，我认为可以安全地说Dario已经输掉了这场辩论。他的信息未能导致他偏好的监管路径。

最近一起未发布的高级OpenAI模型入侵Hugging Face的事件，其唯一解决方案是一个开源模型，这很可能终结了短期严格监管的任何机会。

除了Anthropic之外，本质上每一家主要公司都签署了Jensen的信函。

然而，Dario的信息对美国这里禁止数据中心的努力产生了巨大的帮助。

我怀疑我们将看到反数据中心倡导团体播放广告，使用Dario警告AI对人类可能多么危险的片段。

他支持监管的善意努力，现在正在增加AI对美国人和全世界人类不利的可能性。

我相信AI有合理的机会帮助我们治愈大多数疾病形式，从而延长寿命，并在像《星际迷航》那样富足的未来享受这些漫长的人生。那是我想要的未来，我认为Dario此时正在降低那种未来的可能性。

他即将成为世界上最重要的上市公司之一的CEO，鉴于支持监管的努力已经失败（至少目前是这样），我恭敬地认为他应该努力成为自己行业的更积极倡导者。

如果我错了，而我们确实需要监管这项技术，那么在未来他将作为更有效的倡导者，因为他曾对替代方案保持开放心态。

为了清晰起见，正如我在播客中概述的，我认为Anthropic拥有深刻的竞争优势，是一家了不起的公司。

讽刺的是，几个月前我看到Anthropic的主要风险是由于Dario自己的言论和行为而导致的国家化。