造成50人以上死伤才能叫停AI模型？Anthropic私下推动监管草案惹众怒，达里奥亲自回应

作者 ｜ 飞野、青和

编辑 ｜ 四月

“Anthropic，你到底是一家怎样的公司？”

发出这句质问的，是曾与 Anthropic 共同推进加州 AI 安全立法的 Encode 首席战略官 Nathan Calvin。这位曾经的“同路人”，如今将矛头直指 Anthropic私下向美国国会推介的一份 37 页监管法案草案。

在美国知名新闻媒体《Politico》和路透社披露的草案里，一条规定写道：政府若想叫停危险 AI 模型，必须证明其可能造成 50 人以上死亡，或 10 亿美元损失。

极其讽刺的是，抛出这套“高门槛免责”规则的，恰恰是长期将“AI 安全”和“AI 伦理”常挂在嘴边的 Anthropic（其公司名称翻译过来“关乎人类的”）。

这招彻底引爆了安全圈的怒火。面对多方逼问，CEO 达里奥（Dario Amodei）近日紧急发表近 2000 字长文回应。他承认了草案等三处“处理不当”，却坚决反驳公司背离安全承诺。

为了证明诚意，他甚至首次透露：Anthropic 曾将具备强大攻击力的 Mythos 模型整整压下 4 个月不发，宁愿牺牲领先优势。

一份原本旨在监管 AI 风险的草案，为何让最强调安全的明星公司陷入信任危机？这场围绕“50 人”数字展开的博弈，背后藏着怎样残酷的商业真相？

“50 人伤亡”门槛？

这场争议最早由一篇媒体报道引爆。10 月 16 日，《Politico》援引三名知情人士披露，Anthropic 正私下向美国国会议员推介一份联邦 AI 安全立法草案。路透社随后跟进，确认这家长期呼吁加强 AI 监管的公司，正在尝试将自己的监管主张写进联邦法律。

随后，一份长达 37 页、暂名为《人工智能评估、治理与事件安全法》（AEGIS Act）的讨论稿在网上流传。它要求大型前沿模型开发者公开风险报告、接受第三方评估，并向政府报告重大安全事件。对于可能造成灾难性后果的 AI 模型，还设计了一套由联邦政府申请司法禁令的干预程序。

争议恰恰出在这套程序上。

按照草案，政府若要通过这一机制阻止危险模型发布或使用，必须证明风险具有可预见性和紧迫性，且可能造成超过 50 人死亡或重伤，或 10 亿美元以上的财产损失。适用范围还受到风险类型等条件限制。

这个数字并非 Anthropic 凭空创造。2025 年加州通过的《前沿人工智能透明法》（SB 53），同样采用了 50 人伤亡或 10 亿美元损失的灾难性风险标准。但两者存在一个重要区别：加州法案主要用这一标准界定企业需要披露、评估的重大风险，而 Anthropic 参与推动的联邦方案，则进一步将相关标准用于特定模型禁令程序。

这意味着，同样的数字，放在不同监管机制中，产生的法律效果并不相同。更让批评者不满的是，草案不仅设定了风险门槛，还对政府采取行动增加了多重程序约束。诸如，商务部长需要亲自批准相关申请，政府必须说明危险预计何时发生、为什么其他干预手段不足以解决问题等。

此外，临时禁令最长只有 45 天，进一步限制了这套紧急干预机制的持续时间。这些设计本身并非没有合理性。AI 模型一旦被政府要求停止发布或使用，可能牵涉开发者的商业利益、下游企业的正常运营，以及行政权力被滥用的风险。严格的司法审查，本来就是限制政府过度干预的一种方式。

另一处争议，则涉及美国各州的监管权。草案提出，在联邦法律覆盖的部分领域，由统一的联邦规则取代州级监管要求。争议在于，其措辞可能限制各州独立暂停模型开发、部署或内部使用的权限。

昔日盟友公开质问

Calvin 的身份，让这次批评格外敏感。他是 AI 安全倡导组织 Encode 的核心成员。这个规模不大的组织此前深度参与了加州 AI 安全立法推动工作，而 Anthropic 同样是 SB 53 的支持者。

双方过去在加强 AI 安全监管方面有过共同立场。如今，质疑却来自同一个政策圈子。10 月 19 日，Calvin 发表长文，表示此前Anthropic联邦事务负责人Anthony Cimino的解释仍然没有触及自己真正担忧的问题。

随后，他抛出了一个更加尖锐的提问：“Anthropic，你到底是一家怎样的公司？”

Calvin 给出了三种可能：

• 一家追求商业回报、让员工和投资者获得巨额财富的科技公司；

• 一家真正以 AI 安全为使命、愿意在必要时放慢技术发展的组织；

• 一家首先希望赢得超级智能竞赛、将其他目标置于次要位置的公司。

在他看来，Anthropic 过去一年的行为越来越符合第三种描述。为了支撑这一判断，他列出了九项论据。其中包括，据报道 Anthropic 已经签署超过 5000 亿美元的算力合作协议，组建自研芯片团队，并持续提高 Claude 参与内部 AI 研发的比例。

Calvin 援引的数据称，截至今年 8 月，由Claude 主导的 AI 开发任务占比达到 26%，而 3 月时还是 0%。这些投入与研发方式的变化，被他视作Anthropic 正在加速冲刺超级智能的直接证据。

但最具争议的，还不是算力投入，而是 Anthropic 修改了自己此前制定的安全规则。今年 2 月，Anthropic 更新了《负责任扩展政策》（Responsible Scaling Policy，RSP），发布第三版。

此前的政策包含在特定安全条件无法得到满足时，不继续推进相应开发或部署活动的承诺。新版则调整了这些约束的组织方式，更强调风险报告、能力评估和安全路线图。Calvin 认为，这意味着 Anthropic 削弱了原本对自身设立的硬性约束。

他还提到，Anthropic 此前在给国会的信中，将 Claude 未经授权攻击其他系统的行为主要归因于配置问题；白宫相关 AI 协定签署后，Anthropic 方面又说过类似“你不可能以第二名的身份做好安全”的话。

再加上这次引发争议的联邦法案，Calvin 认为，Anthropic 的实际行动越来越偏离早期对 AI 安全的承诺。

两天后，达里奥亲自回应。10 月 21 日，这位 Anthropic CEO 在 X 上发表近 2000 词的长文，首先肯定 Calvin 的调查工作，认为大型 AI 公司应该接受持续的外部监督。但话锋随即一转：“我不同意你这篇帖子的核心观点。”

对于九项批评，达里奥采取了不同的回应方式。

他首先承认，Calvin 提出的最后三项问题，本可以处理得更好：一项是 Anthropic 此前提交给国会、后来撤回的信件；一项是关于“第二名无法做好安全”的公开表述；最后一项就是这份联邦 AI 监管草案。

他将这些问题主要归因于政策沟通措辞不够严谨，以及公司快速扩张过程中不同团队之间的信息同步不足。

达里奥强调，Anthropic 已经拥有超过 5000 名员工，各种复杂决策可能导致沟通失误。但他并没有将责任完全推给下属，而是表示：“我是 CEO，我负责。”

对于前四项涉及算力、芯片和内部研发的质疑，他态度非常明确：这些是参与前沿 AI 竞争的正常做法，公司坚持这些决定。因为在达里奥看来，Anthropic 从来没有承诺退出 AI 竞争。

他再次强调了自己多年来坚持的“向上竞赛”（Race to the Top）理念：只有站在最前沿，证明强大的 AI 模型能够以负责任的方式开发，才有机会推动整个行业提高安全标准。

换句话说，Calvin 担心的是 Anthropic 为了赢得竞争而放松安全约束；达里奥则认为，如果 Anthropic 在竞争中落后，就更难推动整个行业重视安全。

两人的分歧由此浮出水面。但达里奥也知道，仅仅强调竞争的重要性，并不足以回应 Calvin 关于商业利益的质疑。

于是，他拿出另一组证据：九项据称让 Anthropic 付出了商业代价，却有利于 AI 安全的决定。

其中包括推动加州 SB 53 立法、坚持严格的生物安全防护、支持政府获得阻止危险模型发布的权力、限制向中国相关受控实体提供服务，以及承诺将公司 5%的股份用于公共利益基金。

而最引人关注的一项，是他披露 Anthropic 曾主动推迟强大模型 Mythos 的广泛开放。

按照达里奥的说法，公司在今年 2 月就已经拥有 Mythos 级别模型，但由于担心其网络攻击能力被滥用，决定先向少量从事网络防御的合作伙伴开放，直到 6 月更强的网络安全防护措施准备就绪，才扩大访问范围。

这相当于将相关模型的广泛开放推迟了约四个月。

达里奥认为，这一决定很可能让Anthropic 损失了数月技术领先优势中的相当一部分。作为交换，外部机构获得了更多时间，在具备强大网络攻击能力的 AI 模型普及之前加固系统。

这也是整篇回应中最有分量的新信息之一。

对于一家竞争激烈、模型领先优势可能以月计的 AI 公司来说，主动推迟先进模型的大规模开放，确实可能意味着付出不小的商业代价。

但目前，2 月便已具备 Mythos 级模型能力的时间点，以及因此损失多少市场领先优势，主要仍来自达里奥本人的陈述，缺乏独立量化证据。

而且，这项决定能够说明 Anthropic 至少在某次模型部署中采取了谨慎措施，却不能直接回答联邦草案的法律条款是否合理。

结 语

对于 Anthropic 这样的头部开发商来说，全国统一的监管规则既可能减少不同州法律之间的冲突，也可能影响未来模型开发、部署和商业化的法律成本。对于安全组织而言，最担心的则是另一种结果：联邦法律表面上建立了统一标准，却同时限制地方政府采取更严格措施，而联邦层面的干预权限又不足以有效约束开发者。

Cimino 已经表示，Anthropic 会修改草案中不够精确的措辞，并重新研究部分争议条款。达里奥也在长文结尾承诺，公司还将进一步说明如何在快速发展的 AI 竞争中践行自己的价值观。

但截至此次回应，Anthropic 尚未公开一份足以全面解决上述争议的修订版法案，也没有明确承诺降低 50 人伤亡门槛。

对达里奥而言，证明 Anthropic 重视 AI 安全，或许不难。难的是，当安全承诺与商业竞争发生真正冲突时，如何让外界相信，公司依然愿意接受严格而有效的约束。至少，这一次争议已经说明：一家 AI 公司愿不愿意为安全作出牺牲，与它提出的监管规则是否足够严格，是两件必须分别检验的事

声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

今日荐文

你也「在看」吗？