Anthropic联合创始人预警：AI正颠覆世界，五大领域政策必须重写

作者：Dario Amodei

在《指环王》的一个支线情节中，两个霍比特人试图唤醒树须——一棵睿智但行动迟缓的树人——来保卫他的森林免遭大军砍伐。问题在于，树须的行动速度与霍比特人截然不同。他跟另一棵树打个招呼都要花上一整天，要想让他和同伴们快速行动起来几乎不可能。

人工智能与我们的政治体制之间的交汇，颇有几分霍比特人与树须的味道。AI正以闪电般的速度发展——仅仅四年时间，AI模型就从几乎写不出一行连贯的代码，发展到能撰写各大AI公司的大部分代码。在生物学、物理学、数学、金融、法律、翻译以及许多其他领域，也取得了类似的进步。AI的缩放定律（预测随着算力增加，通用认知能力呈指数级增长）如今已有超过十年的实证数据支持。如果这些缩放定律再持续一两年，我们很可能会得到我所说的“强大AI”，即“一个数据中心里的天才之国”。

相比之下，政策——尤其是立法——则进展非常缓慢。这通常有充分的理由：政府拥有重大权力，不急于使用这些权力往往是最好的选择。但这种时间尺度上的不匹配依然令人非常痛苦：在国会需要耗费数年才能采取行动的这段时间里，AI可能会从一个有趣的玩具，发展成一个完整的天才之国。

自AI成为一项重要的商业技术以来的过去几年里，我们这些希望负责任地对待它的人面临着一个两难境地。我们能清楚地看到指数级发展的方向：我们强烈怀疑，几年之内，AI就会成为少数从根本上重塑整个政策格局的技术之一，就像核武器重塑地缘政治、工业革命彻底重塑了每一个经济和社会问题一样。但对于那些只关注当时AI能做什么的人来说，它看起来像是一项更为平凡的技术——也许类似于最新的消费应用或加密货币。很难说服大多数政策制定者和公司相信，除了自由放任的态度之外，其他任何做法是有道理的。平心而论，AI的深远影响尚未显现，而且我们也不确切知道这些影响会以何种形式呈现，这使得即使有行动的意愿，也很难设计出正确的政策。

鉴于这种情况带来的限制，许多安全倡导者（包括Anthropic）迄今为止一直专注于倡导那些能够保留选择空间、为未来快速反应做好准备、或者让世界更好地了解即将到来的事情的政策行动——比如透明度立法、芯片出口管制，以及关于AI对劳动力影响的数据收集。这些还不够，但它们感觉是当时唯一可行的做法。

然而，在过去的几个月里，AI惊人力量及其风险的证据已变得不可否认。最具象征意义的例子或许是Claude Mythos Preview，以及前沿模型确实给网络安全带来非常现实的风险，可能造成金融部门、关键基础设施和国家安全的混乱。Mythos Preview搅乱了全球网络安全格局。但其更广泛的意义在于，它毫无疑问地证明，AI模型现在是具有全球和国家战略意义的工具。Mythos级模型带来的网络风险不会是我们必须面对的最后一种风险。我相信生物风险可能很快随之而来，而严重的AI自主风险可能也不会太远了¹。

现在，我们全球共同需要启动一个缓慢而陈旧的政策机制，来处理从这里开始将以惊人速度复合增长的风险和机遇。许多政策制定者表现出更愿意采取行动的态度，看到我们的同行逐渐接受我们过去几年一直倡导的立场，这令人鼓舞。这很好，但我担心这些早期行动与AI的快速发展至少有一年的脱节。这篇文章试图弥合这一差距：阐述指数级发展现在处于什么位置，以及应对当前形势所需的集体行动。

我将聚焦于五个需要在AI时代重新构想的长期政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。由于Anthropic是一家美国公司，我将主要从美国政策的角度来谈，但我的大部分建议也与世界其他地区相关。

伴随这篇文章，Anthropic还将发布一份关于前沿模型测试的立法提案和一份关于工作岗位流失的政策框架，我们打算为此提供大量的资金支持。我们计划在未来做更多的事情，但我们视这些为表明我们认真态度的第一步。

1. 监管与公共安全

每一项新技术或新产品都有有益和有害的用途，因此在创新与安全之间存在两难困境。对产品进行监管可以降低其造成伤害的可能性，并在改善全球人民生活方面发挥了重要作用，但它也可能直接削弱其益处，并间接抑制创新。还有一个哈耶克式的观点，即监管者常常缺乏做出复杂经济权衡正确决策所需的信息，因此监管往往既低效又繁琐。一个相关的概念是科林格里奇困境，该困境指出，一项技术的影响往往难以预见，等到容易管控时为时已晚。

这些动态在2023-2024年对AI来说显得非常突出。Anthropic很清楚，AI未来可能有能力制造出威胁数百万人生命的生物武器，或者在极端情况下甚至可能威胁到人类自身的自主不当行为。不太清楚的是风险将以何种确切形式出现，如何最好地测试和缓解它们，以及它们在实践中将如何发展。因此，提前制定的立法有很大风险最终无效——产生无谓或低价值的合规要求，同时遗漏了实际风险的最关键来源²。

最终，我们得出结论，当时正确的做法是透明度。AI模型的开发者必须披露他们的安全程序、对模型进行的测试，并报告任何严重的安全事件，以便公众和科学界能够在风险出现时获得更好的可见性。当风险变得更加确定、形态更加清晰时，通过透明度获得的证据就可以用来设计精准针对最令人担忧的风险的明智立法。因此，在2025年，Anthropic支持了透明度立法，帮助通过了加州的SB 53法案、纽约州的RAISE法案、伊利诺伊州的SB 315法案（2026年初），并倡导在联邦层面建立透明度标准。

然而，现在风险显然已经到来。是时候超越透明度，对AI进行更严肃、更具约束力的监管了。我相信，至少在指数发展的当前阶段，最好的类比是汽车、飞机或药品——这些对现代经济至关重要的强大技术，但如果设计或操作不当，可能造成大量人员伤亡。因此，我认为我们应该效仿联邦航空管理局等机构来构建AI监管。前沿AI模型，就像飞机一样，应该被要求通过技术测试和审计，如果它们不符合高安全标准，其发布应被阻止或撤销，以维护公共安全。我很高兴看到特朗普政府的行政命令朝着让政府在AI领域发挥更大作用的方向逐步迈进，尽管Anthropic的提案建议采取进一步行动。我们的提案包括以下要素：

• 超过一定算力阈值的模型，必须由合格的第三方对其在四个特定领域的风险水平进行强制性测试：网络安全、生物武器、AI系统失控，以及可能加速其他风险的自动化研发。
• 如果根据第三方评估，认定该模型存在不可接受的风险，政府应有权阻止或阻止其部署。这项权力必须限定在上述四个特定风险范围内，并且必须有防止政治偏袒或武断决定的保护措施。
• 第三方评估可以由一个政府机构完成，也可以由一组经政府授权并接受检查、依据特定标准评估模型的私人组织完成。
• 开发先进AI模型的AI公司必须拥有强大的安全标准来保护其模型权重，应定期进行红队测试和渗透测试，并应与政府合作防御重大威胁行为者。
• 在四个关键领域发生的安全事件必须及时报告。

或许很快，可能会出现一个时刻，我们需要超越这一点，那时最强大的AI系统看起来不那么像飞机或汽车，而更像可武器化的核材料——对人类的威胁，而不仅仅是“对公共安全的威胁”。如果出现这种情况，我们可能需要比我列出的更为激进的监管措施³。但正如在2024年很难针对性地应用我现在建议的措施一样，我认为我们不应该操之过急。我们应该为当前正在出现的危险设计政策，同时为随着新危险出现而更快地加强应对措施奠定基础。

2. 宏观经济与税收政策

政府长期以来一直面临如何在鼓励经济增长的同时，提供重要的公共服务并确保最不幸的人得到照顾的问题。这些辩论的一个重要的前提是，经济增长是脆弱且难以实现的——虽然减少不平等可能带来重要好处，但这必须与增税或赤字带来的经济拖累进行权衡。

我怀疑强大AI可能会颠覆这一假设。如果AI能够在大多数认知任务上做得比人类好得多，那么它很可能通过加速科学、技术和运营效率，带来极其快速和强劲的经济增长。AI构建更好AI的迭代能力可能会进一步加速这种增长。但出于完全相同的原因，AI也可能比以往的技术更广泛地替代人类的认知能力，同时以前所未有的速度改变经济。因此，有理由认为，AI可能比以往的技术对劳动力市场造成更大的破坏，并且可能是更持久的破坏。我们面临着陷入一个经济权衡旋钮卡在“超增长、超不平等”设置上的世界的风险，而且这个旋钮可能很难从这个设置上松开。在这个世界上，关键的挑战不是激励增长，而是找到一种让每个人都能分享利益的方法。

在这篇文章讨论的主题中，宏观经济和持久的劳动力流失问题可以说是最受公众关注、也最容易被误解的，所以我希望非常清楚地说明两点。

第一，持久的工作岗位流失是不可取且危险的，我们应该尽一切努力最小化或防止它，而不是促成它。我在采访和文章中对工作岗位流失提出警告，是因为我希望政策制定者和私营部门都有最好的机会来适应和回应，而不是因为我试图成为一个“末日先知”。作为一家公司，Anthropic总是尽其所能与客户合作，寻找创造性的新用例和新的收入来源，让他们能够利用现有劳动力做更多事情，而不是只关注成本节约。我们也不断尝试思考新的人机交互范式，让人类在AI系统进步的同时，能在与AI协作中扮演尽可能积极的角色。更广泛地说，让全世界尽可能多地以新方式尝试使用AI是有价值的，因为这是社会发现新的工作配置方式的途径。我确实认为AI将带来许多新的经济机会。我曾预测AI将使个人能够创建价值数十亿美元的公司，我们已经看到只有几个人的团队建立了收入数亿美元的企业。但同时，我们应该认识到，尽管我们付出了所有努力，AI仍有可能导致显著的、持久的失业——这可能是该技术及其广泛复制人类认知的方式的内在属性⁴。

第二，对AI驱动的失业问题的任何回应，都需要解决两个问题：既需要在经济上为每个人提供保障，又需要让人们找到意义、目标和能动性。后者最终更为重要，它取决于关于社会如何组织、人们应该追求什么、以及什么构成美好生活的深层问题。我实际上非常乐观地认为，即使在一个AI在各方面都比所有人都强的世界里，人类仍然可以过上有深度目标的生活，并努力建造令人敬畏和美丽的事物⁵。但这是需要整个社会共同解决的问题，不是政策可以直接处理的。政策最有帮助的是为我们争取时间来做这项工作，通过减缓失业和为可能受影响的人提供经济支持。

本着这种精神，一些可能有帮助的关键政策干预措施包括：

• 测量与追踪。仅仅收集和分析数据很容易被认为不足以应对问题的规模，但如果我们不能准确衡量实地发生的情况，我们不太可能制定出好的政策。Anthropic运营一个关于人们如何使用Claude的经济指数已经近一年半了，但政府可以访问我们无法获得的数据类型，并且可以大幅扩展其经济统计数据，以更仔细地追踪AI导致的失业。
• 促进就业的激励措施。广泛的促进就业政策激励措施可以帮助减缓或减少失业，包括：当人们不得不从事较低薪工作时给予补偿的工资保险政策⁶、鼓励雇主不裁员的留任税收优惠、劳动力培训补助金，或促进雇主与雇员匹配以加速劳动力市场适应速度的基础设施。虽然哪种干预措施最好取决于AI带来何种劳动力流失，但我们应该坦然接受这些政策可能带来的成本和市场低效，特别是因为它们很可能会被AI驱动的生产力增长所抵消。
• 长期宏观经济支持。如果AI驱动的劳动力流失规模很大，并永久性地压低了劳动力需求，那么很可能需要超越单纯的激励计划，为相当一部分劳动力提供长期的收入支持。全民基本收入等机制可以通过对相关公司征税或提高资本利得税来资助。全民资本账户提供了另一种工具。总的来说，快速的经济增长应该为共享繁荣创造税收基础。

我没有提到的关于AI的一个常见经济担忧是数据中心，特别是它们可能推高能源价格。我的观点是，AI公司应该为此买单——Anthropic已经做出这样的承诺——但我认为公众对数据中心的敌意在很大程度上是更广泛的对AI经济焦虑的象征或出口。我们就这些更广泛的经济问题进行直接的社会讨论，并真正为其提供令人信服的解决方案，这一点很重要，否则它们很可能会像数据中心那样间接地表现出来。

3. 加速AI的积极影响

正如我们必须努力平衡AI本身的创新与安全一样，我们也必须努力平衡那些可能被AI加速的技术，如生物医药、能源或材料科学。但是，虽然AI本身可能会迅速出现我们前所未有处理经验的新挑战，但被AI加速的其他领域可能会遇到一个非常不同的问题：为较慢的创新速度而设计的监管体系，尚未准备好应对AI将带来的大量新产品和进展。AI还可能使这些下游技术更安全、更可预测，从而违背了食品和药物管理局等监管机构的怀疑假设。

因此，对于AI的下游应用——与AI本身相比——我更担心的是监管机构拖慢进展，而不是未能应对重要风险。我们最不希望看到的是，AI的风险日益凸显，而其益处却被延缓。因此，尽快就这个问题采取行动至关重要。

问题及其解决方案在每个科学、商业和技术领域都会以不同的方式显现，所以我将聚焦于一个例证性领域：生物医学创新。这既因为它可能是AI最大人道主义利益的来源，也因为这个领域的监管特别复杂。我们不知道AI将如何加速生物医学创新，但它似乎很可能：

• 极大地增加进入监管管道的候选药物的数量；
• 由于更好的优化以及可能对基础生物学有更好的理解，增加新药的效应量并改善其安全性；
• 为从未成功治疗过的疾病开发候选药物；
• 迅速创造出全新的疗法形式，类似于过去几十年抗体、肽和细胞疗法成为新的治疗类别。

其中一些进展自然会加速监管时间线，而无需结构性改变。效应量更大的药物可以导致更小、成本更低的临床试验，并启动加速批准的机制。但当前的监管体系旨在应用高水平的审查和多个测试阶段，其假设是候选药物通常无效，且即使有效也常常存在严重的安全问题。对于FDA和欧洲药品管理局来说，候选药物通过监管管道通常需要7-8年，部分原因就在于这些悲观的假设。如果不进行改革，AI只会堵塞或超载这个系统。

显然，我们不希望改革导致出现一批假冒伪劣药物或广泛的安全事件。但一些相对简单的改革可以使FDA、EMA及类似机构更能适应AI驱动的快速科学加速（如果发生的话）。

临床过程中的许多步骤，以前需要昂贵且缓慢的实验，可能很快就能通过AI模拟或分析来完成。监管机构现在就应该考虑制定标准，明确接受这些方法需要什么条件。这意味着一旦这些方法奏效，就可以迅速被采纳，而不是在很长一段时间内继续要求进行不必要的测试。可能适用的领域包括：

• 基于AI的药效学和药代动力学建模；
• 预测毒理学以避免多物种动物毒理学试验的需要；
• 更精确的剂量选择，以减少试验中对大剂量范围的需求；
• 通过分析大数据集进行生物标志物验证；
• 临床试验中的合成对照臂，以减少招募更多参与者的需要；
• 开发替代终点。

除了这些具体例子，机构还应考虑更激进、更灵活的加速批准机制。如果我对AI的预测是正确的，那么很快就会出现许多效果出奇好的干预措施，监管体系应该准备认真对待它们，而不是采取过度怀疑的姿态。

生物医学加速应该会大幅增加AI的益处，但值得注意的是，它也可能有助于降低AI的风险。改革生物医学审批可能有助于生物防御，而AI驱动的生物医学进步也可能改善心理健康，从而对社会产生稳定作用。

4. 国家与公民自由

每一个政府体系都必须面对国家权力及其限制的问题。国家保护其人民免受内外威胁，具有合法且通常关乎存亡的利益。但赋予国家过多权力则是通往暴政的道路。现代民主国家在很大程度上成功地管理了这种平衡，但即使在最好的时期，这也是一种不安的平衡。实施这种平衡需要几个世纪以来建立的大量法律和宪法机制——例如美国的第一、第四和第五修正案、《地方保安队法》、《外国情报监视法》等等。

AI有可能打破这种平衡，同时极大地提高其风险。但如果我们迅速反应、迎接挑战，我们可以利用AI创造一个比以往任何时候都拥有更强大、更持久的自由保障和更好的抵御威胁能力的世界。

落入坏人之手的强大AI可能成为专制统治的终极工具，而我们现有的法律和宪法保护措施并不完全具备应对这一威胁的能力。从根本上说，智力在世界上带来的巨大权力回报，加上AI快速发展的步伐，为各种危险行为者突然夺权创造了完美风暴⁷。

危险可能采取各种具体的技术或操作形式，但它们都有一个共同点：AI可能突然赋予巨大的权力，同时绕开现有的民主监督机制。一个今天听起来像科幻小说的全自动无人机军队，未来可能会服从非法命令，让政府单方面巩固其权力；而受过专业训练的人类更可能反对这种非法指令。一个专注于监控的AI可以大规模分析广泛可得的信息，并利用它来推断每个公民最私密的生活细节——这是当前公民自由法律未曾设想的技术能力。所有这些都可能非常迅速地或秘密地发生，因此，主动加强民主国家对自由和公民自由的承诺非常重要。

以下是一些我们应该考虑的政策思路：

• 为完全自主武器制定可靠的问责规则。自主武器，特别是任何协调或指挥它们的自主系统，应该被要求回应宪法和指挥问责机制，而不是盲目服从命令。这可能意味着一个设计合理的法律审查小组或司法部门掌握着“关闭开关”，或者这些系统本身在本质上被训练来寻找并回应合法的监督机构，或者两者兼有。
• 禁止在国内使用完全自主武器。虽然为了抵御外国对手，使用完全自主武器有合理的必要性，但没有理由将它们用于对付美国人。军方在国内行动的能力已经有一些限制，但这些武器最好也在执法中被禁止。
• 堵住批量收集/数据经纪人的漏洞。根据现行法律，美国人分享给私营公司的数据可以被购买并用于国内监视和执法中的批量分析。这个隐私保护上的漏洞早于AI，但AI将通过使对此类数据的批量分析比过去更具揭示性和有用性，而大大增加其风险。这个漏洞应该被堵上。
• 在政府不利行动中，公众获得AI建议的权利。作为一个普遍原则，任何成为政府不利行动主体的个人或组织，都应该能够获得至少与政府在该特定行动中被允许使用的AI同等能力的AI。这意味着不让政府获得不公平的优势，从而实质上削弱公民的合法权利。这可以作为对《行政程序法》、正当程序保护或第六修正案中法律代表权的延伸或解释来补充。

最后，值得注意的是，在AI驱动的权力夺取方面，政府并不是我们唯一应该警惕的实体。在历史上的不同时期，公司变得足够强大，以至于能够俘获国家或采取准国家特征。AI很快就会变得如此强大，以至于我担心它不能安全地被完全托付给政府或公司，必须有针对彼此的制衡。

监管是约束公司的一种方法，但AI公司拥有比典型私人实体更多的权力分离和问责制也很重要。Anthropic的长期利益信托基金就是这样一个结构，业界应该继续探索更进一步的机制。找到正确的平衡——让公司和政府都对其权力有意义的制衡——至关重要。

5. 确保民主国家的领导地位

根据最近在互联网和电信领域的经验，人们常常本能地从地缘政治角度将新技术视为贸易政策的工具，目标是“将我们的技术栈传播到世界各地”。但我坚信，AI的意义要深远得多，它重置了整个棋局，所有未来的地缘政治战略都必须围绕它来制定——就像核武器一样，甚至可能更甚。

如果AI真的很快就会成为“一个数据中心里的天才之国”，或者任何接近于此的东西，那么AI很可能成为任何国家军事和经济力量的主导来源。在一个拥有1亿天才的虚拟国家里，可以分配1000万用于军事战略，1000万用于无人机制造，1000万用于武器研发，1000万用于情报收集和分析，1000万用于一般科学进步，等等。一个拥有强大AI的国家面对一个没有AI的国家——甚至面对一个在AI方面落后3年的国家——可能相当于一支二战海军陆战队面对一支中世纪剑士军队。

此外，如果强大AI能够实现更深层次且可能是永久性的专制压迫形式，这就使得世界上最有影响力的国家是民主国家变得更加重要——或者至少存在防止AI驱动的压迫的强大保护措施。这也增加了采取重点地缘政治战略的紧迫性。

民主国家应该寻求形成一个全球联盟，核心是按照其共同价值观构建AI，通过使成为联盟一部分变得越来越有吸引力、而置身其外变得越来越没有吸引力，来迭代地试图吸引世界其他国家加入。该联盟应该是第1至第4节讨论的AI政策思路的协调国际化，再加上一项努力，即通过联盟内部共享并拒绝联盟外部获取来锁定构建AI所需的关键供应链。一些原则和运营目标可能包括：

• 管理AI供应链。可信联盟的成员应相互自由共享芯片和半导体制造设备，同时合作阻止对手获得。
• 协调应对AI的风险。第1节中描述的应对生物、网络安全和自主风险的政策，如果能在国际上协调，将更加有效。这意味着公司可以遵守兼容的标准，监管机构可以相互学习如何最好地衡量和缓解这些风险。执法和情报机构也应该更紧密地合作，追踪和破坏滥用威胁，例如恐怖分子利用AI制造生物武器的企图。
• 分享AI的益处。贸易和监管政策可以用来促进AI的经济利益在联盟内部更快地传播，分享关于如何加速创新的经验教训。协调有益的部署方法有助于将AI的益处带给发展中国家。例如，医疗审批制度的协调可以导致对AI赋能的药物进行更快更好的测试和批准。
• 共同防御。联盟中的国家应共同努力，利用AI相互防御，并防御来自对手的AI。联盟应共同确保AI主导的网络防御、AI驱动的无人机、AI驱动的制造业、机密AI计算、AI驱动的研发以及AI驱动的情报收集的充足生产。
• 拒绝AI驱动的压迫。联盟成员必须拒绝我在《技术的青春期》中警告过的高科技、超压迫性的、AI驱动的暴政，并且必须具备类似我在第4节中描述的保障措施。
• 宏观经济合作。就业或工作稳定性的危机，像任何其他经济危机一样，可能会跨越国界传播。因此，各国在共同努力协调宏观经济支持和稳定政策方面具有共同利益，以抵消任何就业影响。

目标应该是使联盟成员资格尽可能有吸引力——并让留在联盟外的代价变得清晰。该联盟将建立在主权国家之间的协调基础上，每个国家对其自身事务保持完全权威。它可以迭代发展，从意识形态一致的民主国家开始，并逐步欢迎那些不太自然一致但准备满足联盟标准以换取成员资格巨大利益的国家。理想情况下，整个世界最终都会加入。但即使这不可能，建立联盟也能使民主国家处于最有利的地位，以遏制和超越那些仍然致力于压迫的政权。

机会之窗

AI的指数级进步带来了紧迫性和变化的速度，而通常的政策制定过程难以应对。但它也创造了一个独特的机会之窗。AI风险的清晰且当前的证据、对AI创造经济价值和造成经济混乱潜力的初步体验，以及公众对AI放任自流方法的强烈反对，这些因素结合在一起，创造了一个政策制定者异常愿意接受前瞻性行动的局面。树须和他的森林正在苏醒。

在AI行业圈子裡，流行将这种情况视为公关问题：认为AI需要“更好的营销”。我完全拒绝这种框架。人们担心AI，是因为他们正确地认识到AI的风险是真实的，而不是因为AI的CEO们不够乐观。我相信，作为AI领导者，我有责任继续对这些风险保持透明，而公众对这种透明的担忧正是民主问责应有的运作方式。关键的挑战是将这种担忧集中在建设性的解决方案上，而不是让它沦为无形的愤怒和暴力。

我对找到解决方案持乐观态度，因为从解决失业问题，到模型发布前测试，到芯片出口管制，再到能源使用等其他AI相关政策问题，许多这些问题在各个政治派别中都具有常识性的吸引力。存在一个令人向往但现实的未来世界，在这个世界里，一个广泛的、由对AI带来的挑战的直接认识所驱动的无党派联盟，导致明智和前瞻性的政策被比平常更快地采纳。我们越早这样做，就能越早共享AI令人难以置信的益处。

我要感谢Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson以及Anthropic的许多员工，感谢他们对本文草案的评论和反馈。

脚注

¹ 我在《技术的青春期》一文中讨论了生物和自主风险等。Anthropic Institute还在《当AI构建自身》中发布了一些关于递归自我改进或模型能够自主构建更好模型可能性的初步内部数据。

² 这种现象并非理论上的：我们已经在自己的自愿治理框架中多次观察到这一点。如果我们为未来的AI模型设定固定或僵化的安全要求清单，一个非常可能的结果是，最终证明无关紧要的要求消耗了我们95%的合规努力，而同时我们发现一些最大的风险来源根本不在我们的清单预期之内。自愿框架可以改变和调整，但立法更难做到这一点。我在关于SB 1047的两封公开信中尝试应对这一困境，该法案试图应对灾难性风险，出于上述原因，我对此心情复杂。

³ 例如，真正严重的生物风险可能比网络风险更难管理，因为攻击者相对于防御者具有强大优势，而且灾难的严重性可能大得多。

⁴ 参见《技术的青春期》以获取更详细的分析，说明为何导致其他技术中劳动力市场快速复苏且缺乏持久失业的逻辑可能不适用于AI，特别是为何像杰文斯悖论或比较优势这样的常规适应机制可能会被技术的发展速度所压倒。

⁵ 例如，人们仍然毕生致力于下棋，或围棋，或登山，并因这些活动而受到尊敬，尽管所有这一切机器都能做得更好。

⁶ 这本质上是给人们一个额外的激励，让他们迁移到新工作并开始为新职业阶梯接受培训，即使短期内可能会很痛苦，如果新工资较低，就支付他们新旧工资之间的差额。

⁷ 更多关于此主题的内容，请参见《技术的青春期》。