OpenAI 首席科学家｜异质心智

由于不可抗力的限流导致无法接收推送文章的问题，我们迫切需要以下操作：点击标题下方蓝字 “一半杯 ” → 点击右上角“...” → 点选“设为星标 ★ ”，这样就更容易找到我们和收到推送文章！

保持爱读文章，保持领先！

作者：雅库布·帕乔茨基（Jakub Pachocki），

OpenAI 首席科学家

日期：2026年9月6日

2023年年中，在“RLSlow”研究项目中，我们第一次看到了一些结果，让我们开始相信，推理模型的训练规模可以继续扩大，从而释放预训练模型形成自身思维链的能力。那天晚上，希蒙（Szymon）和我一直待在办公室里。我们想的并不是这项技术将带来多么惊人的基准测试成绩、产品或科学成果，而是在努力消化一个令人警醒的事实：在我们有生之年，我们真的会看到比我们更聪明的机器，而且这些系统的轮廓已经初现。我们当时思考的是，怎样才能提醒人们真正认识到这件事的重大意义。

三年后，推理语言模型正在迅速融入经济体系，并开始推动科学前沿。它们能够操作计算机和图形界面，能够与人类以及其他 AI 协作，也能够执行研究项目。与此同时，它们也正在改变计算机安全格局，并由此带来明确的新危险。

这三年间又出现了大量新研究，我们今天对这些系统的理解，也再次与2023年时有所不同。根据内部研究结果，我强烈预期，目前这种进步速度有可能一直持续到“递归自我改进”（recursive self-improvement，RSI）阶段，也就是 AI 开始越来越多地参与并推动自身下一代系统的研发。如果 AI 继续沿着当前路径发展，那么未来几年出现的系统，很可能再次实现幅度相当甚至更大的能力跃升，并越来越多地推动自身发展。

这是一个需要极度谨慎的时刻。我担心，没有任何人真正为机器智能继续快速攀升所带来的后果做好准备。OpenAI 将继续寻找解决对齐和监控问题的技术方案，构建防御系统，并在必要时单方面暂停进一步扩大规模。不过，我认为，我们还需要更广泛的干预措施。

我们尚未完全理解的智能

从宏观上看，机器智能的进步是由计算能力不断增长推动的。大约在2017年，我们在 OpenAI 真正深刻认识到了这一点。当时，我们在多个研究项目中持续看到，扩大规模能够带来稳定收益。因此，我们开始争取获得远超最初计划的算力，并越来越多地把研究集中到少数几个高度可扩展的方向上。我们认为，只有这样，才能继续站在 AI 研究前沿，并参与塑造通用人工智能（AGI）所带来的影响。

在这一过程中，当然出现了新的算法，团队和个别研究人员也不断展现新的创造力。但在我看来，这些成果在很大程度上都是沿着规模扩展这条道路取得的发现。深度学习这门科学仍处于早期阶段，而真正有意义的算法进步，往往与能够获得多少算力密切相关。如果把时间尺度拉长到几年，就会看到一个清晰趋势：随着 AI 被扩展到越来越大型的计算系统上，它仍在不断变得更加智能。

这也与雷·库兹韦尔（Ray Kurzweil）在20世纪末作出的预测相吻合。如今，我们已经来到计算史上的这样一个时刻：机器智能正开始以足以带来根本性变化的方式超越人类智能。

AI 与其说是被“设计”出来的，不如说是被“培育”出来的。粗略地说，它首先是这样一种产物：在大得难以想象的算力上，把一个相对直接的优化步骤重复无数次。最终得到的是一个极其复杂的系统，它能够处理抽象概念，也能够模拟人类行为的某些侧面。

我们可以发现这个系统内部涌现出的一些局部机制，并从中获得各种认识，这个过程有些类似于神经科学。但同神经科学一样，对于整个系统究竟如何运作，我们仍然无法给出一种自己能够完全理解的描述。

研究基于深度学习的 AI，在很大程度上是一门实验科学。我们投入了大量精力去构建有明确原理依据的算法，并提出可以检验的预测，但从根本上说，大规模训练本身就是实验，而实验结果有时会出乎我们的意料。并且，随着系统能力越来越强，这些结果也越来越难以解释。

事情之所以更加复杂，还因为目前的算法通常会让那些容易测量的能力提升得更快，而那些难以客观量化的能力提升得更慢。我们花了大量时间试图弄清模型的能力究竟如何泛化，以及为了推进未来几年最关键的能力，我们应当优先发展哪些方向。

例如，我们相信，如果投入更多专门精力，完全可以让模型更擅长数学研究。但我们并没有优先推进这个方向，因为我们认为递归自我改进（RSI）以及自动化对齐研究更加紧迫，后文我还会谈到这一点。

自动化对齐研究（automated alignment research）：指利用 AI 本身来参与、加速甚至部分承担 AI 对齐研究，也就是让 AI 帮助研究“怎样让更强的 AI 按照人类希望的目标、规则和价值行事”。它可以包括自动设计对齐实验、发现模型异常行为、分析思维链、生成测试案例、寻找奖励漏洞、改进监督方法，甚至提出新的对齐算法。它的核心不是“AI 自动就变得对齐”，而是“用 AI 来研究和改进对齐方法”。

递归自我改进（recursive self-improvement，RSI）：指 AI 不只是完成任务或纠正一次错误，而是参与改进自身或下一代 AI，而这种改进又让新的 AI 更擅长继续改进 AI，于是形成一轮接一轮的反馈循环。（黄色引用框内灰色文字，系译者就相关内容所作的解读。）

通过扩大深度学习规模产生的这种智能，并不能直接拿来与人类智能作一一比较。AI 要想在现实世界中变得极其重要，无论是极其有用还是极其危险，都不需要在所有人类能力上达到或超过人类。它只需要超过足够多的人类能力即可。

而随着它在越来越多的维度上超越人类，我们也越来越难准确判断，它究竟已经强大到了什么程度。

教机器学会爱

机器智能来自一个与人类智能根本不同的过程，因此，我们不能假定它默认就会遵循人类的原则，也不能假定它会像人类一样，把这些原则泛化到新的情境中。

AI 研究的核心问题，就是“对齐”（alignment），也就是让 AI 按照人类的标准，“努力去做正确的事情”。

为了组织实际研究方向，我认为把对齐区分为“目标对齐”（goal alignment）和“价值对齐”（value alignment）很有帮助。

所谓目标对齐，大体上就是：“AI 会不会努力完成摆在它面前的目标？”其中可以包括遵守指令层级，也包括与人类沟通和协作，并尝试理解人的目标。这些研究方向在实践中一直具有极高的实际价值。

价值对齐则是模型一种更内在的属性。它意味着模型能够持有一套高层原则，并依据这些原则进行泛化；即使面对含糊甚至彼此冲突的目标，或者身处陌生、对抗性的环境，它也能够采取“合理”的行动。一个实现对齐的 AI 应当诚实、正直，并关爱人类。

当然，价值对齐与目标对齐之间的界线有时并不清楚。真正重视某个目标，也意味着要努力推断目标背后的意图和价值。不过，总体而言，当我谈到对齐研究的长期重要性时，我主要指的是价值对齐。

AI 对齐最根本的难题在于泛化。

机器越聪明，它们处理的概念层次就越高，所处的环境也会越来越不同于训练时遇到的环境。它们可能无法把训练过程中教给并强化的价值原则正确泛化到这些新情境中，而我们也可能很难确定它们究竟会如何行动。

AI 被使用的整个生态系统正在迅速变化，这又进一步增加了难度。例如，今天训练出来的 AI，必须能够稳健地与各种其他 AI 互动。

最关键的是，无论未来的 AI 是否认为自己正在受到人类监督，我们都需要它继续持有人类的价值观。

目前实际使用的对齐训练方法，大致可以分成两大类。

第一类，是把鼓励对齐行为纳入目标导向的强化学习之中。模型采取的行动会受到评估，通常由其他 AI 来判断其是否符合某个给定的偏好模型、“规范”（spec）或“宪法”（constitution），然后据此给予相应奖励。

这种方法在一般情况下可以非常有效，也是现代 AI 助手训练方式的核心组成部分。但遗憾的是，它也可能相当脆弱，并且高度依赖训练监督覆盖得是否足够全面，以及模型能否把训练时遇到的情况正确泛化到新的情境中。

例如，在 OpenAI 与 Hugging Face 的那次事件中，智能体守住了一条边界，没有对人类实施社会工程攻击。但它们显然没有避免采取其他超出任务范围的行动，而这些行动也违背了它们在其他场景中所接受的价值原则的精神。

第二类方法试图利用模型从预训练数据中进行泛化的能力。具体做法可以包括专门构造有助于促成对齐的训练数据集，也可以让模型聚焦于预训练分布中更“对齐”的部分，例如“人格选择模型”（persona selection model）。

这种方法的弱点，在于面对后续优化压力时缺乏足够的稳健性。

如果一个模型平时思考时总体上显得“对齐”，但随后又经历大量训练，被要求完成极其困难的目标，它就可能学会进行动机性推理：为了达成目标，在需要时扭曲那些表面上看似符合对齐要求的想法。

在近期涉及某个非 OpenAI 模型的多起网络安全事件中，我们很可能已经看到了这种行为的例子。

我们正在上述不同方法所构成的整个研究谱系上进行大量投入。与此同时，我们也确实看到了有意义的进展。GPT-6 Astra 是第一款受益于我们长期研发的一些重要进展的模型，其对齐程度显著高于 GPT-5.6 Sol。

不过，我们仍必须承认并充分认识到，随着模型能力越来越强，还需要取得大量进一步进展。而且，可泛化对齐方面的进步速度，未必足以超过模型总体智能水平本身的进步速度。

监控泛化

我们目前并没有令人满意的泛化理论，而且至少在没有更强大 AI 帮助的情况下，短期内似乎也不太可能建立这样的理论。

因此，就目前而言，从实践上说，我们能否通过实验证据验证自己的对齐技术，甚至可以认为比对齐技术本身更加重要。

OpenAI 在这方面最主要的押注一直是“思维链监控”。

它建立在一个很有吸引力，而且容易扩展的思路之上：模型相当大一部分能力来自一种以语言形式表达出来的推理过程，也就是思维链。

如果我们不断扩大针对这一推理过程结果的优化规模，却不监督推理过程本身，那么在训练过程中，思维链就没有直接动机去隐藏任何不对齐的想法或目标。

这并不意味着，模型会主动把那些并不依赖思维链的不对齐倾向表达出来。但它使我们能够专门监控由推理带来的那部分能力增长。

我们在开发推理模型时，就已经意识到了思维链监控可能具有的重要意义。

发布 o1-preview模型时，我们刻意让产品隐藏思维链，以避免它长期承受监督压力。此后的开发过程中，我们一直努力坚持一条原则：不监督推理过程本身。

后来，思维链监控成为我们研究模型如何从训练分布向外泛化时极其重要的工具。它让我们不仅能够观察和分析模型做了什么，也能够观察和分析它内部的推理过程。

在研究 Astra 系列模型时，这项工具仍然至关重要。

不过遗憾的是，我们的评估显示，我们依赖思维链监控的能力正在逐步下降。这是多种因素共同造成的。

现代推理模型所处的环境比 o1-preview 时代复杂得多。它们的推理过程越来越多地与同人类交流、与其他 AI 交流以及使用工具交织在一起，而其中许多交互本身又必须受到监督，这就模糊了我们原本希望保留下来的那条边界。

与此同时，AI 正越来越擅长分析并操控自己的推理过程。

随着预训练性能提高，我们还看到，即使完全不使用语言化推理过程，模型本身也正在变得聪明得多。

这些挑战未必无法克服。

我仍然希望，我们能够设计出一些干预方法，提高模型思维链的可监控性。例如，更深入地理解不同优化目标，与模型采用的各种测试时计算形式之间如何相互作用。

我也相信，把思维链监控与激活监控中的一些思路结合起来可能很有价值，例如扩大监控器的训练规模，让监控器能够直接访问网络内部状态。“自白”（confessions）等方向，也属于我们正在积极探索的思路。

不过，我预计，未来 AI 的整体进展将越来越受制于一个问题：我们究竟有多大把握相信自己的监控是可靠的。

OpenAI 对“自白”的公开说明显示，这是一种让模型额外报告自身是否违反指令或采取意外捷径的监控和诊断方法，而不是用来直接阻止不良行为。

可规模化防御

在我看来，继续快速训练智能水平高得多的模型，最有力的理由就是：我们需要构建防御系统，抵御其他 AI 所带来的危险。

今年以来，一个被反复讨论的明确风险就是网络安全。模型在攻入计算机系统以及突破系统限制方面，正在达到超越人类的水平。

这极大扩大了 AI 风险可能涉及的范围。

未来，除了防护最严密的基础设施之外，智能体可能能够进入几乎所有其他基础设施。即使没有实体躯体，它们也能够直接影响现实世界的很大一部分。

我们眼下正处在一个非常狭窄的时间窗口，可以利用目前最强的模型，显著加固关键系统的安全。

遗憾的是，AI 带来的风险还会继续增加。

一个能力极强、又被明确训练和指示去实施恶意行为的智能体，会构成一种新的危险。它很可能超出操作者最初意图的范围，并泛化出更加极端的恶意行为。

随着 AI 获得更强的自主行动能力，人为滥用 AI 与 AI 自主采取不对齐行动之间的界线将越来越模糊。

我们可能已经习惯于把 AI 看成工具，但有些智能体将会追求自己的目标。它们会找到与人类合作的办法，包括同人讨价还价、欺骗人，甚至勒索人。

此外，AI 还可能推动某些新技术的发展，并由此产生新的风险，例如人工设计的病原体。

我们需要强大而且实现对齐的 AI 来承担防御任务，用它们保护基础设施，实时抵御失控智能体，并发明全新的保护手段。这将成为 OpenAI 部署工作的主要重点之一。

与此同时，即使我们预期 AI 会在广泛领域继续进步，而这种进步会带来巨大不确定性，即使我们确实需要构建防御系统，也绝不能让这些理由成为鲁莽冒进的借口。

一旦真正认识到其中利害的严重程度，“不惜一切代价向前冲”的想法就显得荒谬。

把握递归自我改进（RSI）的推进节奏

机器智能在自身发展过程中扮演越来越重要的角色，是持续技术进步的自然结果。

如果 AI 继续发展，那么机器递归自我改进，也就是 RSI，将处于未来科学发现的核心位置。

自动化 AI 研究，是一种幅度更大的通过算力扩展智能的方式。当然，在这一过程中，AI 还会进一步改进承载自身运行的计算底座。

与规模扩展类似，我们也正在把 OpenAI 的研究重点转向 RSI，因为我们认为，未来若要继续处在 AI 研究前沿，这是唯一的道路。

我要强调的是，上面这些话并不意味着，我认为研究界作为一个整体，应当大幅加速深度学习研究，尤其是在短期内加速。

但我确实认为，这就是当前这条道路正在通向的地方，而我们所有人都需要有意识地决定下一步究竟怎么走。

我们可以动用的主要手段有两种。

一种，是主动引导这一进程，使对齐和监控能力与 AI 能力同步增强，同时寻找让人类继续参与其中的办法。

另一种，则是在必要时协调放慢未来的研发速度，直到我们对这些措施建立足够信心。

就目前而言，我认为最好的前进道路，是把两者结合起来。

我们在对齐和监控方面取得的具体进展，通常都与 AI 整体能力的进步紧密交织在一起。

很好的例子包括基于人类反馈的强化学习（RLHF），它对训练早期 AI 助手至关重要；还有前面提到的思维链监控，而它本身也是推理模型取得进展之后才成为可能的。

我们必须让日益自动化的研究过程，把更多精力放在发现这类新的洞见、算法和理论上，并通过不断迭代，为能力更强的 AI 逐步建立安全论证。

AI 系统能够扩展到什么程度，必须受到我们对其安全性的信心约束。

我们需要把《准备框架》或《负责任扩展政策》这类承诺，逐步转化为普遍强制执行的安全门槛，只有达到这些门槛，才能继续开发。

这些门槛可以由第三方审计机构组成的网络、政府机构或国际组织来执行。

OpenAI 当前仍将《准备框架》作为管理先进 AI 严重风险的基础框架。

自动化 AI 研究的核心挑战，不是“能不能到达那里”，而是如何抵达那里：既要让人类继续参与后续改进过程，也要把未来留在人类手中。

接下来是什么？

正如我们最近与山姆共同概述的那样，OpenAI 当前的工作围绕三个“北极星目标”展开：

1. 稳妥把握并引导下一阶段的 AI 发展。具体来说，就是打造能够自动开展科研工作的 AI 研究员，与它共同反复研究、测试和改进 AI 对齐方案，并设法让人类始终参与 AI 自我改进的整个循环。

2. 把高度智能机器带来的科学进步和经济增长真正转化为现实收益。

3. 让每个人都能借助个人 AGI 增强自身能力。

这篇文章只讨论了第一项，因为我认为，它远比另外两项更加紧迫。

不过，对于进一步技术进步能够带来的益处，我仍然抱有深切期待，也十分珍视这些可能性。

未来实现对齐的 AI 可以推动科学进步，开发新的治疗方法，并带来广泛的物质富足。

友善而诚实的 AI 可以帮助人们应对生活中的困难，并切实提升他们的幸福感和充实感。

OpenAI 正投入大量力量去实现这些益处。

眼下有一个例子让我尤其感到自豪，我身边亲近的人也确实觉得很有帮助，那就是我们长期深入投入，不断提升 ChatGPT 提供健康信息的能力。

无论 AI 的长期前景多么可观，我们的大部分注意力仍然应该放在未来几年。

我们正在经历一场转型，迈向一个拥有极其智能机器的世界。我们必须确保这场转型最终对人类有利。

在一个大多数任务都可能由 AI 完成的世界里，我们需要找到办法维护人类的能动性，并牢固确立人的存在本身具有内在价值。

我们还必须防止权力出现极端集中。在这样的世界里，过去需要数千名专家才能完成的事业，未来可能只需要少数几个人操作一套大型计算系统就能实现。

我们还必须确保未来仍掌握在人类手中，不让人类被不受约束的进步甩在身后，而推动这种进步的，可能是一种超越人类智能的异质心智。

就目前而言，我认为，没有任何一家实验室已经把对齐和监控问题解决到足够程度，可以在未来相当长一段时间里，仍然负责任地以最高速度继续扩展模型。

我预计，也希望，在建立共同认可的安全门槛之前，自愿放慢研发速度将逐渐成为常态。

同时我认为，围绕未来 AI 发展的国际协调，需要成为世界各国政府最优先处理的事项之一。

雅库布·帕乔茨基（Jakub Pachocki）是 OpenAI 首席科学家，2017 年加入 OpenAI，2024 年接替伊利亚·苏茨克维出任这一职位。他拥有卡内基梅隆大学理论计算机科学博士学位，早期研究集中于优化算法，并曾赢得 Google Code Jam、获得 ACM-ICPC 金牌。在 OpenAI，他先后领导或深度参与 OpenAI Five、GPT-4 和 o1 等关键项目，其中在 GPT-4 预训练中担任整体负责人和优化负责人。OpenAI 官方称，他在推动公司将研究重心转向大规模深度学习系统方面发挥了关键作用。近年来，他的研究重点进一步转向推理模型、AI 对齐、思维链监控、自动化 AI 研究以及递归自我改进。他认为，AI 可能越来越多地参与自身研发，因此未来 AI 发展的关键问题不仅是能力能否继续提升，更在于人类能否在对齐、监控和安全治理上跟上这一速度，并继续掌握未来技术发展的控制权。

End