arXiv：从“种子AI”到技术奇点

导语

如果有一天，人工智能不再依赖人类工程师更新版本，而是能够阅读、理解并重写自己的代码，会发生什么？从图灵提出“儿童机器”的设想，到“智能爆炸”“技术奇点”等经典理论，递归自我改进（Recursive Self-Improvement，RSI）始终被视为通向超级智能最具想象力的路径之一。然而，一个能够不断优化自己的系统，真的能够无限变强吗？它会受到哪些计算、物理与逻辑边界的约束？本文系统梳理了递归自我改进的发展脉络，厘清自修改、自我改进与RSI之间的本质差异，分析其实现路径、理论瓶颈与安全挑战，并进一步讨论RSI收敛理论、自指悖论、目标保持等核心议题，揭示AI真正的挑战或许并非“如何变得更聪明”，而是“如何在不断改写自己的过程中，仍然保持可理解、可验证与可控制”。

关键词：递归自我改进（Recursive Self-Improvement）；自修改代码（Self-Modifying Code）；自修改软件（Self-Modifying Software）；自修改算法（Self-Modifying Algorithm）；自生智能（Autogenous Intelligence）；引导谬误（Bootstrap Fallacy）；技术奇点（Technological Singularity）；种子AI（Seed AI）；人工通用智能（Artificial General Intelligence, AGI）；智能爆炸（Intelligence Explosion）

彭晨丨作者

赵思怡丨审校

论文题目：From Seed AI to Technological Singularity via Recursively Self-Improving Software 论文链接：https://arxiv.org/abs/1502.06512 发表时间：2015年2月23日 论文来源：arXiv

多年以来的宏大设想：“会自我迭代的AI”

人工智能领域有一个持续数十年的设想：真正强大的AI，也许不是靠人一步步制造出来的，而是由一个初始系统自己不断优化、升级而来。这个初始系统常被称为“种子AI”（Seed AI）。它拥有一个关键能力：能够理解自身的设计，并尝试产生一个更强版本的自己。

这正是本文讨论的核心问题：软件是否可能通过递归自我改进（Recursive Self-Improvement, RSI），从一个初始智能系统逐步走向超级智能，甚至引发所谓技术奇点（Technological Singularity）？

这一思想可以追溯到人工智能史的源头。早在1950年，艾伦 · 图灵就提出，与其直接模拟成人心智，不如先模拟儿童心智，再通过教育让它成长为成人智能。这个想法已经隐含了“从较弱系统成长为较强系统”的逻辑。后来，I. J. Good进一步提出“智能爆炸”（Intelligence Explosion）的概念：如果一台机器能够在智力活动方面远超人类，而“设计更好的机器”本身也是一种智力活动，那么这台机器就可能设计出更强的自己；如此递归下去，人类智能将被远远甩在后面。

Minsky与冯·诺依曼也表达过类似判断：一旦程序具备真正的自我改进能力，世界将进入一个完全不同的阶段。本文正是在这一思想传统上展开，试图追问一个更基础的问题：怎样算“自我改进”？怎样算“递归自我改进”？这种过程是否真的可能？如果可能，它会受到哪些计算、物理、逻辑和安全限制？

从自修改到递归自我改进

为了避免概念混乱，首先需要区分三类看似相近、实则不同的软件改进：自修改（Self-Modification）、自我改进（Self-Improvement）和递归自我改进（Recursive Self-Improvement）。

最基础的一类是自修改软件（Self-Modifying Software）。这类软件会改变自己的代码形式，但不一定让自己变得更好。例如，恶意软件可能通过多态代码（Polymorphic Code）或变形代码（Metamorphic Code）改变自身外观，以躲避检测；商业软件也可能使用代码混淆（Code Obfuscation）防止逆向工程。这里的“修改”主要是外观层面的，它并不真正改变底层算法，更谈不上让软件在能力上出现实质提升。

第二类是普通意义上的自我改进或自适应软件（Self-Improvement / Self-Adaptation）。这类系统已经相当常见，例如遗传算法（Genetic Algorithms）、遗传编程（Genetic Programming）、元学习（Metalearning）、终身学习（Lifelong Learning）等。它们可以根据环境、用户或任务反馈调整参数，优化性能，甚至在候选方案之间进行内部竞争。例如，一个系统可能通过不断试错，找到更适合某个任务的数据结构、参数组合或策略。这样的改进是真实存在的，但作者强调，它通常局限在既定算法框架之内，难以彻底替换原有思路。

第三类才是本文真正关注的递归自我改进（Recursive Self-Improvement, RSI）。它的关键不只是“变得更好”，而是“变得更擅长让自己变得更好”。换言之，一个RSI系统在第一个版本中能够产生第二个版本，而第二个版本不仅能力更强，还应该比第一个版本更擅长设计第三个版本。如此循环，改进本身也被改进。

这正是RSI与普通优化的根本差异。普通优化往往会遭遇边际收益递减：最初可以找到很多“低垂的果实”（low-hanging fruit），但之后提升越来越小，最终趋于停滞。以元编译或超级编译（Metacompilation / Supercompilation）为例：如果一个编译器用来优化自己的源代码，第一次可能带来明显速度提升，第二次提升变小，几轮之后就会收敛到几乎没有提升的固定点。相比之下，真正的RSI理论上不会只是走向固定点，而是可能一次又一次彻底替换原有算法框架，进入开放式自我提升。

无限硬件资源不等于迎来RSI

几乎任何系统，只要增加内存、处理器、传感器分辨率或网络带宽，都可能运行得更快、处理更多信息。但这只是线性扩展，不是RSI。真正的RSI要求系统不仅能使用更多资源，还能设计出更好的资源利用方式，甚至发明新的算法结构。举例来说，如果一个AI系统只是购买更多内存，它并没有变得更擅长改进自身；只有它能够设计一种更快、更高效的新型存储机制，或者创造一种过去不存在的学习算法，这才接近RSI的要求。因此，在作者看来，硬件提升主要让系统“跑得更快”，而软件层面的新算法才可能带来元层级的能力跃迁。

这也解释了为什么AI被认为可能比人类程序员更适合推动RSI。作者整理了人工智能系统相较人类的一系列潜在优势：AI不需要睡眠、休假或休息，可以长时间连续工作；它可以吸收几乎所有公开知识，具备跨学科专家水平；它的通信速度、复制能力、代码可编辑性和协同能力都远超人类；它还可能比人类更少受到认知偏差影响，并能够直接观察和修改自身源代码。

这些优势构成了“AI可能自我超越”的直觉基础。人类程序员需要通过外部工具、语言和团队协作来理解和改进软件，而一个足够先进的AI或许可以直接将自身作为研究对象，读取、分析、测试并重写自己的内部结构。问题在于：这种设想在理论上是否成立，在计算上是否可行，在安全上是否可控？

递归自我改进可能如何发生？

作者认为，RSI系统可以按“改进发现方式”分成两条主要路线。

第一条路线是暴力搜索式方法（Brute Force Approach）。这种思路类似于在所有可能的程序空间中寻找更优程序。理论上，Levin搜索（Levin Search）或通用搜索可以枚举某个长度范围内的所有代码字符串，并寻找能够被证明优于当前系统的候选方案。更形式化的版本包括哥德尔机（Gödel Machine）、最优有序问题求解器（Optimal Ordered Problem Solver, OOPS）和增量自我改进器（Incremental Self-Improvers）。这些方案在理论上很有吸引力，因为它们试图保证：如果更好的程序存在，系统最终能够找到它。然而，这类方法在实践中面临巨大的计算不可行性。程序空间太大，验证一个程序是否真正“更智能”又极其困难。因此，暴力搜索更多是理论基准，而不是短期可实施路径。

第二条路线是工程科学式方法。也就是说，系统本身具备一定科学能力，可以像研究者一样提出假设、设计实验、测试新架构，并最终制造出更强的替代版本。这一路线更接近我们对“智能系统”的直觉：它不是盲目枚举所有程序，而是利用已有知识缩小搜索空间，用科学推理指导自我改造。但是，这里存在一个根本开放问题：一个系统是否能够有意设计出比自己更强、更复杂的系统？如果它能设计出更强系统，那么它是否已经在某种意义上具备了那个更强系统的能力？这就是RSI研究中的“引导谬误”（Bootstrap Fallacy）或“自举难题”：系统如何靠自己把自己拉到更高层级？

文章还讨论了第三种混合路径：人类与AI共同构成间接递归改进系统（Indirect Recursive Improvement）。今天的AI发展在某种程度上已经是这种模式：人类研究者借助越来越强的软件工具开发更强AI。但由于人类自身并未被同步增强，这还不能算严格意义上的RSI。真正的直接RSI（Direct RSI）要求系统自己承担全部自我修改过程。

RSI的边界：物理、算法与逻辑

文章没有沉迷于“智能爆炸”的想象，而是系统梳理了RSI可能遭遇的限制。

首先是物理限制。任何软件都需要硬件承载，包括存储、通信和信息处理。即使未来出现量子计算或非冯·诺依曼架构，计算仍然受到光速、能量、量子噪声和引力常数等基本物理规律约束。文章引用Bremermann、Bekenstein、Lloyd、Aaronson等人关于终极计算极限（Ultimate Limits to Computation）的研究，指出宇宙中的物质、能量与信息处理能力之间存在根本联系。因此，无论RSI多么强大，它都不可能无限突破物理边界。

其次是软件和算法限制。智能不是一个孤立数字，而是体现在解决问题的能力上。对于某些问题，例如跳棋，一旦已经被完全求解，就不存在进一步提升空间；对于另一些问题，如停机问题（Halting Problem），无论智能多高都无法一般性解决。还有大量现实问题属于计算复杂度极高的类别，即便拥有更强智能，也可能只能依靠更多计算资源获得近似解。这意味着，RSI不一定会无限提高“解决一切问题”的能力。很多问题本身就有上限、无解性或近似性。即使智能系统不断变强，它也可能只是更快、更可靠地解决可解问题，而不是突破所有计算边界。

第三是验证困难。一个系统若要改写自己，就必须判断新版本是否真的更好。但“更好”并不容易定义。一个程序可能更擅长下棋，却更不擅长扑克；一个AI可能在推理能力上增强，却在安全约束上退化。作者称这种困难为“优化的多维性”（multidimensionality of optimization）。没有任何改变是纯粹的改进，几乎所有改变都是多维权衡。

第四是自指逻辑难题。RSI系统必须推理关于自身的命题，判断自己修改后的版本是否仍保持原有目标。这会遇到勒布定理（Löb’s Theorem）、自我引用悖论（Self-Reference Paradox）、拖延悖论（Procrastination Paradox）等问题。一个系统如果不能证明自身推理体系可靠，就难以证明修改后的自己仍然安全；但如果它试图证明自身可靠，又可能陷入形式系统的限制。

第五是错误积累。作者提出，RSI过程可能类似生物演化中的突变积累。每一代软件修改都可能引入小错误，而这些错误未必立即影响性能，因此难以及时发现。随着代际更新，这些隐藏错误可能逐渐叠加，最终导致系统错误判断未来版本的质量，甚至整体崩溃。

理解自己，可能比改进自己更难

文章中一个非常深刻的观点是：一个系统越复杂，可能越难完全理解自己。以松鼠作类比：松鼠的大脑产生了松鼠的行为，但松鼠没有能力理解自己的大脑如何运作。类似地，一个AI系统即使在早期能够分析自身，当它不断变得更复杂时，也可能逐渐失去完整自我理解能力。RSI系统想要靠自身能力理解并提升自身，但它自身就是那个需要被理解的复杂对象。

更困难的是，系统可能无法完整模拟自己。若一个系统需要100%的内存才能表示自身，那么它就没有额外空间记录模拟输出；如果外接更多内存，这些内存又成为系统的一部分，也需要被纳入模拟。于是系统陷入无限递归：为了理解自己，它必须建立自己的模型；为了理解这个模型，它又需要模型的模型。

这一点直接挑战了RSI的直觉基础。我们往往以为，只要AI能读取自己的代码，就能改进自己。但读取代码并不等于理解系统行为，理解系统行为也不等于能够安全地改写系统。对于高度复杂、可能具有计算不可约性（Computational Irreducibility）的智能系统而言，最可靠的预测方式可能就是让它实际运行，而这恰恰削弱了安全验证的可能。

RSI收敛理论：

不同起点都走向同一个超级智能吗？

在分析大量限制之后，文章提出了本文一个富有想象力的假说：RSI收敛理论（RSI Convergence Theory）。这个理论的核心直觉是：无论初始种子AI如何设计，只要它们都试图达到超级智能，并且都受到相同的物理和计算规律约束，那么它们最终可能收敛到相同或高度相似的软件架构。换言之，足够强的智能系统在探索所有可能心智空间（space of minds）时，可能都会发现某种最优或近似最优的设计。

文章认为，如果智能存在上限，那么多个RSI系统最终都会接近这个上限。为了进一步提升速度和效率，它们会压缩源代码规模，寻找达到最高能力所需的最小程序。这样的终点可能类似AIXI，即一种理论上不可计算但具有超级智能特征的理想智能体。如果足够聪明的RSI系统能够从物理规律和柯尔莫哥洛夫复杂度（Kolmogorov Complexity）中推导出最优架构，那么不同起源的系统就可能走向同一结构。当然，这一收敛并非必然。如果智能没有上限，系统可能永远不会收敛；如果存在多个同样强大、复杂度相同的架构，系统也可能分化；如果不同系统并非通用智能，而是针对不同环境优化，它们也可能走向不同形态。

尽管如此，RSI收敛理论带来了一个重要安全启示：如果所有足够强的RSI系统最终都会成为类似结构，那么超级智能的未来可能不是许多彼此竞争的系统，而是一个单一决策主体，类似Bostrom所说的“单例”（Singleton）。这意味着，RSI不仅是工程问题，也可能改变政治、伦理和宇宙尺度上的决策结构。

自我迭代带来的安全问题

在递归自我改进过程中，一个核心安全问题是目标保持。如果第一代AI被设定为服务人类，但第二代、第三代在自我修改中逐渐改变了目标函数，那么系统能力越强，风险越大。文章指出，某些源代码片段是否必须保持不变，是RSI安全研究中的关键问题。例如，目标模块、验证模块或安全约束是否应像DNA中的超保守序列（ultra-conserved elements）一样，在代际更新中被保留下来？如果允许系统修改任何部分，那么它可能改变自己的价值目标；如果不允许修改关键部分，又可能限制其改进能力。

这里的困难在于，安全证明通常只适用于某一具体源代码版本。一旦代码被修改，原有证明就不再自动有效。RSI系统会多次重写自身，因此每一次重写都可能要求重新证明安全性。而如果新系统与旧系统差异巨大，证明难度会急剧上升。

文章还提出另一个实际安全问题：RSI是否需要与外部环境互动？如果系统必须访问互联网、人类、其他AI或开放数据才能改进，那么它就难以被完全隔离。如果可以在封闭环境中自我提升，那么人类或许可以通过“AI隔离”（AI Confinement）或“防泄漏系统”（Leakproofed System）来降低风险。进一步地，人类是否能够在任意时刻暂停RSI过程，也是一个尚未解决的问题。理想情况下，种子AI可以被设定为自我改进到某个智能水平后暂停，等待进一步指令。但这在理论和工程上都远未得到保证。

RSI可能是AI领域最困难的问题之一

文章将递归自我改进软件称为“人工生命的终极形式”。因为创造RSI软件，本质上是创造一个能够写出其他程序的程序。这不仅是一个普通编程问题，而是AI完全问题（AI-Complete Problem）：要解决它，可能需要接近完整人工通用智能的能力。元推理（Metareasoning）和元学习（Metalearning）中的一些基础问题已被证明具有很高计算复杂度。也就是说，即便只是决定如何分配思考时间、如何选择信息收集行为，也可能是NP完全（NP-Complete）或PSPACE困难（PSPACE-Hard）的问题。RSI作为更复杂的元层级过程，其困难程度可想而知。

最终，文章没有给出一个简单答案，没有断言RSI是否会发生。相反，他认为争论会持续下去。一方会认为，智能或许只是速度、记忆和信息处理规模的函数，因此存在上限；另一方则会认为，只要模式复杂度可以不断增加，智能就没有真正上限。只有当人类找到某个不可逾越的理论障碍，或者真正构造出一个能够递归自我改进的系统，这场争论才可能被终结。

但即便RSI不是无限过程，只要它能在短时间内产生相对于人类而言极其巨大的能力提升，它就足以表现为“超级智能”。这正是技术奇点讨论中最令人着迷、也最令人不安的部分：问题不一定是机器能否无限变强，而是它是否能强到让人类失去理解、预测和控制它的能力。

在今天大模型迅速迭代、AI系统逐渐参与代码生成、自动实验设计和科学发现的背景下，这些问题已不再遥远。递归自我改进仍然是理论性的，但它提醒我们：真正改变世界的，可能不是某一个更大的模型，而是一种能够持续改写自身改进路径的系统。一旦这样的系统出现，人工智能研究将不再只是“制造工具”，而是进入“创造能够创造工具的工具”的时代。

自指与AI读书会

为系统梳理自指与AI领域的最新进展，北京师范大学系统科学学院教授、集智俱乐部创始人张江老师联合清华大学人工智能学院博士生李筱健共同发起，组织对该主题感兴趣的研究者与探索者共同研读前沿文献、交流研究思路。读书会将于2026年8月29日起每周六下午14:00-16:00线上开展，持续约10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

详情请见：

1.

2.

3.

4.

5.

6.

7.