让AI自己动手改造自己的"作战工装"，会发生什么？

你有没有想过这样一件事：现在市面上那些能写代码、能玩游戏、能完成复杂任务的AI智能体，它们的大脑（也就是那个语言模型本身）其实一直没变，变的是什么？

变的是穿在大脑外面的那层"衣服"。

这层衣服有个专业名字，叫做harness

**harness（智能体执行框架/harness）**：包裹在语言模型外面的一整套可执行脚手架，包括提示词、工具调用逻辑、记忆管理、验证机制等，负责把模型的"想法"转化成能在真实环境里执行的动作。

你可以把语言模型想象成一个非常聪明但没有手脚的大脑，而harness就是给这个大脑装上的四肢、工具箱和操作手册。同一个大脑，穿上不同的"工装"，干活的效率能差出一大截。这不是夸张，后面你会看到，同一个模型光是换个harness，成绩能从18.9分跳到41.4分，翻了一倍还多。

问题来了：现在市面上大部分做法，是工程师手动去调这套工装。模型升级了，工装往往还是老样子，被当成一次性用完就搁在那里的固定资产。有没有可能，让AI自己去改造这套工装，越用越顺手？

这正是这篇来自香港科技大学的论文要回答的问题。作者提出了一个叫做**HSI（Hierarchical Self-Improvement，分层自我改进）**的框架，让一个参数完全冻结、不做任何训练更新的语言模型，通过不断重写自己的harness来实现性能提升。

这件事到底难在哪

在讲HSI具体怎么做之前，得先说清楚这条路上已经有谁在走，走到哪儿卡住了。

第一条路叫做**Godel式自我改进（Godel-style self-improvement）**

**Godel Machine（哥德尔机）**：2003年由Jürgen Schmidhuber提出的理论构想，指一个能够修改自己程序（包括修改未来修改机制本身）的系统，前提是每次修改都能被证明会带来性能提升。

这个想法后来被一批工作实现成了真实系统，比如Darwin Godel Machine（DGM）、Huxley-Godel Machine（HGM）等等。它们让AI去改自己的决策代码，取得了不错的效果，比如DGM在SWE-bench编程测试上把成绩从20%提到了50%。但这些工作动的是模型每一步"怎么想"的决策逻辑，而不是整个执行框架。

第二条路叫做**harness工程（harness engineering）**

这条路上的代表作是Meta-Harness，它把harness优化当成一个外层搜索问题，让一个更强的"设计师模型"（比如Claude Opus这种顶级模型）去帮一个较弱的模型优化工装。效果确实好，但问题也很明显：你永远需要一个更强的外部大脑来帮你改造，这不算真正的"自己动手"。

第三个问题更麻烦：**大家发现很多号称"AI自我进化"的成果，可能只是测试时算力堆出来的假象**

有一篇批判性研究（Wang et al., 2026b）做了严格对照实验，发现如果不控制反馈预算，harness进化的效果甚至不如简单地让模型多试几次、多采样几遍。换句话说，很多"进化"其实是"多花钱多试"伪装出来的进步，一旦挪到没见过的新任务上，提升幅度只有0.6个百分点，几乎等于没进步。这就像一个学生考前疯狂刷了一套题的原题，考试成绩确实高了，但换一套新题立刻现原形，这不叫学会了，叫背答案。

所以真正的难题是：能不能让一个冻结的模型，靠自己的力量真正学会改造自己的作战工装，而且这种改造是能迁移到没见过的新任务上的，不是死记硬背？

HSI是怎么设计的：三层套娃结构

HSI的核心想法可以用一句话概括：把"干活的"和"改造干活方式的"分成不同的层级，层层嵌套，但最外层永远锁死不动。

具体来说，同一个冻结的语言模型M在三个不同的层级上工作。

**任务harness层（Task Harness H）**：直接执行任务的那套工装，包含提示词、工具、记忆管理等，是与环境实际打交道的那一层。

**进化器层（Evolver）**：负责重写任务harness H的那套策略，它会选种子、生成候选修改方案、挑选提交版本。

**元进化器层（Meta-Evolver）**：比进化器还高一层，它负责修改"进化器怎么进化"这套策略本身，但它自己的执行逻辑是写死的，不能再往上改。

为什么要设计成这样三层，而不是让模型直接无限制地改自己？

这里就要说到一个很现实的顾虑：**无限制的自我修改是危险的**

想象一个员工被授权可以修改公司所有规章制度，包括修改"谁有权修改规章制度"这条规则本身。如果没有任何边界，这个员工理论上可以把自己变成不受任何约束的独裁者，公司彻底失控。HSI的解法是设一道防火墙：员工（进化器）可以改具体的工作流程（任务harness），上级（元进化器）可以改员工的工作方法论，但公司的宪法（元进化器自己的执行逻辑）是刻在石头上的，谁都动不了。这就是论文里说的"frozen outer anchor（冻结的外层锚点）"。如果没有这道锚点，自我修改就可能陷入无限递归的失控状态，你永远不知道系统下一步会把自己改成什么样子。

三层结构定下来之后，整个进化流程被拆成五个阶段，一圈一圈循环。

第一阶段是**种子选择（Seed Selection）**

系统会维护一张不断累积的进化图谱，图上每个节点是一个提交过的harness历史版本，标注着它拿到的奖励分数。种子选择这一步，就是从这张图里挑一个"祖先版本"，围绕它生成一个结构化的假设，包括为什么选它、期望往哪个方向改进、以及一个可以验证对错的标准。

这一步的巧妙之处在于，它把进化从"瞎改乱试"变成了"带着假设去验证"。你可以类比成一个科学家做实验：不是随便调参数看运气，而是先说清楚"我猜提高这个参数会让反应更快，如果实验结果没变快，说明我这个假设是错的"。如果没有这个假设生成的步骤，进化过程很容易陷入盲目试错，浪费大量计算资源在没有方向感的修改上。

第二阶段是**主进化（Main Evolution）**

这一步就是真刀真枪去改代码了。模型会读取、编辑harness里的提示词、工具、内存管理等各个组件，生成若干个候选版本。这里有一条铁律必须守住，叫做**任务注入接口（task-injection interface）**

不管harness内部怎么改，它和外部任务对接的那个接口必须保持不变。这就好比换手机壳，不管壳子的花纹、材质怎么变，手机壳和手机之间的卡扣尺寸必须固定，否则壳子和手机装不到一起去了。有了这个固定接口，不同版本之间才能被公平地放在同一条起跑线上比较，进化版本才能做到"热插拔"，随用随换。

第三阶段是**提交选择（Commit Selection）**

这里有个反直觉的设计：系统不是只留下分数最高的那一个候选，而是刻意保留一个多样化的"提交池"，把好几个不同方向的尝试都存下来，哪怕它们暂时分数不是最高的。原因很简单，如果只认死理只留最优解，一旦这个方向后期走进死胡同，系统就没有回头路可走了。这跟投资组合分散风险是一个道理：你不会把所有钱压在一支股票上，哪怕它现在涨得最猛，因为你不知道明天它会不会跌。

第四阶段是**元进化（Meta-Evolution）**

这是HSI真正区别于以往工作的地方。前三步一直在改的是"具体怎么打这场仗"，元进化改的是"怎么打仗的方法论"。比如进化器学到一条经验：优先暴露隐藏的游戏反馈信号比盲目改提示词更有效，这条经验会被写进策略里，成为后面所有轮次都能继承的公共知识，而不是每次进化都从零开始摸索。

第五阶段是**最终版本选择（Best-Version Selection）**

前面几轮进化追求的是多样性和探索，最后这一步反过来，专门挑泛化能力最强、在验证集上表现最稳的那个版本，导出去做真正的部署评测。

实验怎么验证这套体系真的有用

光有设计思路不够，得看真刀真枪的实验数据。

研究者选择了一个叫做**BALROG**的基准测试平台。

**BALROG**：一套专门用来测试AI智能体在长周期文字交互游戏中表现的基准测试集，包含BabyAI、BabaIsAI、Crafter、TextWorld、MiniHack、NLE六个环境，难度呈现一个由易到难的自然梯度，能测试规划、记忆、探索、工具使用等多种能力。

为什么选这个平台做实验场？因为它天然覆盖了不同难度的任务，而且这些任务需要智能体持续维持状态、执行多步骤推理、通过和环境交互获得反馈来调整行为。这就像考驾照，科目一是笔试送分题，科目三是路考真本事，如果只在笔试上测，你永远不知道这个人到底能不能真正上路开车。BALROG提供了从"送分题"到"高难度路考"的全谱系，可以清楚看出harness进化到底在哪个难度区间是有效的、又是在哪个区间失效的。

实验用的骨干模型是DeepSeek-V4-Flash，全程冻结参数不动。这里有个很讲究的设计，叫做**thinking-on/off（推理开关切换）**设计：在真正执行任务的时候，系统关闭模型的深度推理能力，只在做harness自我修改的时候打开推理。

为什么要这么反着来设计？因为如果任务执行时也开着推理，你没办法判断最后的性能提升到底是harness改得好，还是仅仅因为模型这次多想了几步。这个设计其实是在做一个严格的对照实验：把"多花算力多想"这个变量死死摁住，只让harness的结构变化来决定成绩差异。这就好比测试一辆车换了新轮胎之后跑得快不快，你必须保证发动机功率不能中途偷偷加大，否则你测出来的提速到底是轮胎的功劳还是发动机的功劳，根本说不清楚。

实验结果表格如下，重点数字用加粗标出：

| 模型 | BabyAI | Crafter | TextWorld | MiniHack | NLE | 平均 |

| DS-V4-Flash（初始harness） | 42.0 | 11.6 | 40.0 | 0.8 | 0.0 | 18.9 |

| DS-V4-Flash + HSI（元进化关闭） | 77.3 | 36.4 | 46.0 | 5.8 | 0.0 | 33.1 |

| **DS-V4-Flash + HSI（元进化开启）** | **81.3** | **44.6** | **65.0** | **15.8** | 0.2 | **41.4** |

数字背后是什么意思？BabyAI这个环境，初始harness只能拿42分，经过HSI进化之后冲到81.3分，接近翻倍。Crafter从11.6分涨到44.6分，涨了近4倍。TextWorld从40分涨到65分，这个成绩甚至超过了Grok-4（62.9分）和Claude-Opus-4.5-Thinking（59.0分）这些顶级商用模型在原生配置下的表现。

请注意，参与对比的这些顶级模型是在自己完整的推理能力、原生配置下跑出来的成绩，而HSI这边的骨干模型是一个在执行阶段被关闭了深度推理的"降智"版本。一个被削弱了推理能力的模型，光靠改造外面的工装，居然能追上甚至反超那些开着全部推理能力的顶级模型，这说明harness这层"衣服"对最终表现的影响，被严重低估了。

但NLE这一行的数字很扎眼：无论怎么进化，成绩都停留在0到0.2分，几乎纹丝不动。这是本文最重要的发现之一，后面会专门展开讲。

元进化到底有没有用，拆开看

前面表格里那两行"元进化关闭"和"元进化开启"的对比，其实是一次专门为了检验元进化器价值而做的消融实验。

去掉元进化器之后，各项成绩都在下滑：BabyAI从81.3掉到77.3，Crafter从44.6掉到36.4，TextWorld从65.0掉到46.0（掉了整整19分），MiniHack从15.8掉到5.8（掉了10分）。

有意思的是掉幅的分布规律：**TextWorld和MiniHack这两个harness搜索空间更复杂的任务，掉幅最大**

这说明了一件事：当问题简单的时候，随便试试就能碰上不错的解法，元进化器锦上添花的作用有限；但当问题变复杂、搜索空间变大的时候，"学会怎么更好地去搜索"这件事本身的价值就凸显出来了。这就像下棋，简单的残局你随便走两步可能就赢了，但复杂的中盘搏杀，光靠临场直觉不够，你需要一套成体系的战术思维来指导每一步棋该往哪个方向想，这套战术思维就相当于元进化器学到的东西。

更硬核的考验：换到没见过的新题上还行不行

前面说的都是"同一批题型里，抽到不同的具体题目，能不能考好"，这属于比较宽松的测试。真正严格的测试是完全没见过的新题型，能不能靠已经学到的解题思路蒙对。

论文设计了第二套评测协议，专门在BabaIsAI这个子任务集合上做**held-out（留出）测试**

具体做法是：把BreakStop、GoTo、Make这几个任务家族，各自切出20%的任务藏起来，进化过程全程看不到这部分数据，只用剩下80%去训练harness，最后拿藏起来的这20%去检验真本事。

结果表格如下：

| 子任务 | 初始harness | 开发集最佳 | 测试集最佳（元进化开） | 测试集最佳（元进化关） |

| BreakStop | 0.033 | 1.000 | **0.980** | 1.000 |

| GoTo | 0.182 | 1.000 | **1.000** | 0.964 |

| Make | 0.000 | 0.556 | 0.363 | 0.338 |

BreakStop和GoTo这两个偏向导航类的任务，测试集成绩几乎和开发集打平，说明harness里学到的东西是真本事，不是死记硬背。而Make这个涉及多步骤合成制造的任务，成绩明显掉了一截，只有0.36左右。

这个对比暴露出一个很朴素但很重要的规律：**导航这类相对结构化、规则清晰的任务，学到的技巧容易被总结成通用规则，能迁移；而多步骤制造这种需要长链条规划的复杂任务，学到的技巧更容易和具体场景绑死，迁移能力就弱一些。**

这就好比学开车和学做菜的区别。学会了怎么在小区里倒车入库，换到另一个陌生小区的车位，大概率还是能停进去，因为倒车这件事的核心规律（打方向盘的时机、后视镜观察角度）是普适的。但学会了做一道特定的菜，换一种没做过的食材，很多细节判断（火候、下料顺序）就没法直接套用了，因为这道菜的经验里混杂了太多针对这种食材才有效的具体窍门。

那道过不去的坎：NLE到底怎么回事

前面提到NLE环境上，harness进化几乎完全没起作用，得分一直在0附近打转。这不是bug，这是这篇论文最诚实也最有价值的一个发现。

论文里给出的解释是两条**边界（bound）**

**反馈保真度边界（feedback-fidelity bound）**：进化这件事本质上是一个不断试错、根据反馈调整方向的过程，如果环境给出的反馈信号本身就极其稀疏、模糊、没什么区分度，进化就没有可以依靠的信号来判断哪个方向是对的。

**骨干能力边界（backbone capability bound）**：不管你怎么给模型换外面的工装，模型本身的推理能力上限摆在那里，工装再怎么优化，也没法让一个想不明白复杂决策的大脑突然想明白。

NLE这个环境本身就是一个极其复杂的roguelike游戏，状态空间庞大，反馈稀疏，连初始harness下模型的表现都接近0分。这时候不管怎么改harness，模型都没法从环境里获得有意义的成功经验去总结规律，自然也就无从进化。

这就像给一个完全不识字的人配一套最先进的读书笔记软件，不管这套软件的排版、检索、标注功能做得多么精妙，这个人依然读不懂书里写的是什么。工具再好，也弥补不了识字这个前置能力的缺失。这也是为什么这篇论文反复强调，harness进化的价值是"放大和重组已有能力"，而不是"无中生有创造能力"。**如果不承认这个边界，会让人误以为自我改进可以无限逼近完美，但实验数据明确告诉我们，事情不是这样的。**

顺带一提，这个发现和另一篇独立研究（Lin et al., 2026b《Harness Updating Is Not Harness Benefit》）的结论高度吻合。那篇研究发现，harness的更新能力和从更新中获益的能力其实是两回事，中等水平的模型从harness优化里获益最大（提升可达19.3个百分点），而能力特别弱的模型反而获益最小，因为它连"按照新harness里的指导去执行"这件事本身都做不好。这不是巧合，两篇论文各自独立地摸到了同一堵墙。

进化过程里到底发生了什么，看两个真实轨迹

论文里放了两张进化轨迹图，一张是Crafter这种"同分布进化"的例子，一张是BabaIsAI-Make这种"留出集进化"的例子，读起来很有画面感。

Crafter那张图显示，第一轮进化主要是把游戏里原本藏起来的信息暴露出来，比如把隐藏的奖励信号、库存状态结构化地摆到模型面前。这一步带来了单轮最大的一次跳跃，开发集奖励从0.166直接跳到0.430，涨幅接近2.6倍。到了第三、四轮，进化方向变得更精细，开始尝试规则建议和安全约束这类更专门化的机制，第四轮达到最高点0.578，成为最终导出的最佳版本。但第五轮出现了回退，说明进化不是单调向上的，而是在一个非凸的设计空间里来回摸索，有的分支走对了，有的分支走岔了。

BabaIsAI-Make那张图更有意思，开发集奖励从0.222一路涨到0.556，途中经历了单步执行改成计划追踪、构建空间地图、加入BFS路径规划算法、加入自动推动机制、最后加入跨房间导航能力这五个阶段。这里最值得一提的是，元进化器把"LLM负责定目标，BFS负责导航"这条模式总结了下来，写进了策略里，让后续的迭代能直接继承这个分工思路，而不需要每次都重新摸索。

这个细节其实很耐人寻味：**模型自己发现，让语言模型去做它擅长的高层判断，把具体的路径搜索这种确定性计算任务交给传统算法（BFS广度优先搜索），效率比让语言模型逐字逐句推理每一步路径要高得多。**

这个发现本身没有被人明确教给模型，是它在不断试错的过程中自己摸索出来的分工方式。这有点像一个刚上任的项目经理，一开始事事亲力亲为，后来慢慢发现，有些机械性、规则明确的活儿丢给专门的工具去做更靠谱，自己应该把精力放在拿主意、定方向上，这种角色认知的转变往往是团队效率突然提升的转折点。

这篇论文站在谁的肩膀上，又指向了哪里

这项工作并非凭空出现，它站在两条已经走了一段路的研究脉络的交汇点上。

在Godel式自我改进这条线上，2003年Schmidhuber提出的Godel Machine理论构想，到了2025到2026年被一批工作真正实现出来，比如2026年的Darwin Godel Machine把自我修改的对象扩展到整个代码库，用一套基于归档的开放式探索机制，把编程测试成绩从20%提升到50%；同年的Huxley-Godel Machine则解决了一个更细的问题，就是怎么判断一个中间版本到底有没有"继续进化下去的潜力"，而不只是看它当前分数高不高。

在harness工程这条线上，2026年的Meta-Harness第一次把harness优化当作一个可以严格搜索的问题来做，但它依赖一个更强的外部模型来当"设计师"；同年的Self-Harness则往前迈了一步，让模型自己给自己改harness，不需要借助外部更强模型的帮助。

HSI的位置正好卡在这两条路的交界处：它既不像Godel系工作那样只改模型的决策代码，把范围局限在小圈子里；也不像Meta-Harness那样依赖外部更强模型；而是让同一个冻结的模型，横跨执行、进化、元进化三个层级去自己改自己，还专门设计了留出集测试来验证这不是在作弊。

写在后面

读完这篇论文，最触动我的其实不是那些分数上涨的曲线，而是NLE那一行怎么改都是0的数字。

很多讲AI自我进化的文章都倾向于渲染一种"越进化越强、无所不能"的叙事，但这篇论文很诚实地把那道墙摆出来了：反馈信号不够好，或者模型本身能力不到位，harness再怎么折腾也没用。这种承认边界的态度，反而比一味鼓吹突破更让人信服。

另一个值得琢磨的细节是那个BFS路径规划的自发涌现。模型在没人明确教它"复杂计算交给传统算法"这条原则的情况下，自己在试错里摸出了这套分工方式。这让我想到，也许所谓的"智能进化"，很多时候不是学会了什么全新的知识，而是学会了什么时候该用什么工具，包括什么时候该承认自己不擅长、该把活儿交出去。这种元层面的判断力，可能比具体某个技巧本身更值钱。

如果harness的进化真的只能在骨干模型能力范围内打转，那未来会不会出现一种局面：不同任务家族各自养着一套专属的进化harness，而真正决定天花板的，始终是那个被冻结着不动的大脑？

Q&A

Q1：HSI框架是什么？

A：HSI（Hierarchical Self-Improvement，分层自我改进）是一个让冻结不变的语言模型自己重写执行框架（harness）来提升性能的框架，包含任务harness层、进化器层、元进化器层三层结构，最外层执行逻辑始终锁死不变。

Q2：HSI在哪些任务上效果最好，哪些任务上没效果？

A：在BabyAI、Crafter、TextWorld这类中等难度任务上提升明显，比如BabyAI从42分涨到81.3分；但在NLE这种反馈极稀疏、任务极复杂的环境里几乎没有提升，说明harness进化受限于反馈质量和模型自身能力上限。

Q3：HSI进化出来的harness能不能用到没见过的新任务上？

A：在BabaIsAI的BreakStop和GoTo这类导航型任务上，留出测试集成绩接近满分，说明学到的是可迁移的通用技巧；但在Make这种多步骤合成任务上迁移效果明显较弱，只有0.36左右。