智谱唐杰署名RSI新成果开源！Agent自我进化成本还狂降53%

来源：量子位 | 公众号 QbitAI
梦晨 发自 凹非寺 梦晨 发自 凹非寺

清华唐杰团队，在当下最火的递归自我改进（RSI） 领域有大动作！

首次将帕累托优化引入Agent底座进化，提出全新的无标签自进化框架HarnessPro。

直接打破了以往“Agent越进化越烧钱”的魔咒。

不接触任何官方测试用例和标准答案（Label-free）的前提下，HarnessPro让AI智能体的任务通过率再创新高，还顺手把Token执行成本和运行延迟给打了下来。

在SWE-Bench Pro基准测试中实现通过率反超，还在保持同等高性能水准下将单任务平均花费直接砍半，暴降53.0%。

以前的方法只给出一个进化结果，HarnessPro直接一键生成省钱版（Lite）、均衡版（Medium）、性能版（Heavy）三套方案。

Agent自己给Harness动手术

近期许多前沿研究都在搞基于Agent执行轨迹的递归自我改进（RSI），让AI自己改自己的Harness代码，从而在后续任务中变得更聪明。

但唐杰团队发现了一个痛点：

以往的RSI方法往往通过“更广泛的探索”和“更繁琐的验证”来换取高分。分是高了，但Token消耗量和延迟也跟着原地爆炸。在实际部署中，成本根本吃不消。

于是，问题就成了递归自我改进（RSI）能不能既要性能更好，又要花钱更少？

为此，他们设计了多智能体协同进化的HarnessPro。先来一图看懂它的进化闭环：

从图里可以看到，在每一轮进化（Epoch）中，都有四个专门的Agent像流水线一样，对候选Harness进行“诊断-开方-动刀-体检”：

• 轨迹诊断师（Trajectory Analyzer）：专抓雷霆大思考

为了让诊断更靠谱，团队让每个候选Harness在训练集上独立跑3次（Rollouts）。诊断师Agent会同时调取这3次的完整执行轨迹，不仅要找出任务为什么失败，还要揪出哪些操作是在纯纯浪费Token。

比如在附录展示的一个真实案例中，AI虽然配好了邮件服务器，但诊断师一眼看出：它在无关的配置文件上反复倾倒日志，导致单次任务狂吞了251万个输入Token。

• 进化规划师（Evolution Planner）：货比三家定方案

拿到诊断报告和成本指标后，规划师开始出改造方案。它还会用Diff工具对比当前候选池里不同Harness的代码差异，看看别人的好机制能不能借鉴。

针对每个候选者，规划师会同时开出3张不同侧重点的方案设计：成本优先（I1I_1I1）、平衡模式（I2I_2I2）和性能优先（I3I_3I3）。

• 代码编辑器（Harness Editor）：独立工作区改代码

编辑器拿到方案后，在独立的工作空间里直接修改Harness的底层代码和配置文件，生成新的可执行Harness，并自动提交到Git，方便随时追溯和回滚。

• 测试合成器（Test Synthesizer）：告别“盲目自信”的LLM裁判

在没有官方测试题的“无标签”环境下，以前的方法（如RHO）通常直接让大模型当裁判，看轨迹给自己的表现打分。

但作者发现，LLM裁判有严重的“盲目乐观”，经常把有缺陷的代码判为成功，对失败案例的召回率只有惨淡的41.7%。

为此，HarnessPro专门引入了一个测试合成器Agent，根据任务描述直接编写10个固定的可执行单元测试（unittest）。一通操作下来，对失败案例的召回率（Recall）直接从41.7%飙升到了83.3%，暴涨41.7个百分点。

• 帕累托筛选与就近选拔：一键生成“中杯大杯超大杯”

生成的一大批新Harness经过测试集验证后，系统会先无情淘汰掉性能低于初始底线、或者处于“帕累托劣势”（即花钱更多、分还更低）的废案。

随后，利用归一化加权平方距离准则，分别选出最符合Lite（省钱）、Medium（均衡）、Heavy（高性能）三个档位的代表，送入下一轮继续迭代进化！

AI自进化出“省钱神操作”

经过好几轮自我进化后，HarnessPro到底给Agent写出了什么神奇代码，居然能做到既提分又省钱？

团队扒开了进化后的Harness源码，发现AI根本不是靠简单粗暴地“砍上下文”或者“降低思考等级”来省钱的，而是自己进化出了一套精妙的组合拳：

• 看任务下菜碟的“动态路由”（Dynamic Routing）

进化后的Harness学会了先看一眼任务描述，直接从compact、lean、standard、deep、research五档配置单里挑一个最匹配的，动态分配推理强度（Reasoning Effort）和工具调用预算。

• 极其严格的“催命钩子”（Runtime Hooks）

为了防止Agent在探索阶段“雷霆大思考”停不下来，进化出的hook.py直接在运行时上起了发条。

比如在Terminal-Bench 2的Medium模式下，一旦工具调用达到14次，钩子就会自动塞入一条提醒：“进入经济阶段（Economy phase），请合并检查，停止复读机行为”；

调到26次时，警告升级：“进入收敛阶段（Convergence phase），立刻停止广泛探索，专注收尾验证”；

如果头铁调到了44次，钩子直接拔网线拦截（Block），返回拒绝指令：“工具预算已耗尽！保留当前文件，立刻根据现有证据交卷”

更绝的是，AI把这些提醒巧妙地拼接在工具返回结果的末尾，完美保护了Prompt的前缀缓存（Cache Reuse），把省钱细节抠到了极致。

• 折叠垃圾日志

针对命令行经常吐出几万行冗长日志的痛点，进化后的Harness自动引入了类似RTK（Rust Token Killer）的工具输出压缩机制。

遇到连续重复的报错或编译日志，它会自动将其折叠成一句[previous line repeated N more times]，并截断超长输出，只留头尾关键信息。

性能反超基线，成本狂降53%

为了验证HarnessPro，团队在三大硬核基准上进行了全面测试：涵盖终端操作的Terminal-Bench 2、仓库级代码修复的SWE-Bench Pro，以及要求从零重构程序的ProgramBench。

测试底座模型也直接拉满，分别采用了GPT-5.5搭配Codex，以及智谱自家的GLM-5.2搭配Claude Code。

在GPT-5.5 + Codex组合下，之前的SOTA无标签进化方法RHO虽然能提分，但代价惨重——在SWE-Bench Pro上单任务成本直接暴涨了42.6%（从$1.88涨到$2.68）。

而HarnessPro-Heavy（性能版）一出手，不仅在全部三个基准上拿下了全场最高通过率，花钱反而比RHO少得多。

比如在Terminal-Bench 2上，Heavy模式平均通过率冲到了80.8%，比RHO高出4.5个百分点，而单任务平均成本直接降了33.9%。

如果部署预算有限，换上HarnessPro-Medium（均衡版）更是性价比拉满：

在SWE-Bench Pro上，Medium模式拿到了79.0%的通过率（几乎追平RHO的80.0%），但平均每个任务的花费直接从2.68美元砍到了1.26美元，成本狂降53.0%。

至于极致省钱的HarnessPro-Lite，在三大基准上通过率全线超越原始基线（Vanilla）的同时，直接省下了17.7%–57.4% 的真金白银。

同样的碾压态势在GLM-5.2 + Claude Code上也得到了完美复现。甚至虽然论文没有把时间延迟作为优化目标，但由于砍掉了大量废话和无效探索，在SWE-Bench Pro上，Heavy模式直接把平均任务耗时从520秒缩减到了412秒。

在消融实验中，团队还特意测试了“如果只把动态路由或预算钩子单独塞给RHO会怎样”。结果发现，单抄一个策略虽然能省钱，但通过率会明显掉点。

只有依靠HarnessPro的多智能体多轮递归进化，让各个机制产生协同效应（Synergy），才能真正把“性能-成本”的帕累托前沿往前推。

最后，再来盘点一下这篇论文背后的核心主创团队：

论文的共同通讯作者是清华大学计算机系教授、智谱AI首席科学家唐杰，以及清华大学自动化系副教授赵虹（Hong (Vicky) Zhao）。

论文的两位共同一作盘卓实（Zhuoshi Pan） 和冯志远（ZhiYuan Feng）均来自清华大学。

盘卓实作为一作的另一项研究ContextPilot（通过细粒度强化学习教Agent主动管理上下文）也刚刚被自然语言处理顶会EMNLP 2026接收。

目前，HarnessPro的相关代码与进化配置已开源。

论文地址：https://arxiv.org/abs/2610.26770
GitHub：https://github.com/pzs19/HarnessPro