网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进Agent大脑

0
分享至



随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。



图 1 左:外部模块负责管理技能,智能体检索并使用技能。右:SkillMaster 将技能管理纳入智能体自身的策略,与任务执行共同学习。

然而,现有方法中的技能创建与更新,通常依赖外部教师模型、预设规则或辅助模块(图 1 左)。执行任务的智能体学会了使用技能,却很少被直接训练去改进技能。要沿着这条路径实现自主改进,还需要让 “如何进化技能” 成为智能体自身可以学习的能力(图 1 右)。

清华大学李勇教授团队提出了 SkillMaster,相关论文已被 NeurIPS 2026 录用,论文第一作者为北京中关村学院博士生杨敏。

研究以一个直观的洞察为出发点:有价值的技能改进,应当让原来失败的相似任务在后续更容易成功,让原来已经成功的任务以更少的步骤完成。SkillMaster 将这两类效果转化为技能编辑的学习信号,训练同一个智能体根据交互经验创建、更新和保留技能,使技能进化与任务执行共同进入强化学习过程。



  • 论文题目:SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents
  • Author: Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li
  • Affiliation: Shandong University, Zhongguancun Academy, Tsinghua University, Southeast University, University of Science and Technology of China
  • arXiv: https://arxiv.org/abs/2605.08693
  • GitHub: https://github.com/sduyangmin/Skill-Master

核心洞察:让失败的任务更容易成功

让成功的任务完成得更高效

要训练智能体改进技能,首先需要知道一次修改给后续任务带来了什么。仅用任务最终是否成功作为奖励,难以区分执行能力与技能质量,更难为某一次技能编辑提供明确的反馈。

为此,SkillMaster 关注技能修改对后续相关任务的实际影响。一条技能如果补上了已有知识的缺口,应当提高原先失败任务的成功机会;如果改进了已有的操作策略,应当让已经能够解决的任务减少不必要的步骤。这两种可观察的变化,为衡量技能修改的效果提供了依据。

方法框架:

联合学习任务执行与技能进化

要让智能体学会自主创建、修订和保留技能,需要解决三个问题:依据什么提出修改、如何评价修改的价值,以及如何联合优化任务执行与技能管理。SkillMaster 分别通过基于轨迹的技能审视、下游效用奖励和 DualAdv-GRPO 实现这三个环节



图 2 SkillMaster 的三个组成部分:基于轨迹的技能审视、反事实技能效用奖励,以及 DualAdv-GRPO 联合优化。

基于交互轨迹学习技能管理

技能审查阶段将任务目标、已检索技能、行动与观察轨迹、最终反馈一起提供给模型。模型通过 propose_skill、update_skill 和 keep_skill 三类工具调用,分别执行创建、更新和保留操作。例如,发现已有技能未覆盖某种搜索策略时,可以补充新技能;观察到实际反馈与已有操作规则冲突时,可以修订原有技能。

任务动作和技能工具调用由同一个策略生成,因此技能管理也直接纳入模型训练。SkillMaster 先通过监督微调,让模型具备基本的任务执行与工具调用能力,再利用技能效用反馈,通过强化学习优化创建、更新和保留技能的决策。

通过反事实对照评价技能效用

对于候选技能编辑,系统选取一组相关的探测任务,分别使用原始技能库与临时修改后的技能库执行,直接比较修改带来的下游变化。原先失败的任务是否转为成功、原先成功的任务是否减少执行步骤,都会体现在效用评分中,为技能编辑提供直接的训练反馈。

探测任务来自训练任务池,并依据任务类别、商品类别或问题语义相似度选择。系统综合考虑探测任务的平均得分变化,以及表现改善和退化的任务数量,计算效用奖励,并据此优化技能编辑决策。训练期间,效用奖励为正的修改才会写入持久技能库。

DualAdv-GRPO 联合优化两类决策

任务执行主要依赖环境结果反馈,技能管理则使用工具调用有效性和下游效用反馈,两类奖励具有不同的尺度与含义。为此,SkillMaster 提出 DualAdv-GRPO,分别计算任务执行与技能管理的优势,再分配给对应的生成内容,共同更新同一个策略。模型由此同时学习有效执行任务和改进可复用技能。


实验结果:

从任务表现到技能进化能力

实验基于 Qwen2.5-7B-Instruct,覆盖 ALFWorld、WebShop 和 SearchQA。其中,ALFWorld 包含六类模拟家庭任务,WebShop 考察多步商品搜索与购买,SearchQA 覆盖七个单跳和多跳问答数据集。



表 1 ALFWorld 与 WebShop 主实验结果。

如表 1 所示,SkillMaster 在 ALFWorld 和 WebShop 上均取得所比较方法中的最佳表现,任务成功率分别达到 98.7% 和 82.0%,较 SkillRL 提高 8.8 和 9.3 个百分点。ALFWorld 六类任务中有四类达到 100% 成功率,其余两类均超过 95%。



表 2 SearchQA 七个数据集的实验结果。

如表 2 所示,在 SearchQA 上,SkillMaster 的总体得分达到 48.0%,为所比较方法中的最高值,较 SkillRL 提高 0.9 个百分点。七个数据集中有五个优于 SkillRL,体现出该框架在搜索增强问答任务中的效果。



图 3 左:组件消融结果。中:技能管理操作比例的变化。右:技能库规模的变化。

如图 3 左侧所示,去掉技能效用奖励、改用合并的优势归一化,或随机选择探测任务,均会降低表现,支持效用反馈、分离优势估计和相关任务选择的作用。图 3 中间和右侧分别展示了技能管理行为与技能库规模的变化。

在 ALFWorld 训练中,训练早期,创建和更新操作较为活跃,训练后期,保留技能的比例从约 81.25% 升至 97.66%。这一过程体现了模型从补充和修订技能,逐步转向保留已积累技能的行为变化。作者还固定训练后的模型参数,检验其在测试交互中构建技能的能力。此时不使用反事实探测和效用反馈,合法的技能管理操作直接执行,并供后续任务复用。在 WebShop 上,从空技能库出发,同时开启技能构建与检索后,成功率从 65.63% 提升至 71.88%,表明训练后的策略能够根据新交互生成并复用有用技能。

案例分析:

根据执行证据创建和修订技能



图 4 智能体从任务轨迹中发现技能缺口、纠正已有规则,并在相关任务上验证修改效果。

如图 4 所示,在一个 ALFWorld 冷却任务中,智能体将大量步骤花在低概率出现食物的柜子和抽屉上,最终未能完成任务。复盘时,它识别出已有技能缺少搜索优先级规则,于是创建新技能,指导后续搜索优先考虑与目标物体相关的高概率位置。

另一个案例展示了已有技能的修订。按照 ALFWorld 的交互接口,加热需要在智能体持有目标物体时执行,但旧技能要求先把物体放入微波炉。模型依据轨迹中的反馈修订了这一操作条件。图 4 右侧的对照显示,在相关探测任务中,加热环节从 8 步缩短为 2 步,减少了六次多余操作,直接体现了技能修改的下游效用。

研究展望:

通过学习技能进化,探索递归自我改进

SkillMaster 从技能这一可复用的知识载体出发,探索智能体递归自我改进的一条路径。智能体在交互中发现知识缺口或低效策略,通过技能编辑改变后续行为,再根据实际效果学习更有价值的编辑决策。任务执行与技能改进相互衔接,使智能体既能积累技能,也能通过训练提升改进技能的能力。

当前方法已在结构化交互环境和搜索增强问答中得到验证。进一步面向开放环境,需要探索更有效的探测任务选择和更低成本的效用评估,并扩展到技能删除、跨智能体共享和分布变化下的持续学习。这些方向有望使技能库与智能体的能力随长期交互共同演进。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美女“警花”张津瑜怎么样了?被吕总害惨后,她过起了新的生活

美女“警花”张津瑜怎么样了?被吕总害惨后,她过起了新的生活

李昕言温度空间
2026-11-15 20:16:11
莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

王岗同学呀
2026-11-15 18:11:47
西部排名又变了:马刺创NBA奇迹,湖人剑指第一,勇士掉到第九

西部排名又变了:马刺创NBA奇迹,湖人剑指第一,勇士掉到第九

篮球大视野
2026-11-16 13:31:47
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
这一次,姐弟恋的“残酷现实”,在58岁伊能静身上体现的淋漓尽致

这一次,姐弟恋的“残酷现实”,在58岁伊能静身上体现的淋漓尽致

与你挽月色清
2026-11-16 10:23:53
全场2分!联赛都打不明白,球迷怒问宫鲁鸣:为何用她当国手?

全场2分!联赛都打不明白,球迷怒问宫鲁鸣:为何用她当国手?

南海浪花
2026-11-16 07:05:07
ULA成立20年来首次发射任务完全失败,火神火箭升空10分钟后出现异常

ULA成立20年来首次发射任务完全失败,火神火箭升空10分钟后出现异常

IT之家
2026-11-16 06:55:07
闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

闲鱼惊现大量2TB U盘,全新标价35元!到底有啥猫腻?

小柱解说游戏
2026-11-15 16:28:19
社评:中俄美元首即将会晤,释放强烈政治信号

社评:中俄美元首即将会晤,释放强烈政治信号

环球网资讯
2026-11-16 12:54:04
禁止参展!2026年两颗黄钻"无人接盘",西方破防:河南钻不许展出

禁止参展!2026年两颗黄钻"无人接盘",西方破防:河南钻不许展出

火星方阵
2026-11-14 16:31:13
副部级和正厅级的退休待遇有多大?难怪陈岩石那么恨赵立春

副部级和正厅级的退休待遇有多大?难怪陈岩石那么恨赵立春

剧有梗
2026-11-16 07:08:07
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

大风新闻
2026-11-16 13:50:06
多地医院调整医疗资源配置,部分院区停止急诊接诊

多地医院调整医疗资源配置,部分院区停止急诊接诊

澎湃新闻
2026-11-15 21:36:29
今年“双十一”或是最惨的一年!业绩遇冷引内部通报,有管理者怒斥运营躺平

今年“双十一”或是最惨的一年!业绩遇冷引内部通报,有管理者怒斥运营躺平

火山詩话
2026-11-16 09:15:37
全场仅8次出手!老詹要是早点转变心态,说不定现在还代表湖人打球呢

全场仅8次出手!老詹要是早点转变心态,说不定现在还代表湖人打球呢

移动挡拆
2026-11-16 08:39:11
市价8万多的房子卖给老人41万、合同刚签完就被收走,央视曝光→

市价8万多的房子卖给老人41万、合同刚签完就被收走,央视曝光→

澎湃新闻
2026-11-15 18:11:16
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
沪指跌破3600点,创业板指跌逾2%,全市场超5000股下跌,APEC概念逆势拉升

沪指跌破3600点,创业板指跌逾2%,全市场超5000股下跌,APEC概念逆势拉升

东方豪侠
2026-11-16 10:34:43
从前从前,有个人卖卡很久

从前从前,有个人卖卡很久

风向观察
2026-11-15 14:32:23
2026-11-16 14:32:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14484文章数 142758关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

英伟达、字节、谷歌,涌入"救命"的生意

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
房产
健康
游戏
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

情绪真能让健康人"伤心至死"?

传《GTA6》主线约50个小时 全成就大约200个小时

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版