网易首页 > 网易号 > 正文 申请入驻

你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

0
分享至



随着 DeepSeek-R1 的出圈,强化学习尤其是 GRPO 已经作为大模型后训练的一种标准范式。然而,GRPO 并非完美无缺,近期的研究指出了它的两个明显缺陷:

  1. 能力边界没有拓宽(探索不足):GRPO 更多是在模型现有的能力圈子里做 “跷跷板” 游戏(探索与利用的权衡),甚至在大采样预算下(如 Pass@256),其表现反而低于基础模型。
  2. 不懂得 “因材施教”(难度不敏感):GRPO 的奖励机制忽略了题目的实际难度和模型当前的掌握程度,导致训练效率低下。

针对这一现状,近日来自香港大学的屈靓琼教授团队首次提出了一个统一的视角来解释这两大缺陷,并将其命名为 “隐式优势对称性(Implicit Advantage Symmetry)”。基于这一理论视角,团队提出了全新的算法A-GRAE,在不增加额外计算成本的前提下,同时显著提升了模型的准确率(Pass@1)与探索能力(Pass@k)。论文获 NeurIPS 2026 录用,代码已开源。



  • 论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
  • 录用会议:NeurIPS 2026
  • 论文地址:https://arxiv.org/pdf/2602.05548
  • 代码仓库:https://github.com/HKU-HealthAI/A-GRAE
  • 第一作者:香港大学博士生余志齐

一、研究动机:

GRPO 为何会陷入双重瓶颈?

在可验证奖励强化学习中,GRPO 会让模型针对同一道题生成多条回答,再由验证器打分。以二值奖励为例,答对得 1 分,答错得 0 分。组相对优势估计将每条回答的奖励减去组内均值,再除以标准差。一个简单的标准化步骤,同时决定了组内如何奖惩、题目之间如何分配学习信号。研究团队指出,这种组相对优势中隐藏着一种未被察觉的 “对称性”,这正是阻碍模型进一步进化的罪魁祸首。这种对称性体现在两个层面:



图 1:GRPO 中的双重隐式优势对称性问题。在组内级别,正负轨迹的优势权重相等,导致低概率正确路径的 logits 无法更新,阻碍探索;在样本级别,中等难度样本的绝对优势值之和最大,导致困难数据训练不足。

  • 组级别的对称:在组内相对优势计算中,正确轨迹和错误轨迹的绝对优势值之和是严格相等的(零和性质)。这种对称导致那些 “概率极低但正确” 的未采样轨迹,无法获得直接的奖励信号。模型只能在已有路径上打转,不敢去探索新的解法。

定理 1. 行为空间的 Logit 更新:假定 B 为模型所有可能生成的轨迹集合(包含已采样的集合 G 和未采样的集合 U)。令 C 为组内优势之和(在标准 GRAE 中,归一化使得 C=0)。在梯度下降下,任意一条轨迹的 Logit 更新量为:









其中 p 表示该样本在组 G 内的经验成功率。定理 2 揭示了 GRAE 中固有的难度偏差:中等难度的样本主导了策略更新,而简单样本和困难样本在相同难度偏移下权重完全相同。然而,这种静态的方法忽略了训练过程中的动态分布偏移— 即随着模型能力增强。简单样本在样本池中会日益占据主导。这种对称性导致模型在琐碎数据上过拟合,却牺牲了对高难度场景的学习,从而无法满足演化学习过程中对模型能力非平稳性的需求。

二、控制变量实验:

打破对称性会发生什么?

基于上述理论,团队设计了受控实验,强行在组级别和样本级别打破这种对称性,以观察其因果效应。



表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。

实验 I. 打破组级别对称:当刻意放大正确轨迹的权重时,模型遭遇了严重的 “熵坍缩”,大采样预算下表现垫底;反之,当压制正确轨迹的权重时,模型的探索能力被极大地激发,但训练后期容易引发崩溃。



图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。

实验 II. 打破样本级别对称:不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;实验证明,早期优先学习简单样本以掌握基础模式,后期转向困难样本以突破能力上限,这种 “由易到难” 的非平稳动态课程模式,比传统的静态固定策略或仅关注难题的方法能带来更高的学习效率。



图 3:使用 Qwen2.5-Math-7B 打破样本级别对称性的实验结果。我们重新缩放优势值,将学习焦点转向更困难的样本(Hard-Focused)或更简单的(Easy-Focused),以比较它们与 GRPO 及基模型的性能。性能评估采用 Pass@k 指标。最后一张图展示了训练集上批次内(within-batch)正确采样响应的数量。

小结(Takeaway):

  1. 压制正确路径的权重有助于探索,但过度压制会导致训练不稳定。因此,需要一种动态衰减机制。
  2. 简单样本在早期能帮助模型快速掌握推理格式,而困难样本在后期能突破性能上限。因此,需要一种从易到难的动态课程机制。

三、新的统一视角:

从优势对称性出发重新审视现有 RL 方法

这项研究最大的理论贡献之一,是提供了一个极具解释力的统一视角。在以往的研究中,针对 GRPO 的改进往往是 “割裂” 的,但从优势对称性出发,现有的各种方法其实都可以同一在这一框架下:

  • 打破 “组级别对称性”:现有的负强化(Negative-reinforcement)和 Pass@k 导向的方法,本质上都是通过抑制对于正确路径的过度学习,隐式地打破了组级别的对称性,以此来促进模型的探索。
  • 打破 “样本级别对称性”:而现有的那些强调高熵 Token 或困难样本的方法,则主要是通过根据样本的数据分布重新分配学习信号,打破了样本级别的对称性,将焦点转向不确定或困难区域。

我们希望这一统计视角能够为未来的强化学习奖励设置或者优势构造方法提供借鉴意义,在设计过程中对照这一性质来避免潜在的边界缩减和样本利用效率不足问题。

四、A-GRAE:

简单而有效的非对称优势重塑方法

我们此前的分析揭示,GRPO 中固有的优势对称性削弱了模型的探索能力和难度适应能力。为了解决这些局限性,我们提出了非对称组相对优势估计(A-GRAE)框架,以动态调节探索激励和对样本难度的关注。为了实现这一目标,需要一个度量指标来量化训练状态;因此,我们引入了批次平均奖励(batch-wise mean reward)作为代理指标:







其中 p 表示给定问题的采样成功率。随着模型能力的发展以及采样成功率的提高,分配给困难样本聚焦项(第一项)的权重会逐渐增加,而简单样本聚焦项(第二项)的对应权重则会减小,从而根据样本当前阶段能力动态地实现由易到难的自适应转变。

在组级别上,我们针对正确响应的优势值提出了一种衰减抑制策略(attenuation suppression strategy),该策略在早期阶段鼓励探索,同时在后期阶段保持稳定性:



这里 α>0 是一个缩放参数。

综上,一旦计算出了初始优势值,我们所提出的 A-GRAE 框架就可以无缝地整合到 GRPO 函数或其他 GRPO 变体中,即插即用。

五、实验验证:

准确率与多样性的双赢

研究团队在涵盖文本数学推理和多模态推理的 7 个主流基准上(包括 AIME2025, AMC23, MATH, Geo3K, MathVision 等)进行了广泛验证,使用了 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B 等基座模型。

  • 全面超越基线:无论是纯文本还是多模态任务,A-GRAE 都显著提高了 GRPO 及其变体的表现。例如在最具挑战的 AIME2025 上,DAPO+A-GRAE 的平均表现(k=1 到 256)达到了 53.3%,显著高于原版 DAPO 的 52.2%。
  • 解决准确率和多样性的 "跷跷板" 难题:过去的算法往往在准确率(Pass@1)和多样性(Pass@k)之间难以同时提升。A-GRAE 实现了双赢,既提升了回答的准确率,又在大采样预算下维持了极高的多样性。
  • 泛化能力突出:在多模态医疗推理和分布外(OOD)任务中,A-GRAE 同样带来了显著提升,证明了该方法的普适性。



表 2:使用 Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。 加粗和下划线的数字分别表示在每个 k 值下的最佳和次佳结果。具体而言,我们在 AIME2025 和 AMC23 上进行了 16 次运行(实验),在其余基准测试上进行了 4 次运行。



表 3:使用 Qwen2.5-VL-3B 在多模态数据集上的准确率。

六、结语

这项工作突破了”GRPO 天然缺乏探索能力” 的共识,并高屋建瓴地提供了一个统一视角,成功将强调多样性和提升准确率的两大研究流派统一在 “打破优势对称性“的框架下。在此视角下提出的A-GRAE,凭借极简的公式设计和无需增加额外算力的高效特性,在实际验证中展现出强大的有效性,为 RLVR 时代的算法优化提供了坚实的新基石。

更多理论推导、证明细节与完整实验数据,欢迎阅读原论文!代码已全面开源,欢迎社区交流探讨!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
湖人逆转黄蜂!格兰姆斯47分单骑救主,东契奇遭针对,替补哑火!

湖人逆转黄蜂!格兰姆斯47分单骑救主,东契奇遭针对,替补哑火!

篮球资讯达人
2026-11-18 15:05:37
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
哈啰变速车30分钟15元?公司客服回应

哈啰变速车30分钟15元?公司客服回应

界面新闻
2026-11-18 11:32:09
黄仁勋反攻了:我将重返英伟达任 CEO,如果董事会允许

黄仁勋反攻了:我将重返英伟达任 CEO,如果董事会允许

字母AI
2026-11-18 08:09:28
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
英伟达:停止向中国供应 H200

英伟达:停止向中国供应 H200

云头条
2026-11-18 12:16:55
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
中俄美元首会晤是否会讨论台湾问题,国台办回应

中俄美元首会晤是否会讨论台湾问题,国台办回应

界面新闻
2026-11-18 11:16:15
老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

雾岛夜话
2026-05-27 17:28:50
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

首次访华就想给下马威?中方二话不说撤走仪仗队:想好了再来

一姐说军史
2026-06-29 15:10:55
湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

湘雅二医院被爆发表“史诗级全AI论文”,“虾滑当肿瘤”“1厘米=12毫米”应有清晰应答

极目新闻
2026-11-18 13:43:23
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
大反转!英伟达回应“黄仁勋重返”

大反转!英伟达回应“黄仁勋重返”

广告创意
2026-11-17 16:20:37
2026-11-18 15:20:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
艺术
游戏
健康
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

英国法庭驳回索尼PlayStation数字内容集体诉讼

情绪真能让健康人"伤心至死"?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版