网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 长推理为何总在中途走偏?SAGE用结构信号纠偏,AC实例验证通过率接近8倍

0
分享至



大模型解短题常能给出流畅答案,推理链一长,却可能每一步都看似合理、终点仍然失效。来自弗吉尼亚理工大学、威斯康星大学麦迪逊分校和达特茅斯学院的研究团队在 NeurIPS2026 论文中提出SAGE:用符号闭包分析(SCA)解释长推理中的探索偏差与累积偏差,再把这一诊断变成训练时的结构引导。在 12 个基准、7 个模型家族的评测中,SAGE 的总体表现优于所比较的后训练方法;在 Andrews–Curtis(AC)实例上,Qwen3 的 Lean 验证通过率接近基础模型的 8 倍。



  • 论文名称:SAGE:MitigatingLong-HorizonReasoningBiasesviaTopologicalGuidance
  • 会议:NeurIPS2026
  • 作者:XinyueZeng,JiaweiZhang,YujunYan,DaweiZhou
  • 单位:VirginiaTech,UniversityofWisconsin-Madison,DartmouthCollege
  • 论文链接:https://arxiv.org/abs/2609.30192
  • 代码链接:https://github.com/Susan571/SAGE-NeurIPS2026

一、长推理的难处:终点才有奖,岔路却越来越多

依靠最终答案给奖励的后训练,已显著提升模型的数学推理能力;但长任务里的奖励往往稀少而滞后。一条解题路径可能经过几十甚至上百次变换,训练过程却只知道结尾成败,难以判断从哪一步开始偏离。

一种思路是让人类或过程奖励模型逐步评分,代价是要取得可靠的过程标签或验证器;另一种思路是改造探索与奖励,却不必刻画任务本身的结构。SAGE 因而追问:为什么模型更容易走向 “看起来对” 的分支?终点奖励为什么很难把早期偏差纠回来?

论文用 Andrews–Curtis(AC)任务作为压力测试。给定一个由生成元与关系式构成的群表示,模型要依次执行允许的 AC 变换,尝试到达平凡表示。每一步是否合法可以检查,但合法操作不等于已经找到通向目标的路径;真正的成功信号要到整条序列结束才能确认。

实验求解的是 1,190 个按论文设置构造的 AC 实例。这一任务把 “局部合法、全局难成” 的矛盾放大,适合检验长程推理是否能持续朝目标推进。



图 1:以 AC 任务为例,SAGE 分别用代数稀疏化和双曲结构引导缓解两类偏差。

二、SCA:把两种 “走偏” 放到同一张结构地图上

SCA(SymbolicClosureAnalysis,符号闭包分析)先给 “还能继续走” 的路径下定义:从起点出发,只要每一步都符合任务规定的局部操作,就属于局部可行域 F。它具有 “前缀封闭” 性质 —— 一旦某一步不合法,后面的延续也不能把这条前缀变回合法路径。这里的可行只是局部条件:F 中也可能有走不到答案的路线,真正成功的轨迹集合更小,而且训练时并不知道。



第一重困难是探索偏差。设第 t 层的有效分支数为 Bₜ,其中局部可行的分支数为 Bₜᶠ。论文给出的几何直觉是:深度 T 的可行前缀占比大致受到各层 Bₜᶠ/Bₜ连乘制约。若许多层都只有少量分支可行,这一比例会随深度迅速缩小;终点奖励有限时,随机采到有用轨迹就更难。



论文进一步把策略梯度的波动拆成三部分:可行域内的方差、不可行域内的方差,以及两类轨迹平均信号不同造成的方差。如果采样真正集中到 F,后两项会消失。这一分解解释了为什么 “把预算花在哪些分支上” 会影响学习信号的质量;它并不意味着局部合法就能保证解出题目。



第二重困难是累积偏差。仅在终点给奖励时,早期决策缺少直接纠偏。论文考虑带 KL 正则的优化:若参考策略找到成功轨迹的概率为 p、终点奖励上界为 Rmax、KL 惩罚强度为 λ,则最优策略与参考策略的总变差距离有如下上界。



当成功轨迹极罕见、奖励相对于 KL 约束又不强时,这个上界很小;训练难以大幅摆脱参考模型原有的早期选择,微小偏离因而可能沿长链延续。

SCA 因此给出了两个明确的设计目标:一是把采样概率集中到更有希望的局部可行分支;二是让前缀在到达终点前就得到与目标结构有关的反馈。AC 这样的符号任务能精确定义局部合法性;自然语言任务则需要估计残差和目标锚点,理论保证不能原样搬过去。

三、SAGE:让理论诊断参与训练

SAGE(StructuralAdmissibility-GuidedExploration,结构可采纳性引导探索)把上述两个目标写成互补的结构势函数。它们不是直接给出标准解,而是在训练时评价候选推理步:哪些操作与尚未解决的结构更相容,哪些前缀更接近任务目标。

代数稀疏化针对探索偏差。系统把当前尚未解决的结构表示为 “残差”,再比较候选操作对应的代数子空间能解释多少残差;解释得越多,候选操作获得越高的软兼容分数。它提高相关分支被采样的机会,但不会把其他局部合法操作一刀切地删除。

双曲结构引导针对累积偏差。系统把当前状态与目标结构映射到适于表示层级关系的双曲空间,用两者的距离形成逐步反馈:不必等终点奖励出现,训练就能区分更接近或更偏离目标的候选前缀。这里的 “接近” 是一个训练时构造的结构信号,并不是对最终正确性的证明。

在实现上,旧策略先提出一组候选推理步,SAGE 用两种势函数软重排训练时的采样;轨迹结束后,再把终点奖励与平均结构分数合起来计算组相对优势,更新策略。论文还给出一个有条件的集中性结论:若势函数能把全部局部可行与不可行轨迹拉开正间隔 Δ,重加权后两类轨迹的概率比至多乘上 exp (−λΔ)。条件是否成立,取决于具体任务中的结构先验。



这些结构模块会增加训练阶段的候选评分与距离计算成本。训练完成后,推理直接使用学到的策略,不再运行这套评分或额外搜索;因此论文所说的 “无额外推理开销” 指的是不再引入结构引导模块的在线计算。

四、结果:从平均准确率到可验证的长链成功

评测覆盖 7 项闭式数学、4 项自由文本推理和 1 项 AC 长程符号任务,共 12 个基准、7 个模型家族。比较对象包括 SFT、GRPO、EMPO,以及针对过程反馈的 GRPO-PRM。论文报告各方法采用可比的 rollout 预算、生成长度和解码约束。

1. 封闭数学推理:Qwen3.5-2B、9B、35B 的 SAGE 平均值分别为 42.11%、47.95%、64.86%;较同规模最强后训练基线高 1.83、3.02、2.49 个百分点。单项并非全胜,例如 35B 的 AIME 为 62.04%,略低于 EMPO 的 62.31%。



2. 自由文本推理:在 9B 模型上,MMLU-Pro 平均准确率由 EMPO 的 37.91% 提升至 SAGE 的 39.99%;BBH-H 从 44.04% 提升至 45.31%,ARC-C 从 39.73% 提升至 42.04%。但 GPQA 上 SAGE 的 20.86% 略低于 EMPO 的 21.11%。到 35B 规模,SAGE 在这四项指标中均居所列后训练方法之首,其中 BBH-H 为 69.07%,ARC-C 为 66.41%。



3. AC 长程任务:论文分别测量 AC 变换有效率(局部步骤是否符合规则)、ACPathSolving(整条路径是否到达目标),以及 Lean 验证通过率(最终证明是否通过形式化检查)。图中比较六种骨干模型的基础版与 SAGE 版:前者的 AC 变换有效率提高 19.2—26.0 个百分点;Lean 验证通过率提高 13.2—20.8 个百分点。在 Qwen3 上 SAGE 版的 Lean 验证通过率接近基础版的 8 倍。



再看有明确数值的同规模方法对照:在 Qwen3.5-35B 的 AC 实验中,GRPO 的 “变换有效率 / 路径求解率 / Lean 通过率” 为 54.28%/23.05%/14.64%;SAGE 达到 59.83%/31.76%/23.69%。使用学习式过程奖励的 GRPO-PRM 在 Lean 指标上为 17.36%,仍低于 SAGE 的 23.69%。

五、结语:从终点奖励走向结构引导

随着大语言模型生成越来越长的推理链,一个问题也愈发突出:步骤变多,并不意味着模型始终走在通向答案的路径上。终点奖励能告诉模型最后是否答对,却很难指出前面哪一步开始走偏。长程推理需要的,是在训练中更早地利用路径本身的结构。

SCA 从局部可行性出发,解释可行分支如何随深度变得稀少,以及稀有的终点奖励为何难以纠正早期选择。基于这一分析,SAGE 提出一套结构引导的后训练方法:代数稀疏化根据尚未解决的残差调整候选步骤的采样,双曲结构引导根据状态与目标的距离为推理前缀提供反馈,并将两种信号用于策略更新。训练不依赖金标准的逐步解答,完成后也无需在推理时额外运行结构评分。

数学、自由文本与 AC 实例上的结果显示,这种方法大大提高了答案准确率。它提供了一条新的训练路径:让模型不只从最终成败中学习,也从推理过程的结构中学习如何选择下一步。

未来,如何在规则不如 AC 明确的任务中构建可靠的结构信号,仍需继续检验。但这项工作表明,改善长推理还可以从 “让模型更有效地选路” 入手。

当训练能让模型避免那些看似合理、却难以通向目标的岔路,长推理才有机会走得更远。

作者信息

曾欣悦,弗吉尼亚理工大学计算机科学博士生,研究方向包括大语言模型推理稳定性和可靠性,相关成果发表于 ICML,ICLR,NeurIPS 等等国际顶级会议。目前致力于构建可解释、可部署的 LLM 评估与推理方法。

个人主页:https://susan571.github.io/

实验室主页:https://sites.google.com/view/dawei-zhou/vlog-lab

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大巴黎天塌了?1.2亿金童重伤被担架抬离!2巨星报销+欧冠3连冠告急

大巴黎天塌了?1.2亿金童重伤被担架抬离!2巨星报销+欧冠3连冠告急

我爱英超
2026-11-22 06:29:18
顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

都市快报橙柿互动
2026-11-22 00:21:20
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
普林斯顿大学女博士生被逮捕!ICE强硬回应:她从未获得在美国学习的许可,将遣返她

普林斯顿大学女博士生被逮捕!ICE强硬回应:她从未获得在美国学习的许可,将遣返她

大洛杉矶LA
2026-11-22 05:05:44
385米!胡塞打出超高战绩

385米!胡塞打出超高战绩

星火聊天下
2026-11-21 14:23:43
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
500元以下羽绒服不建议买?记者实测20款短款女士羽绒服,九成充绒量150克封顶

500元以下羽绒服不建议买?记者实测20款短款女士羽绒服,九成充绒量150克封顶

红星新闻
2026-11-21 19:04:16
东部第一!76人5连胜送雄鹿13连败 詹姆斯21+6+6希罗50+11+7

东部第一!76人5连胜送雄鹿13连败 詹姆斯21+6+6希罗50+11+7

醉卧浮生
2026-11-22 06:59:19
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
黎曼猜想迎来大结局!Lean官方认证:Claude证明无误

黎曼猜想迎来大结局!Lean官方认证:Claude证明无误

新智元
2026-11-22 07:36:48
破坏家庭,不正当交流!跑步被贴上负面标签

破坏家庭,不正当交流!跑步被贴上负面标签

跑者排球视角
2026-11-21 08:36:33
为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

为让特朗普和普京吃鱼不卡刺,15个总厨“闭关”练了整整一个月!

大稻网络科技
2026-11-21 15:51:21
中国未来最大敌人,不是特朗普,而是即将手握万亿美元的马斯克

中国未来最大敌人,不是特朗普,而是即将手握万亿美元的马斯克

麓谷隐士
2026-11-22 00:05:04
突然,全线拉升!美伊局势,传来利好消息

突然,全线拉升!美伊局势,传来利好消息

新浪财经
2026-11-22 10:21:29
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

林杰论事
2026-11-22 03:12:35
在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

第一财经资讯
2026-11-21 17:52:44
杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

醉卧浮生
2026-11-22 10:56:08
16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

16岁少女被拉到牛场强奸后报案,对方却称“仅搂抱亲吻”,1个月后少女竟改口“未发生性关系”;检察机关查明原因,男子判有期徒刑四年

大风新闻
2026-11-22 10:27:07
2026-11-22 12:15:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
教育
时尚
健康
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版