当扩散语言模型的"过程奖励"猜想遇上现实

2026年,一篇关于扩散语言模型的论文摆在了很多研究者面前,标题读起来有点绕:《为什么确定性PRM引导在离散扩散推理中表现不佳》。乍一看不明所以,但背后的问题其实特别接地气:如果一个AI能一边生成答案一边给自己打分,及时踢掉看起来不靠谱的思路,那准确率是不是应该更高?

直觉上,答案显然是"是"。

但这篇论文用扎实的实验告诉你:不,很多时候恰恰相反,这种"边走边选"的策略反而比老老实实生成一堆答案、最后挑一个好的还要差。差距最大能到12.69个百分点。这是什么概念?意味着每100道题里,精挑细选的笨办法比聪明的实时引导多做对了将近13道题。

这事儿值得说道说道。

传统语言模型是怎么写文字的,你大概有印象:从左到右,一个词一个词往外蹦,像人写文章一样。但扩散语言模型不这样。它先把整个句子搞成一团"雪花"(全是遮盖符号),然后一轮一轮地把这些遮盖揭开,直到变成完整句子。这个过程被称为去噪。

去噪:扩散模型从一个完全被遮盖(全是掩码)的序列出发,通过反复迭代逐步"猜出"被遮盖位置该填什么词,最终生成完整文本的过程。

这种生成方式有个特别之处:在生成过程的中途,你能看到一个"半成品"状态,句子里有些词已经确定了,有些还是问号。对于数学解题这种任务,这个半成品可能已经写出了一部分算式、一些数字、甚至一截推理链条,只是还没有完全定型。

这就让研究者动了心思:既然中途状态能看到内容,那能不能训练一个"裁判"模型,专门给这些半成品打分,分数低的直接淘汰,只留下有希望的继续往下走?这个裁判就叫过程奖励模型。

过程奖励模型(PRM):一种给生成过程中的中间状态打分的模型,目的是在最终答案出来之前就判断哪条思路更有可能是对的,从而提前淘汰劣质候选,把算力留给更有希望的路径。

这个想法在传统的从左到右生成的模型上其实早就验证过是有效的,数学解题领域尤其常见。但这篇论文的作者们发现,把这套逻辑直接搬到扩散模型上,会撞上一堵没预料到的墙。

问题出在哪:半成品不是半成品

先说清楚一件事:传统语言模型的"半成品"和扩散模型的"半成品",看起来像一回事,其实完全不是一回事。

从左到右生成的模型,它的半成品永远是一个完整的前缀,比如你写了"今天天气"四个字,后面还没写,但前面这四个字是连续且确定的。裁判模型看到这四个字,可以按照正常阅读的方式去理解它。

扩散模型的半成品则是七零八落的。可能第一个词还没确定,第三个词已经写好了,第七个词也写好了,中间第五个词又是空的。这种"东一块西一块"的状态,对于一个习惯了从左往右顺序阅读的裁判模型来说,简直是灾难。它没法按常规逻辑去理解这团散落的信息。

这就好比你请一位法官审案,平时他习惯按时间顺序听证词:先听案发前的情况,再听案发经过,最后听案发后。突然有一天,你把证词剪碎了随机分发给他,前半段的证词他手里还没拿到,后半段的却先塞给他看了。如果这位法官是靠顺序理解案情的,那这种打乱顺序的证词对他来说基本等于噪音,他没法从中提炼出可靠的判断。如果换一位能同时看全所有证词碎片、不依赖顺序的法官,情况就完全不同了。

这就是论文里反复强调的一个核心区分:双向注意力和因果注意力的差别。

双向注意力(bidirectional attention):模型在处理每个位置的信息时,可以同时看到这个位置前面和后面的所有已知内容,不受顺序限制。

因果注意力(causal attention):模型只能看到当前位置之前的内容,是从左到右单向的信息流动方式,这是传统语言模型最经典的设计。

论文的数据证实了这一点:双向的裁判模型,在几乎全部揭开的状态下(遮盖率低于10%),判断准确率(用ROC-AUC衡量)能到0.77;而当遮盖率升到接近100%时,这个准确率骤降到0.54,基本等于瞎猜(0.5是随机水平)。这条曲线的意思很直白:裁判模型越早介入,它的判断就越接近抛硬币。

ROC-AUC:一种衡量分类模型判断能力的指标,数值范围0到1,0.5代表完全随机猜测,1代表完美区分,数值越高说明模型区分"对"和"错"的能力越强。

这个衰减不是这篇论文的裁判模型训练得不好导致的偶然现象。作者甚至给出了一个数学上的解释:任何裁判模型的判断上限,都被这个中间状态里到底还剩多少"有效信息"决定。信息本身就少,任何模型都没办法凭空多判断出准确率。这是信息论层面的硬约束,不是工程问题,换个更强的模型架构也绕不开。

也就是说,你在生成刚开始、大部分内容还是问号的时候就让裁判出手,那它给出的分数基本没什么参考价值,却可能因此提前淘汰掉本该走向正确答案的思路。

确定性引导:一场悄悄发生的多样性大屠杀

如果裁判模型只是"判断不太准",那问题还不算太严重,顶多是引导效果打折扣。但真正致命的是另一个连锁反应:多样性崩溃。

论文设计的引导算法叫"分段式Top-1剪枝",逻辑很简单:每隔固定的去噪步数,把当前状态复制出K份,继续往下走一段,然后用裁判模型给这K份打分,只保留分数最高的那一份,其余全部丢弃,如此循环直到生成结束。

分段式Top-1剪枝:一种引导策略,在生成过程的固定间隔处,让多个候选路径并行推进一段距离,然后用打分模型只保留得分最高的一条路径,淘汰其余所有路径,重复这个过程直到生成完成。

这套流程的问题在于,它每一次剪枝,赌的都是"当前打分最高的这条路径,未来大概率也是对的"。但我们刚才已经知道,在去噪早期,这个打分本身就不靠谱。这就相当于在信息严重不足的情况下,反复做二选一甚至八选一的淘汰赛,每一轮都可能把真正正确的答案提前干掉。

数据触目惊心。独立生成8个候选答案时,候选池里能找到的最好答案覆盖率(论文里叫Oracle准确率)是81.05%,也就是说如果有一个全知全能的裁判,能达到这个上限。但经过确定性剪枝之后,同样是8个候选,这个上限直接掉到了67.30%,一下子损失了13.75个百分点的潜力。更直观的对比是候选答案的多样性:独立采样时平均每道题能收集到4.31种不同答案,剪枝之后只剩1.75种,答案的丰富度直接砍掉了一大半。

这就好比公司招聘,原本简历库里有8份不错的候选人材料,理论上其中至少有一份是完美匹配岗位的。但如果你在筛选的第一轮就急着淘汰,而且这一轮筛选人对候选人背景几乎一无所知(信息量太少),那结果很可能是,那份真正合适的简历,在你还没来得及仔细看之前,就已经被扔进垃圾桶了。如果不这么早筛选,而是让所有候选人都先完整地走完一轮面试流程再综合评估,那份好简历活下来的概率会高得多。这正是论文里"晚一点引导、多保留几个候选"能够提升准确率的原因:把筛选往后推,等信息更充分了再下判断,盲筛的风险就小了。

论文还做了一个反事实分析,追溯到底是哪个阶段的剪枝伤害最大。结果发现,在最开始的状态就做Top-1剪枝,有46%的概率会把所有能走向正确答案的路径全部剪掉;等到最终状态才剪,这个风险降到19.92%。风险几乎减半,但依然不小。如果每次保留4个候选而不是1个,最终状态的风险能压到5.93%。这组数字说明了一个朴素的道理:剪得越早、剪得越窄,丢失正确答案的风险越高。

裁判模型的第二重失败:它连终局判断都做不好

到这里你可能会想,那如果换个思路,不在中途剪枝,而是用某种更温和的方式(比如粒子重采样)保住候选池的多样性,最后再让裁判模型统一打分选一个,是不是就能解决问题了?

论文确实做了这个实验,用的是序列蒙特卡罗采样方法。

序列蒙特卡罗(SMC):一种通过对多个候选路径进行加权重采样来维持多样性的搜索方法,不像Top-1剪枝那样粗暴地只留一个,而是根据权重概率性地保留和复制候选,理论上能更好地保留潜力路径。

结果是,SMC确实把候选池的Oracle准确率从67.30%拉回到了77.89%,挽回了将近11个百分点,证明候选池的多样性问题确实可以通过更温和的采样策略缓解。

但接下来的转折才是这篇论文最扎心的发现:即便候选池被修复得几乎和独立采样一样健康,用同一个过程奖励模型去做最终选择,准确率依然只有65.48%,跟粗暴剪枝的65.18%几乎没区别,远远低于用专门的终局裁判(ORM)选择独立候选池达到的75.13%。

也就是说,问题根本不只是"候选池被剪坏了",而是这个训练来给中间状态打分的裁判模型,拿去做最终裁决的时候,本身就不够格。

结果奖励模型(ORM):一种只在最终生成结果完整之后进行评分的裁判模型,不需要理解中间过程,只需要判断最终答案对不对,因此可以更专注、更精准地学习"什么样的完整答案是对的"这件事。

论文对这一点做了个特别清晰的对比实验:把同一批候选答案,分别交给三种不同的打分模型重新排序。用训练时见过各种遮盖比例状态的裁判模型(论文管它叫"跨遮盖度PRM")打分,准确率只有42.84%,基本等同于随机选;而专门只在完整答案上训练的终局裁判模型,准确率一下跳到75.40%,和专门的ORM几乎打平(75.13%)。

这组数字揭示的道理相当直接:一个模型如果被训练成什么阶段的半成品都要看、都要判断,它反而在最擅长的"看完整答案判断对错"这件事上变弱了。这就像一个全科医生和一个专科医生的区别,全科医生什么病都能看一点,但真到了做复杂手术的时候,你还是更愿意找专门做这一类手术的专家。跨遮盖度训练的裁判模型试图兼顾"早期判断"和"终局判断"两种能力,结果两头都没做到最好,尤其是终局判断这个本该最容易做好的部分,反而被拖累了。

论文还用一个具体案例把这个失败具象化了。有一道关于电费计算的题目,正确答案是21美元。三个候选答案里,一个算错了(只算了30美元,还漏掉了乘以7天这一步),另一个把加减号搞反了(算出15美元),只有第三个是对的(算出21美元)。结果那个基于因果注意力的裁判模型,给算错的第一个候选打出了最高分(+1.001),给唯一正确的答案打了最低分(-0.908)。这种"自信地选错"的情况,在整个测试集的1319道题里,竟然出现了639次,接近一半。

这就好比一个自动质检系统,信心满满地把良品打上"次品"标签,把真正的次品放行,而且这种误判不是偶尔发生,是接近一半的产品都判反了。你还敢完全相信它吗?

为什么"因果注意力"的裁判天生就吃亏

论文花了相当大的篇幅去拆解,为什么基于因果注意力(也就是从左到右读取信息)的裁判模型,普遍比双向注意力的裁判模型表现差。

一开始大家可能会以为,这只是"读取顺序习惯"的差异,训练久一点、调整一下读出方式(论文里叫"readout",也就是模型最终怎么把内部状态汇总成一个分数)应该就能补上差距。

论文确实测试了这个假设。原本这些因果模型用的是"均值池化",也就是把所有能看到的词的内部表示取平均,当作最终分数。作者把它换成了"末位词读出",也就是只用序列最后一个非遮盖词的内部状态来打分,这是传统从左到右模型里更常见、更符合其信息处理方式的读出方法。

换了这个读出方式之后,终局状态的判断准确率从0.61跳到了0.73,补上了原本和双向模型之间大约70%的差距。这说明相当一部分性能损失,确实是"读出方式"这个相对表面的设计问题造成的,而不是"因果注意力"这个底层架构本身完全不行。

但即便补上了70%,剩下的30%差距依然顽固地存在。作者又做了两组对照实验来排除其他简单解释。

第一组实验,把候选答案生成部分右半段的内容直接清零,看双向模型的判断力会不会因此下降。结果几乎没变化(变化只有0.001),说明双向模型的优势不是简单地"因为它多看了后面一半的内容"。

第二组实验更巧妙:把因果模型的输入序列倒过来读一遍(相当于从右到左读),再把这个反向读取的结果和正常的正向读取结果取平均,看能不能借此获得类似双向的效果。结果这个反向读取的准确率直接跌到0.500,也就是完全随机。为什么会这样?因为这些模型用的位置编码方式(叫RoPE,旋转位置编码)在预训练阶段只见过正常顺序的文本,一旦把顺序倒过来,模型对"位置关系"的理解全部乱套,输出的分数完全没有意义。这个平均操作等于白折腾一场。

旋转位置编码(RoPE):一种让模型理解词语在句子中先后位置关系的技术,通过对词向量做旋转变换来编码位置信息,这种方式让模型能感知相对距离,但一旦颠倒词序,原本学到的位置关系就全部失效。

这两组排除实验说明,双向模型的优势不是靠"多看点内容"这种表面技巧就能复制的,它涉及更根本的建模能力:双向模型在训练时,天生就能针对任意组合的已知词去理解上下文,不受任何固定顺序的束缚;而因果模型无论怎么调整读出方式,骨子里还是被锁定在一种固定的、从左到右的信息处理路径上。扩散模型生成过程中产生的那种"支离破碎"的半成品状态,恰恰最考验的就是这种不依赖固定顺序的理解能力。

论文最后提出了一个尚未验证但很有前景的思路,叫排列语言模型,也就是训练阶段让模型见识各种随机打乱的词语顺序组合,但推理阶段依然保持从左到右生成。如果这种模型能缩小和双向模型的差距,就能证实差距的根源确实在于"能否理解任意顺序的上下文"这件事本身,而不是其他次要因素。这是论文留给后续研究的一个明确方向。

代价对等的比较:换个赛道结果依然一样

这篇论文特别注重一件事:公平比较。

如果你只是简单地说"引导方法准确率比另一种方法低",读者完全可以质疑,会不会是引导方法用的计算资源本来就比对照组少?毕竟,如果对照组多花了好几倍的算力,那准确率高一点也不奇怪。

论文的解决办法是,把每一种方法消耗的"前向传播次数"(可以理解为模型进行一次计算所花费的基本计算单位)全部统一记账。无论是普通生成、多数投票、结果奖励模型重排序,还是过程奖励模型引导,都换算成同一个单位下的开销,严格控制在同一个预算线上比较。

在这套统一的计费体系下,论文在GSM8K数学题(小学应用题水平的数学推理测试集)、MATH(难度更高的数学题集)和MBPP(编程代码生成任务)三个完全不同类型的任务上,都得出了同样的结论:独立采样加终局裁判重排序,系统性地打败了过程奖励模型的实时引导。GSM8K上差距是9.95到12.69个百分点,MATH上是9.85个百分点,MBPP上是12.16个百分点。

MBPP这个任务尤其能说明问题的根源在哪里。在这个编程任务上,过程奖励模型如果拿去给写完的完整程序重新打分排序,表现是65.47%,和专门的结果奖励模型(63.04%)基本打平,甚至略高。但一旦让它去做实时引导,准确率直接掉到50.88%,损失了14.6个百分点。这说明在MBPP这个任务上,裁判模型本身的终局判断能力是没问题的,问题完全出在"引导"这件事本身:提前介入、提前剪枝这套操作,就是会伤害候选池的质量,跟裁判模型判断准不准是两码事。

这个发现意义不小,因为它把论文的核心结论拆成了两个可以独立验证、独立解决的问题:第一,候选池会被过早、过窄的剪枝所破坏;第二,一个被训练来适应各种中间状态的裁判模型,往往在终局判断这件事上打了折扣。这两个问题各自有各自的解法,不需要放弃PRM引导这个思路本身,而是需要对症下药。

论文还在另一个扩散模型骨干LLaDA-8B上重复了这套实验,结果同样支持双向裁判模型优于因果裁判模型的结论:双向引导达到31.64%,因果引导只有22.25%,相差超过9个百分点。这说明前面这些发现不是某一个特定模型架构的偶然巧合,而是具有一定普遍性的规律。

一点值得琢磨的余味

读完这篇论文,最让我意外的地方不是那些具体的百分比,而是它揭示的一种更普遍的现象:一个系统看起来"技术上更先进"(实时监控、动态调整),不代表它在实际效果上就一定更优。

很多时候,复杂的机制反而是在信息不充分的时候强行做决策,而简单的机制(生成完再统一挑选)恰恰把决策推迟到了信息最充分的那一刻。这不只是扩散模型或者机器学习领域的教训,几乎所有需要"边做边判断"的系统设计,都可能踩到同样的坑:开会时过早地否决一个还没展开的想法,项目管理里过早地砍掉一个还没充分验证的方向,都是同一种逻辑错误的不同变体。

论文里还有个细节我觉得特别值得单独拎出来说:那个跨遮盖度训练的裁判模型,单独看它在完整答案上的ROC-AUC能到0.78,数字看起来还不错。但这个整体统计意义上"看起来不错"的模型,拿到具体某一道题的八个候选答案里做排序时,表现却和瞎选差不多。论文用一个数学证明说明了这种现象的普遍性:一个模型完全可以在"整体上很会分辨难易"和"具体到某一题上完全不会排序"这两件事之间自相矛盾地共存。这提醒我们,任何一个"整体准确率很高"的评估指标,都可能掩盖模型在具体应用场景里的真实表现,尤其是当应用场景要求的是"在一组候选里挑出最好的那个",而不是"孤立地判断对错"的时候。

这个区分,可能比这篇论文里任何一个具体的百分比数字都更值得记住。

Q&A

Q1:过程奖励模型引导为什么在扩散语言模型上效果不好?

A:因为扩散模型生成过程中的中间状态是零散揭开的信息,不是连续前缀,裁判模型在遮盖率高时判断力接近随机(ROC-AUC仅0.54),提前用这个弱信号剪枝会把正确答案路径过早淘汰,导致最终准确率反而低于简单的独立采样加终局重排序。

Q2:双向注意力裁判模型和因果注意力裁判模型差在哪里?

A:双向模型能同时看到所有已知位置的信息不受顺序限制,因果模型只能按固定的从左到右顺序理解信息。论文实验显示,换成末位词读出能补上约70%的差距,但仍有约30%差距无法靠调整读出方式消除,说明根源在于能否理解任意顺序上下文这项底层建模能力。

Q3:结果奖励模型和过程奖励模型有什么区别?

A:结果奖励模型只在生成结果完整后打分,专注判断最终答案对错;过程奖励模型需要给生成过程中各种不完整的中间状态打分。论文发现只训练在完整答案上的模型(结果奖励模型或终局裁判)明显优于同时兼顾各阶段的过程奖励模型,尤其在终局选择准确率上差距显著。