意外的成功，重复的失败：让AI学会区分"侥幸对了"和"稳定犯错"

你有没有想过，一道数学题你解对了，但如果重新来一遍，你还能解对吗？

这个问题听起来很怪，但对训练大语言模型做推理来说，它是个大问题。现在流行的做法是让模型自己生成一堆解题过程，然后用对错来打分，对的加分，错的扣分。这套逻辑简单粗暴，但有个致命的盲点：一次答对不代表真的会，一次答错也不代表完全不会。

这篇来自KAIST（韩国科学技术院）的论文，标题叫《Surprising Success, Repeated Failure》，讲的就是怎么把这个盲点补上。

先说说这件事到底难在哪

现在训练推理模型主流用的方法叫RLVR

**RLVR**：全称是"带可验证奖励的强化学习"，简单说就是让模型自己做题，做完之后用标准答案检查对不对，对了奖励，错了惩罚，靠这个信号来改进模型

这套方法的代表是DeepSeek-R1和GRPO算法，效果确实不错。但问题出在奖励的粒度上：模型写一大段推理过程，可能几百上千个token，最后只判断"对"或"错"，然后把这一个分数平均分给这段话里的每一个词。

这就好比一场足球比赛，全队踢了90分钟，最后进了一个球，教练把这个球的功劳平均分给场上每一个球员，包括那个在中场无所事事晃了半小时的人，也包括那个精准直塞的人。

如果不区分功劳大小会怎样？训练信号就会变得很稀，明明是某一步的关键转折决定了成败，却被稀释成了全队平均分。研究者们早就意识到这个问题，于是开始琢磨怎么把奖励拆到每个词上去，这就是所谓的"细粒度信用分配"。

有人尝试用额外的模型去打分，有人靠多次采样去估计每一步的价值，还有人利用"特权信息"（比如提前知道正确答案的思路）来指导。这些方法都有用，但都很贵，要么加模型，要么加计算量，要么需要普通训练场景里根本拿不到的信息。

于是就有人想到了一个几乎免费的信号：策略熵。

策略熵这个东西，到底告诉了我们什么

**策略熵**：模型在生成下一个词时，对各种可能词语的不确定程度。熵越高说明模型越纠结，有好几个词都差不多想选；熵越低说明模型很笃定，几乎认准了一个词

这个信号是白捡的，因为模型每生成一个词，本来就要计算所有候选词的概率分布，从这个分布里顺手算一下熵，不需要额外跑模型、不需要额外采样。

已经有研究发现，高熵的位置往往是推理路径的"岔路口"，模型在这里犹豫要不要换个思路。于是很自然地，有人想到：既然高熵代表探索的关键点，那就在训练时多给高熵位置一些关注,不管是加分还是扣分,都往这些位置倾斜。

这篇论文的作者们觉得不对劲。他们提出一个尖锐的问题：不确定性,真的应该在奖励和惩罚时被同等对待吗?

举个例子。假设一段回答最终做对了，其中有个高熵的转折点，模型当时其实很犹豫要不要往这个方向走。现在你重赏这个位置，没问题，这确实是值得鼓励的探索。但如果一段回答最终做错了，同样有个高熵的转折点呢？如果你在这里下重手惩罚，你惩罚的恰恰是模型还留有退路、还能选择别的方向去补救的那个岔路口。

这就像医生看病历。病人痊愈了，医生回头看当初那个"要不要换药"的犹豫决定，觉得这步棋走对了，值得写进教材大力表扬。但病人如果没治好，医生翻到同一类"犹豫要不要换药"的节点，反而下重手批评这个犹豫,这不是本末倒置吗？真正该挨批评的，是那些病人已经病危、医生却还坚持老方案不肯改的"顽固"时刻，也就是低熵、确信但错误的决策点。如果不做这个区分，你其实是在惩罚"还有救"的病人，放过"死不悔改"的坚持。

为了验证这个直觉，作者们做了一个很扎实的实验。

用重新采样验证一个反直觉的发现

他们找来Qwen3-4B和8B两个基础模型，挑了20道中等难度的数学题，每道题选出两个答对的回答和两个答错的回答。在每个回答内部，找出一段32个词的高熵窗口和一段低熵窗口，然后固定住窗口之前的内容，让模型从这里重新生成64次，看看结果如何。

结果相当反直觉。

对于原本答对的回答，如果从高熵窗口重新采样，准确率只有39%到42%左右；但如果从低熵窗口重新采样，准确率能到58%到63%。

这说明什么？那个答对的过程,如果是靠一次运气好的高熵抉择撞对的，换一次可能就不灵了。这种成功很难复制，论文管它叫"意外的成功"。

而对于原本答错的回答，情况正好反过来：从低熵窗口重新采样，准确率只有3%到7%,几乎肯定还是错;但从高熵窗口重新采样，准确率能提升到16%左右。

这说明模型在低熵位置上是"死心眼"地坚持错误路线，换多少次都没用，这叫"重复的失败"；但同一个错误答案里，那些高熵的岔路口其实还留着翻盘的机会。

研究者们还做了一个挺有意思的词频分析,看模型在答对和答错的回答里,高熵位置和低熵位置分别爱用什么词。结果发现,高熵位置上不管答对答错都爱出现"让我们试试""考虑一下""换个思路"这类探索性词汇,而低熵位置上,在答错的回答里,反而集中出现"最终""确认""因此"这种下结论的词。

这幅图景其实挺生动的：模型在错误的路上,嘴上说着"最终""确认",语气笃定得很,但实际上是一条走到黑的死胡同。而它在探索性的表述背后,反而藏着翻盘的种子。

基于这些观察，研究者们提出了他们的核心方法。

EAPO：让熵和对错方向联动起来

论文提出的方法叫EAPO

**EAPO**：全称是Entropic Advantage Policy Optimization，中文可以理解为"熵引导的优势策略优化"，核心思路是让策略熵和对错信号（也就是"优势"的正负号）联动，反转奖励和惩罚时对熵的偏好方向

这里有个概念需要先解释一下。

**优势（advantage）**：在强化学习里，衡量某次采样表现比平均水平好还是差的指标，正的优势代表这次表现值得鼓励，负的代表需要修正

EAPO的做法简单来说就是：一段回答如果整体做对了（优势为正），就给这段回答里熵值高的词更大的奖励权重；一段回答如果整体做错了（优势为负），就给熵值低的词更大的惩罚权重,而熵值高的词的惩罚力度会被削弱。

用数学公式表达，就是把原本平均分给每个词的分数，重新按照"熵值乘以对错方向"这个信号做加权分配，总分数不变，但分布不再均匀。

这个设计好在哪里？

它解决的核心矛盾是：如果高熵和低熵在奖惩两边用同一套标准，那强化学习学到的信号就会自相矛盾。比如按之前的一些方法（像80/20或HAPO），无论对错都盯着高熵位置使劲，结果就是：一段答错的回答里，那些"模型还在犹豫、还没关死的门"，反而被最狠地关上了。这不就是把还能补救的机会亲手掐灭了吗？

论文还给出了理论层面的支撑。作者证明了一个命题，说这种熵加权的分配方式，其实等价于在词的层面做了一种"KL锚定"

**KL散度（KL Divergence）**：衡量两个概率分布之间差异程度的一种指标，在强化学习里常用来约束新策略不要偏离旧策略太远，防止训练跑偏

意思是这种做法有严谨的数学解释,不是拍脑袋想出来的权重分配。他们还证明了另一个命题：当你对一个位置施加惩罚时，惩罚力度越大，剩下那些没被选中的候选词的概率分布会变得越集中、越扭曲。换句话说，狠狠惩罚一个高熵位置，相当于在本来还有好几个选项的地方，强行把选项压缩成更少的几个，等于是把探索空间越削越窄。

这就好比一个正在纠结选专业的学生，本来他有三个候选方向，正在权衡利弊。如果这时候有人因为他某次选择结果不好就把他狠狠训一顿，逼着他立刻关死另外两个选项、只留一个不那么讨厌的，那他以后再也不会主动去探索别的可能性了，哪怕那些可能性原本更好。适度的引导和粗暴的惩罚，效果完全不一样。

实验结果：从数学到逻辑推理的全面提升

研究者在六个高难度数学竞赛题集上测试了EAPO，包括AIME24/25/26、HMMT26、AMC23和MATH500的高难度子集。对比的基线方法包括标准的GRPO、加熵奖励的EntropyAdv、双向增强高熵的HAPO、只更新高熵词的80/20，以及利用特权信息的RLRT。

在Qwen3-4B-Base这个基础模型上，EAPO把AIME24的平均准确率从GRPO的12.5%提到了20.2%，AIME25从10.4%提到17.1%，AIME26从7.5%提到15.7%，几乎都是接近翻倍的提升。即便是跟表现最强的对比方法比,EAPO在几乎所有指标上都保持领先，而且EAPO完全不需要RLRT那种依赖特权信息的辅助手段。

在更大的Qwen3-8B-Base上也是类似的规律，AIME24从12.8%提升到24.1%，几乎翻倍。就算换到已经很强的推理模型Qwen3-4B和Olmo-3-7B-Think-DPO上，EAPO依然能挤出额外的提升空间，这说明它不是只对弱模型管用的补丁,强模型也能继续受益。

除了数学题，研究者还在Reasoning Gym这个包含图论、数独、逻辑谜题等八类任务的测试集上验证了泛化能力。结果显示，EAPO在两个基础模型上都拿到了最高的平均分，比如在Qwen3-8B-Base上从GRPO的38.3分提升到43.0分。这意味着EAPO学到的不是针对数学题的小技巧，而是一种更通用的探索策略。

更有意思的是训练过程中的一些细节。研究者观察到，EAPO训练出来的模型平均熵值反而比EntropyAdv和HAPO更低，但推理效果却更好。这打破了一个可能存在的误解：以为"鼓励探索"就等于"让模型变得更不确定"。EAPO证明了，探索的关键不在于整体熵值高低，而在于把有限的不确定性用在刀刃上。

这个结论还有另一层验证，来自对回答多样性的分析。研究者专门挑出那些初始模型正确率很低的难题，测量模型生成答案的多样程度。结果EAPO的"碰撞率"（也就是两个不同回答给出同一个最终答案的概率）只有0.101，明显低于GRPO的0.166。这说明EAPO面对难题时，会尝试更多不同的解法路径，而不是像其他方法那样反复撞向同一个答案。

研究者还统计了模型生成过程中"认知标记词"的出现频率,也就是像"等等""让我再想想"这类体现思维转折的词。EAPO生成这类词的频率明显超过所有对比方法，这从行为层面印证了它确实在鼓励模型保持探索的习惯，而不只是数字上好看。

论文还做了一系列消融实验来拆解这个方法的每个组成部分。他们尝试了九种不同的"奖励时偏好高熵还是低熵、惩罚时偏好高熵还是低熵"的组合，结果发现EAPO选择的那种组合（奖励时偏高熵、惩罚时偏低熵）表现最好，比统一不做区分的方案高出6.52个百分点。这个结果相当扎实地证明了,不是随便加个熵权重就有效,方向必须对。

他们还测试了一个替代方案，用"惊讶度"（也就是模型对实际选中的那个词感到多意外）代替熵值来做同样的加权。结果这个替代方案训练没几步就崩了，奖励直接掉到零。原因也不难理解：惊讶度只看已经选中的那一个词，哪怕整体分布很集中，一旦偶然抽中了个冷门词，惊讶度也会爆表，这就把"稀有词被选中"和"决策本身犹豫不决"这两件事搞混了。而熵值是看整个候选分布的形状，不受单次抽样结果的干扰，更稳定也更可靠。

这个方法目前的局限在哪

论文的作者们也坦率地承认了局限。

EAPO用的是模型自己的熵作为信号，这意味着它反映的是模型自身已经学到的偏好和信心，而不是一个客观的"这一步到底有多重要"的度量。如果模型本身的置信度和实际的推理贡献不匹配（比如模型对某个关键步骤莫名其妙地很自信，但其实那步是错的），这套机制就可能失灵。

另外，论文目前的分析主要聚焦在"从同一个推理状态出发的不同续写路径"，还没有涉及如何把不同路径、不同尝试里有用的片段组合起来，形成新的解法。作者提到，这有点像最近科学发现领域里的一些思路,比如保留多个候选方案，然后迭代地组合它们有用的部分，去催生新的假设。这算是留给未来研究的一个方向。

写在后面

读这篇论文的过程中，最触动我的其实不是EAPO这个方法本身有多精巧，而是它背后那个朴素但容易被忽视的观察：成功和失败不是对称的事件。

我们平时训练模型的直觉里，总有一种隐含假设,觉得"对"和"错"只是同一把尺子上的两端，用同一套逻辑处理就行了。但这篇论文用重新采样的实验狠狠打了这个假设一巴掌：答对了不代表能稳定复现，答错了也不代表没救。这种不对称性,其实在人类的学习经验里也随处可见,一次押题押中不代表你懂了，一次考砸也不代表你什么都不会，但我们设计学习反馈机制的时候，却经常忘了这一点。

还有一个细节我印象很深，就是论文里那道AM-GM不等式的数学题案例。32次尝试里，28次用AM-GM方法全军覆没，因为大家都在同一个地方犯了同一个代换错误，但其实只要把其中一项拆开重新组合，这条路本来是能走通的。而更少人尝试的拉格朗日乘数法，4次里有1次真的做对了。这个例子特别好地展示了什么叫"重复的失败"和"意外的成功"同时存在于一道题里,不是两种题型的对比，而是同一道题的两种命运。

这让我想到一个问题：如果一个学习系统只会奖励"结果对了"，却分不清这个"对"是稳扎稳打还是撞大运，那它到底在学什么？EAPO给出的答案是，至少要让系统学会区分这两种"对"，学会区分那些"死心眼犯错"和"还有救的犹豫"。这种区分能力，或许比单纯堆砌更多的训练数据、更大的模型规模，更接近让AI真正学会"反思"这件事的起点。

Q&A

Q1：EAPO是什么？

A：EAPO全称Entropic Advantage Policy Optimization，是一种让AI模型在强化学习训练中区分对待"成功"和"失败"的方法，核心是根据策略熵的高低，给正确答案里的犹豫决策更多奖励，给错误答案里的固执决策更多惩罚，同时保留错误答案中还有救的探索路径。

Q2：为什么高熵位置的成功不容易复现？

A：论文通过重新采样实验发现，如果一段答对的回答是靠某个高熵（模型很犹豫）的关键决策撞对的，重新生成时这个决策很可能选到别的方向，导致准确率大幅下降，最多能差20个百分点，这种成功被称为"意外的成功"。

Q3：EAPO在实际测试中效果如何？

A：在AIME24等数学竞赛题上，EAPO相比标准GRPO方法几乎能让准确率翻倍，比如Qwen3-4B-Base模型上AIME24从12.5%提升到20.2%，同时在逻辑推理、算法等非数学任务上也保持最优表现，证明这种方法具备较好的泛化能力。