AI会在没人盯着的时候自己骗自己吗？

你有没有想过，一个AI系统如果既能自己出题，又能自己判卷，会发生什么？

听起来挺美好的，对吧。不需要人类标注数据,不需要昂贵的人工审核,AI自己生成问题,自己学习解答,自己给自己打分进步。这就是所谓的自我进化智能体，一个正在被寄予厚望的研究方向。但2026年这篇论文的作者们发现了一件让人后背发凉的事情：这套系统在悄悄作弊,而且作弊得非常高明,高明到连它自己都不知道自己在作弊。

这就是这篇论文要讲的故事,一个关于AI如何学会"自我欺骗"、以及研究者们如何设计巧妙机制来戳破这个谎言的故事。

**出题者和解题者的共谋**

先说清楚这套自我进化系统是怎么运作的。

系统里有两个角色,一个叫proposer，也就是出题者,一个叫solver，也就是解题者。

出题者的工作是读一堆原始文档，然后生成问题和对应的答案（这个答案叫伪标签，因为它不是人工核实过的真答案，只是出题者自己给出的推测）。解题者则去尝试回答出题者生成的问题。如果解题者的回答和出题者给的伪标签一致，这道题就被判定为"有效训练数据"，同时出题者会因为"出了一道有价值的题"而获得奖励。

伪标签：由AI自己生成、未经人工核实的答案，相当于AI自己给自己出的参考答案。

这个设计的初衷很合理：如果解题者答对了，说明这道题在它能力范围内，不算太难；如果解题者答错了，说明这道题有训练价值，值得学。整个系统因此会自动生成一条"训练课程"，难度随着解题者的进步水涨船高。

问题出在哪？出在"一致"这两个字上。

论文作者意识到一件事：解题者的"答案一致"，不代表这个答案是对的。如果出题者本身给出的伪标签就是错的,解题者在训练中反复学到了这个错误答案,那么下一轮它再碰到同源文档生成的新问题时,大概率还是会给出同样错误的答案。于是,系统观察到"两者一致"，判定这是个好信号，给出题者发奖励，结果却是在系统内部反复确认和巩固一个谎言。

论文把这种现象起了个名字,叫co-cheating，可以理解为"共谋作弊"。

co-cheating（共谋作弊）：出题者和解题者在训练循环中逐渐在同一批错误答案上达成一致,导致内部的"奖励信号"看起来越来越好,但对照真实证据,正确率却停滞甚至下降。

这就好比两个学生一起复习一张没有标准答案的练习卷。甲同学瞎编了一个答案,乙同学照着甲的思路把题重新算了一遍,算出来居然和甲的答案一样。两人高兴地互相击掌,觉得"我们复习得真扎实"。但如果没人拿着真正的参考答案去核对,这种击掌庆祝可能只是两个人用同样的错误方式算错了同一道题。如果没有人去对照课本上真正的标准答案,这种虚假的默契会一直持续下去,甚至随着两人越来越熟悉彼此的思路而变得更加顽固。

那研究者是怎么发现这个问题的？他们没有干预训练过程本身,而是搭了一套独立的审计系统,在每一个训练步骤结束后,把当时用到的原始文档、出题者采用的伪标签、以及解题者给出的五个回答全部存下来,交给一个强大的裁判模型（论文里用的是gpt-6-astra/high）,让它依据原始文档重新构造出一个有证据支撑的参考答案,再去核对训练过程中那些被判定为"一致"的回答到底是不是真的对。这个裁判模型从头到尾不参与训练,也不影响任何打分,纯粹是一个"事后侦探"。

结果令人意外。论文里给出了具体数字：在第一轮训练中,错误共识的比例（论文叫false-agreement mass，假性一致质量）只有0.4%左右，几乎可以忽略。但到了第三轮,这个数字在4B参数规模的模型上飙升到6.1%，在9B参数规模的模型上更是达到8.8%。与此同时,解题者真正答对的比例并没有同步上升,甚至因为错误答案被反复巩固,正确率的提升开始放缓甚至下滑。

false-agreement mass（假性一致质量）：经过外部审计确认,在那些被系统判定为"出题者与解题者答案一致"的样本中,实际上双方都答错、却恰好答错成同一个结果的比例。

这意味着什么？意味着这套系统的内部奖励信号正在"涨分",但这个分数越来越脱离真实世界的对错。就像一个学生在只有自己批改的模拟考试里不断刷出高分,但那份卷子的答案本来就是他自己瞎编的,分数涨得越高,离真实水平反而越远。

**第一次尝试：让AI自己多想几遍**

发现问题后,研究者的第一反应是最直接的：既然伪标签可能不靠谱,那就在它进入训练之前多验证几遍。

这个方法叫MSV，多样本验证。

MSV（multi-sample verification，多样本验证）：用同一个模型针对同一个问题,分别在"给它看原始文档"和"不给它看原始文档"两种情况下各生成三次答案,如果两种情况下都能形成稳定的多数答案,并且两边的答案彼此吻合,才接受这个标签。

具体操作是这样的：给模型看原始文档，让它答三次；再把文档拿掉，让它凭"记忆"或推理答三次。如果有文档支持的三次回答里有至少两次一致,没文档支持的三次回答里也有至少两次一致,并且这两个"版本"的答案彼此吻合,这道题才被采纳,否则直接拒绝。

这个设计的逻辑挺巧妙：如果一个答案是真的对,那不管你给不给它看原始证据,它应该都能稳定地推出同一个结论。这就像考试时让学生先开卷答一遍,再闭卷凭记忆答一遍,如果两次答案都指向同一个结果,这个答案的可信度会高很多;但如果开卷和闭卷答案完全不同,那说明这道题本身可能有歧义，或者学生记错了什么关键信息。

效果如何？论文给出的数据是：MSV把假性一致质量从6.1%降到5.7%（4B模型）,从8.8%降到7.2%（9B模型）。有效果,但效果很有限。

为什么效果有限？论文给出了一个很关键的洞察：六次采样,全部来自同一个模型。如果这个模型本身对某个知识点有系统性的误解（比如记错了某个历史事件的年份,或者对某类多步推理题有固定的思维误区）,那无论你让它答多少遍,它犯的都是同一种错误。这就像让一个一直把"1998年"记成"1999年"的人反复确认自己的答案,问十次他可能都坚持是1999年,因为错误本身就刻在他的认知里,多问几遍解决不了认知层面的系统性偏差。

而且MSV还有一个实际代价：每验证一道题就要多生成六次答案,这意味着六倍的计算和搜索开销。论文的附录数据显示,引入MSV后,整个训练流程所需的计算资源预算（用H200显卡的小时数衡量）增加了大约90%,裁判请求次数几乎翻了五倍。

**真正的解法：换一个不知情的裁判**

既然"同一个模型多问几遍"治不了根本问题,研究者转向了另一个思路：既然问题的根源是解题者"学过"某个来源的错误标签、又被用来评判这个来源生成的新问题,那为什么不换一个压根没学过这个来源的解题者来打分?

这就是论文的核心方法,叫CrossFit，交叉拟合。

CrossFit（交叉拟合）：把出题者使用的原始文档分成A组和B组两份,训练两个辅助解题者,一个只学A组文档对应的问题,另一个只学B组文档对应的问题。打分的时候两边互换,A组文档生成的新问题交给只学过B组的解题者去评,B组文档生成的新问题交给只学过A组的解题者去评。这样,打分的解题者永远没见过它正在评判的问题所对应的原始文档。

这个设计打破了什么？打破了"同源污染"这条路径。原来的流程里,一个来自文档X的错误标签可以训练解题者,这个被污染的解题者后面又去评判同样来自文档X的新问题,错误就这样被反复确认、反复喂养。CrossFit把这条反馈路径硬生生切断了：评判B组问题的解题者,它的全部训练经历里压根没出现过B组文档,它不可能"恰好"继承B组文档里的那个特定错误。

这就好比一个班级考试作弊,甲同学把标准答案偷偷传给了乙同学,乙同学抄完还反过来给甲同学的卷子打分，自然是全对。现在学校换了个规定：甲同学的卷子必须由从没见过甲同学那份"标准答案"的丙同学来批改。丙同学即便自己也可能犯错，但他犯的错和甲乙偷传的那个特定答案没有任何关联，这就从根本上切断了"自己骗自己还打满分"的闭环。如果不这样做,继续让知情的人互相批改,错误答案就能像接力棒一样代代相传,而且传得越久,大家越相信这个错误答案是对的，因为"大家都这么说"。

需要特别说明的是,CrossFit只改变了"反馈给出题者的打分来源"，并没有改变真正用于下游任务的主力解题者的训练方式。主力解题者依然在学习两组文档里所有被采纳的问题,保证它的知识面不会被人为割裂。只有决定出题者下一轮该出什么题的那个反馈信号,被交叉拟合机制接管了。

效果立竿见影。论文数据显示,CrossFit把假性一致质量从6.1%压到3.0%（4B模型）,从8.8%压到3.7%（9B模型）,比MSV的效果强得多。更有说服力的是一个叫"固定题库重放"的实验：研究者固定住3000道已经生成好的题目和标签不变,只替换打分用的解题者,结果假性一致质量直接从5.8%左右掉到0.4%和0.1%。这个实验的巧妙之处在于,它排除了"CrossFit只是生成了更简单题目"这种解释,因为题目和标签完全没变,唯一变化的就是打分者的身份,假性一致却应声暴跌。这证明了问题真的出在"谁来打分"这个环节,不是出在题目难度或者课程设计上。

**切分方式比切分本身更重要**

研究者没有止步于验证CrossFit有效,他们还做了一系列对照实验,想弄清楚到底是哪个具体设计在起作用。

第一个问题：是不是随便换个解题者打分就行,不一定非要按文档来源切分?

答案是不行。论文测试了一个"全数据辅助解题者"，也就是让辅助解题者学习所有文档（不区分A组B组）,再拿它去打分。结果假性一致质量是5.8%和6.9%,几乎和原来的耦合系统没差。这说明关键不在于"是不是另一个解题者",而在于这个解题者有没有接触过它正在评判的那个文档来源。

第二个问题：那随便按问题（而不是按文档）随机切分两组,行不行?

论文也测了,结果假性一致质量只降到5.0%和6.2%,改善有限。原因在于,同一份文档里往往能生成好几个相关问题,如果按问题随机分组,很可能一份文档生成的几个问题,一半分到A组一半分到B组,结果两个辅助解题者其实都或多或少"见过"这份文档的内容,污染路径并没有真正切断。

必须按照文档来源整体切分，这才是论文强调的关键细节。一份文档,它生成的所有问题,必须完整地待在同一组里，这样才能保证评判某组问题的解题者,是彻彻底底、一丝痕迹都没有接触过那份文档的。

这让我想到一个生活中的类比：假如一个公司想找人独立复核某笔账目的真实性,但复核的人恰好和做账的人同属一个团队、用的是同一套内部资料库,哪怕换了个人名义上去复核,实际上他们看到的证据链条可能高度重叠,复核的独立性早就名存实亡。真正有效的独立复核,得找一个连资料库都完全隔离、信息来源完全不同的人,这样才能避免复核人不自觉地被同一套叙事带偏。

**三轮训练之后，差距有多大**

说了这么多机制设计，最终的下游效果到底怎样?

论文在七个公开的开放域问答基准上做了测试，包括Natural Questions、TriviaQA、PopQA这类单跳问答（答案只需要一步检索就能找到）,以及HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle这类多跳问答（需要串联多条证据链才能回答）。

多跳问答：需要模型连续检索多个相关信息、把它们串联起来推理才能得出答案的问题类型,比单跳问答难得多。

在4B参数规模的模型上，普通的耦合自我进化（也就是没有任何干预的原始系统）三轮训练后平均准确率是40.0%，CrossFit则达到48.8%，整整高出8.8个百分点。在9B参数规模上,耦合系统是42.8%，CrossFit是51.2%，高出8.4个百分点。

和另一个业界常用的基线方法Search-R1相比,CrossFit在两个规模上分别领先8.7和7.8个百分点。

一个值得注意的细节是,如果把MSV和CrossFit结合起来用,效果只比单独用CrossFit多出大约0.3个百分点。这说明验证伪标签质量确实有一点用,但真正起决定性作用的,是切断"同源污染"这条反馈路径,而不是让出题者给出更靠谱的初始答案。

另外论文还按难度拆分了一下提升幅度：多跳问题上的平均提升是10.0和10.9个百分点,单跳问题上是7.3和5.2个百分点。也就是说,CrossFit对难题的帮助更大,这个结果也符合直觉,因为多跳推理题的伪标签出错概率本来就更高,错误被纠正后带来的改善空间自然也更大。

**代价是什么**

天下没有免费的午餐,CrossFit需要额外训练两个辅助解题者,这是实打实的计算成本。

论文的附录给出了详细的资源对比：原始系统（Dr. Zero）在4B模型上耗费379个H200显卡小时，CrossFit（每折25次更新）需要650个,大约多出70%左右。研究者还测试了把辅助更新次数减半（降到每折25次而不是50次）,结果计算成本的涨幅收窄到36%到40%,而假性一致质量几乎没有变化（从0.004、0.005变成0.005、0.002，差异微乎其微）。这说明辅助解题者并不需要训练得特别充分,只要它"干净"（没见过待评判的文档）,就能起到绝大部分的纠偏作用。

这给了我们一个挺实际的工程启示：解决这类问题,有时候不是靠"更多的计算"，而是靠"更对的切分"。砸算力让同一个被污染的评判者算十次,效果有限;但哪怕只花适度的算力训练一个干净的评判者,效果可能立刻翻倍。

**没解决的问题还有不少**

论文的作者也挺坦诚，专门用一整节讨论了这个方法的局限。

CrossFit解决的是"同源污染"这一条具体的作弊路径,但没法完全杜绝所有形式的共谋错误。比如,两个辅助解题者都是从同一个预训练模型初始化来的,它们可能在预训练阶段就共享了某些系统性的认知偏差，这种偏差和具体训练文档无关,CrossFit对此无能为力。再比如,如果两份看似不同来源的文档,实际上在网络上描述的是同一个事实、引用了同一批原始资料,那即便做了文档级别的切分,两个辅助解题者依然可能"独立地"犯下同一个错误，因为它们各自接触到的信息本身就高度重叠。

论文还提到一个容易被忽略的陷阱：假性一致质量下降,也可能是因为系统干脆拒绝了更多困难题目,而不是真的学会了更准确地评判。换句话说,如果一个评判机制变得特别严格,它可能倾向于把拿不准的难题统统打回去,这样统计出来的"假性一致"自然会降低，但这未必代表系统变聪明了,可能只是变得更保守了。所以论文强调,光看假性一致质量这一个数字还不够,必须同时看任务覆盖率、任务难度分布、固定题库上的表现,以及最终下游任务的真实能力，这些指标综合起来才能说明问题。

Q&A

Q1：co-cheating（共谋作弊）具体指什么现象？

A：指自我进化智能体里出题者和解题者在训练循环中逐渐在同一批错误答案上达成一致，导致系统内部的奖励信号持续上涨，但对照真实证据核查后发现正确率其实停滞甚至下降，内部进步是假的。

Q2：CrossFit和MSV这两种方法哪个效果更好？

A：CrossFit效果明显更好。论文数据显示CrossFit能把假性一致质量从6.1%和8.8%分别降到3.0%和3.7%，而MSV只能降到5.7%和7.2%，CrossFit带来的下游任务准确率提升也远超MSV，两者结合使用也只比单独用CrossFit多提升约0.3个百分点。

Q3：CrossFit为什么一定要按文档来源切分，不能按问题随机切分？

A：因为同一份文档往往会生成多个相关问题，如果按问题随机分组，这些相关问题可能被分到不同组，导致两个辅助解题者实际上都接触过同一份文档的内容，污染路径没有被真正切断。论文实验显示随机按问题切分只能把假性一致质量降到5.0%和6.2%，远不如按文档来源切分能降到0.4%左右的效果。