通过贝叶斯惊喜的开放式科学发现

AUTODISCOVERY：通过贝叶斯惊喜的开放式科学发现

AUTODISCOVERY:Open-ended Scientific Discovery via Bayesian Surprise

https://arxiv.org/pdf/2507.00310?

摘要

自主科学发现（ASD）的愿景不仅依赖于回答问题，还依赖于知道该提出哪些问题。近年来，大多数ASD研究工作探索在目标驱动环境下使用大型语言模型（LLM），依赖人类指定的研究问题来指导假设生成。然而，如果允许AI系统依据自身标准驱动探索，科学发现的进程可能进一步加速。现有少数开放式ASD方法基于多样性启发式或对人类趣味性的主观代理指标来选择假设，但前者难以有意义地导航通常极为庞大的假设空间，后者则受限于定义不精确的问题。

本文提出AUTODISCOVERY——一种开放式ASD方法，该方法使用贝叶斯惊奇度来驱动科学探索。具体而言，我们量化了LLM在获取实验结果后，其对某一假设的后验信念相对于先验信念所产生的认知转变。为高效探索嵌套假设空间，我们的方法采用带有渐进扩展的蒙特卡洛树搜索（MCTS）策略，并以惊奇度作为奖励函数。我们在21个真实世界数据集上评估了AUTODISCOVERY在数据驱动发现任务中的表现，这些数据集涵盖生物学、经济学、金融学和行为科学等领域。

结果表明，在固定预算条件下，AUTODISCOVERY显著优于对比方法，所产生的被LLM判定为令人惊奇的发现数量高出5%–29%。我们的人工评估进一步显示，系统所产生的发现中有三分之二同样令领域专家感到惊讶，这表明本研究是迈向构建开放式ASD系统的重要一步。

1 引言

近年来，使用大型语言模型（LLM）进行自主科学发现（ASD）的研究取得了显著进展 [Majumder et al., 2024b, Wang et al., 2024, Lu et al., 2024, Skarlinski et al., 2024, Majumder et al., 2025, Gottweis et al., 2025, Huang et al., 2025]。大多数先前的工作都是在“目标驱动”环境下运行的：给定一些数据¹，用户需要提供一个研究问题；然后LLM被提示（1）生成与该研究问题相关的假设（即关于世界真实状态的主张），（2）提出实验来检验该假设，（3）生成并执行代码以进行实验，以及（4）分析实验结果以得出结论。

另一方面，虽然已有一些从文献中构思研究想法的工作 [Spangler et al., 2014, Baek et al., 2025]，但对完整的“开放式”环境的研究仍然有限。在这种环境下，ASD系统自身依据其研究前景的衡量标准更广泛地探索，生成假设，执行上述步骤，然后利用其结果提出新假设，形成一个永无止境的过程（类似于人类科学家的工作流程）。那么，关键挑战在于搜索——接下来应该研究哪些假设，才能产生新颖、有影响力的科学发现？

此前在开放式自动发现领域的工作使用了拒绝采样和进化算法等搜索策略，要么有人类参与来筛选生成的假设 [Yamada et al., 2025, Gottweis et al., 2025, Jansen et al., 2025]（因此并非完全自主），要么使用自动奖励，如多样性以及用LLM作为评判者对人类趣味性、新颖性或实用性的代理指标 [Zhang et al., 2023a, Lu et al., 2024]。然而，仅靠多样性是不够的，因为在现实科学领域中假设的搜索空间极为庞大，并非所有区域都同等可能导向发现。此外，从LLM中采样多样化序列的能力本身也被证明具有挑战性 [Lanchantin et al., 2025, Krishnamurthy et al., 2024]。人类代理指标（如趣味性）也不适用，因为它们具有主观性，即使是人类科学家也表现出高度的不一致性 [Ceci and Peters, 1982, Cicchetti, 1991, Rothwell and Martyn, 2000, Weller, 2001, Pier et al., 2018]，使得其自动化代理不可靠。因此，目前仍不清楚：如何才能大规模探索多样化的假设，以及什么自动指标可以指导科学发现？

在本工作中，我们解决了这些问题，并提出了AUTODISCOVERY——一种开放式ASD方法，由贝叶斯惊奇度[Itti and Baldi, 2005] 引导。贝叶斯惊奇度通过衡量观测者后验信念分布与先验信念分布之间的距离，来量化数据对自然或人工观测者的影响（见图1）。我们选择这一指标，是受到Shi和Evans [2023]近期发现的启发，该发现表明假设的不可能性或惊奇度往往是科学影响力的强预测因子。为了自动化计算惊奇度，我们使用LLM本身作为贝叶斯观测者。在此过程中，我们做了一个简化假设，并专注于开发一种程序来扩展模型自身的知识前沿。我们通过推导LLM关于假设信念的先验分布和后验分布来机械化这一前沿，其中先验分布不依赖对假设的经验评估，后验分布则依赖于给定数据下对假设的实证评估。

为了采样高惊奇度的假设，我们提出了一种带有渐进扩展的蒙特卡洛树搜索（MCTS）[Coulom, 2006, Couëtoux et al., 2011] 程序，这为在庞大假设搜索空间中平衡探索与利用提供了一种原则性机制。在图1中，我们展示了MCTS如何在固定预算下导航搜索空间并找到最多数量的惊奇假设，其中惊奇结果甚至可能从非惊奇节点中发现。

我们在数据驱动发现（DDD）[Majumder et al., 2024b, 2025] 中评估AUTODISCOVERY，该任务输入是一组数据集和一个编程环境，适合评估完全自主的发现。在涵盖行为科学、经济学、生物学和金融学的21个真实世界数据集上的实验中，我们发现，与强搜索基线相比，AUTODISCOVERY找到的被LLM智能体判定为惊奇的假设数量多出5%–29%。在一项人工研究中，我们进一步发现，AUTODISCOVERY找到的惊奇发现中有三分之二与人类的惊奇度相关，这表明优化贝叶斯惊奇度可能是引导现实世界开放式ASD的有效代理。

综上所述，我们的贡献如下：

• 受先前贝叶斯惊奇度工作的启发，我们在自主科学发现背景下首次给出了惊奇的正式定义。

• 我们提出了一种新颖方法AUTODISCOVERY，将该惊奇概念与MCTS相结合，在开放式环境（无指定目标）中执行假设搜索。

• 我们在涵盖21个真实世界数据集的广泛数据驱动发现实验中证明，AUTODISCOVERY在找到令LLM惊奇的发现方面比竞争对手高出5%–29%。在涉及500多个假设的人工研究中，我们发现AUTODISCOVERY所做的惊奇发现中有67%同样令领域专家感到惊奇，显示出其在现实世界开放式ASD中的潜力。

2 预备知识

发现智能体。我们称任何能够在给定数据集和编程环境下生成并验证数据驱动假设的智能体为发现智能体。在本工作中，我们采用了一种多智能体架构 [Majumder等人，2024a]，该架构由多个LLM协作完成以下任务：提出实验计划、编写并执行Python代码以进行实验、批判并修复错误，以及分析实验结果。图1展示了我们发现智能体的输入/输出流程。完整细节请参见附录。

开放式DDD。与目标驱动环境不同——在目标驱动环境中，任务是搜索一个可验证的假设以回答明确作为输入提供的研究问题——开放式环境要求发现智能体仅给定数据集，即可迭代地生成并验证假设以进行发现。为提高搜索效率，可以采用一种探索策略，该策略在其内部循环中重复调用发现智能体，并通常在预定预算耗尽后终止。

3 AUTODISCOVERY：基于惊奇度的自主发现

我们提出AUTODISCOVERY（图1），一种开放式自主科学发现方法，利用LLM基于惊奇度——一种由实验证据引发的信念转移的原则性度量——来识别和优先排序假设。为此，我们使用贝叶斯框架形式化定义惊奇度，引入一种通过LLM采样进行信念抽取的实用方法，并描述惊奇度如何通过基于树的搜索来指导假设空间的高效探索。

3.1 度量惊奇度

3.2 使用惊奇度驱动的MCTS进行搜索

我们的目标是通过提出在验证下能产生惊奇度的假设，来扩展LLM的知识前沿。然而，诸如重复独立采样和LLM贪婪搜索等朴素策略，（a）难以可靠地生成多样化的假设，并且（b）无法在庞大的假设搜索空间 H H中最优地平衡探索与利用。

为了解决这两个问题，AUTODISCOVERY使用以惊奇度作为奖励函数引导的蒙特卡洛树搜索（MCTS）[Coulom， 2006]。具体而言，我们通过迭代地以由先前发现组成的假设序列分支作为条件来提示LLM，从而构建一个多样化的假设层级结构，以采样 k k个新实验进行进一步研究。为了优先扩展那些更有可能产生惊奇度的节点，我们使用树上的上置信界（UCT）[Kocsis和Szepesvári， 2006]作为权衡探索与利用的原则性方法，这是一种常用于大型组合空间（例如，博弈[Gelly等， 2012]和程序合成[Lim和Yoo， 2016]）的策略。

3.3 基于LLM的层次凝聚聚类去重

尽管采用了搜索策略来指导发现，AUTODISCOVERY中的假设生成仍可能采样到语义重复的假设。为了识别这些重复项，我们提出了一种基于LLM的层次凝聚聚类（HAC）程序（受Zhang等人 [2023b] 启发），该程序将文本嵌入空间内的相似性与LLM推理相结合，以识别语义等价的假设。我们在搜索预算耗尽后运行该程序一次。

我们首先使用假设的文本嵌入构建一棵HAC树。对于HAC链接矩阵中识别出的每对聚类之间的合并决策，将两个代表性假设——每个都附带其结构化的上下文、变量和关系分解——传递给LLM（在我们的实验中使用GPT-4o），以判断它们是否语义等价。具体而言，我们采样一个来自LLM的布尔响应，判断这些结构化假设是否等价。如果“真”响应的比例超过0.7，则合并这两个聚类，并在进行下一个链接步骤之前传播更新后的分配结果。如果未超过，则聚类保持独立。迭代持续进行，直到没有更多的合并需要评估为止，这要么是因为所有候选对涉及的聚类的后代已被标记为非重复项，要么是因为LLM已审查了所有剩余的聚类对。

4 实验

我们的实证评估考察了各种方法在开放式DDD任务上的有效性。该任务的输入是一个数据集 D D、其相关元数据，以及一个预算（我们设为500），指定智能体被允许探索和验证的假设总数。智能体的目标是发现尽可能多的令人惊奇且（在 D D上）可验证的假设。我们基于以下两点评估该任务上的表现：（a）生成的唯一假设数量，以及（b）在固定实验预算下它们所产生的惊奇度数量。

4.1 数据集

我们使用了来自以下基准来源的共21个数据集（ D D），涵盖生物学、经济学、金融学和行为科学等领域。我们选择这些数据集是为了在评估中最大化数据形态异质性、科学显著性（与顶级出版物相关）以及领域广度。

• DiscoveryBench [Majumder等， 2025]，一个综合基准，旨在评估大型语言模型使用相关数据集自主搜索和验证假设的能力。DiscoveryBench包含264个真实世界发现任务，这些任务来源于六个领域（如社会学、工程学）的已发表论文，涵盖14个科学数据集。我们从中选取了以下五个数据集及相关元数据作为代表性样本：freshwater-fish、nls-bmi、nls-ses、nls-incarceration和requirement-engineering。

• BLADE [Gu等， 2024]，一个使用真实世界数据集和专家定义的分析决策来评估语言智能体进行合理科学数据分析的基准。我们在工作中使用了BLADE中全部15个数据集：affairs、amtl、boxes、caschools、conversation、crofoot、fertility、fish、hurricane、mortgage、panda_nuts、reading、soccer、teachingratings和toy。

• SEA-AD [Hawrylycz等， 2024]，由艾伦研究所开发的阿尔茨海默病谱系中人脑的多模态细胞图谱。我们使用了捐赠者级别的元数据，包括人口统计信息、认知状态和神经病理学评估。

我们严格地将我们的方法与常见的重复采样基线以及基于树的搜索方法进行了对比评估。为确保公平比较，我们在各方法中保持以下条件不变——奖励函数（此处为惊奇度）和探索预算（所有实验中均为500）。所有基线和AUTODISCOVERY使用相同的发现智能体，均基于GPT-4o。该发现智能体可访问带有可用统计和数据分析包（如sklearn）的Python环境，并能够生成Python代码在执行环境中运行以验证假设。该智能体还可以安装额外的Python包以成功执行所提出的验证实验。

5 结果与讨论

我们首先通过人工研究证明LLM惊奇度与人类惊奇度之间的相关性，并展示其与人类趣味性和实用性的相关性。然后，我们比较了所提出的贝叶斯惊奇度与其他自动代理指标作为奖励函数在MCTS中引导搜索的效果。接着，我们将AUTODISCOVERY与强搜索基线在优化惊奇度能力方面进行了比较。最后，我们手动验证了发现智能体工作流程中各个方面的准确性。完整实验细节见附录。

5.1 贝叶斯惊奇度与其他自动奖励的对比

我们对AUTODISCOVERY进行了分析，将其贝叶斯惊奇度奖励替换为ASD中常用于评估假设质量的其他自动指标——LLM趣味性和LLM实用性。我们还纳入了直接的LLM惊奇度，以与另一种惊奇度抽取机制进行比较。这些指标中的每一个都通过提示LLM对其各自的问题提供 n 个布尔响应来操作化，例如“这个假设对你来说有趣吗？”，然后使用“是”响应的平均数量作为MCTS中的奖励。

贝叶斯惊奇度与专家惊奇度相关。我们通过评估使用每种自动奖励生成的假设在多大程度上导致人类惊奇度来评估性能。每个假设由3名STEM硕士/博士标注，共涉及从4个数据集的MCTS运行中汇集、使用四种自动奖励生成的1,620个LLM惊奇度假设。表2中的结果表明，在所有标注者熟悉度水平上，使用贝叶斯惊奇度的AUTODISCOVERY所发现的假设与人类惊奇度的相关性（67%）远高于任何其他自动奖励，其95%置信区间为 [ 0.63 , 0.71 ] （使用10,000次重采样的自助法计算）。

趣味性和实用性缺乏明确的语义。我们进行了另一项研究，以评估这些自动指标是否与其他人类概念（如趣味性和实用性）相关。表1中的结果表明，虽然贝叶斯惊奇度确实与此相关，但其他所有指标也同样如此。这表明，由于趣味性和实用性具有主观性，抽取人类层面的这些概念可能很困难。其推论是，在没有明确语义的情况下推导这些指标的自动版本，很可能对指导开放式ASD没有用处。

5.2 优化贝叶斯惊奇度

MCTS优于其他搜索策略。在图2(a)中，我们展示了在所有数据集上平均的、随时间步累积发现的惊奇度数量。我们发现，所有树搜索基线均优于重复采样和线性搜索，而AUTODISCOVERY中的MCTS在发现效率以及收集到的惊奇度总数方面均表现最佳。

值得注意的是，如图2(b)所示，与其他基线（包括贪婪树搜索和集束搜索）不同，MCTS的搜索效率随时间推移下降幅度最小。这表明AUTODISCOVERY具有在更高预算下扩展以继续收集惊奇发现的潜力。在图2(c)中，我们展示了搜索性能的总体趋势在所评估的数据集中保持一致，AUTODISCOVERY（MCTS）在21个数据集中有17个表现最佳。

LLM信念在不同领域中的转移有所不同。在图3中，我们绘制了使用AUTODISCOVERY发现的假设的 BSshift(·, ·)，即惊奇度的先验信念与后验信念之间的KL散度，以及信念转移的方向。我们的分析揭示了不同领域具有不同的方向性趋势，其中较高比例的惊奇度从“成立”转向“不成立”。我们还观察到，当模型信念向支持假设的方向转移时，KL散度较低，这可能表明验证性研究比证伪性研究需要更多的证据 [Huang等， 2025]。

5.3 验证发现智能体框架

为了评估AUTODISCOVERY中验证过程的可靠性，我们评估了两个关键方面：（1）实验是否有效，即是否能够利用可用数据实施并有助于验证假设；（2）实验是否被忠实地实施。我们从DiscoveryBench中nls_bmi数据集上运行的MCTS树中采样了175个节点，这些节点附带相关实验、代码和分析结果，并请两位标注者对实验有效性和实施有效性进行标注。表3显示实验有效性和实施有效性均非常高（>95%），且标注者间一致性也非常高（Gwet‘s AC1 > 0.95）。

为了评估基于LLM的HAC去重流程，我们从所有五个DiscoveryBench数据集的MCTS树中二次采样了120对假设。每对中的两个假设来自同一个HAC聚类。我们请1至3位标注者判断每对中的两个假设在结构上是否等价。表3显示，我们基于LLM的HAC方法所发现的聚类确实能够以91%的有效性将重复假设归为一组，且标注者一致性良好（Gwet‘s AC1 = 0.75）。

6 更多相关工作

如前所述，过去几年中，人们对AI辅助/自动化发现领域的兴趣急剧增长，例如AIScientist [Yamada等， 2025]、CodeScientist [Jansen等， 2025]、AgentLab [Schmidgall等， 2025]、Popper [Huang等， 2025]、HypoBench [Liu等， 2025]。然而，这些系统主要是目标驱动的，在给定明确研究目标的情况下执行从开始到结束的实验，而非迭代式、开放式、无目标的探索（我们的研究背景）。虽然已有一些关于初始假设生成的工作，特别是从文献中生成的工作 [Baek等， 2025, Spangler等， 2014]，但我们的目标是迭代生成并在大空间上进行搜索。

虽然我们的框架是通用的，但我们已在数据驱动发现的背景下对其进行了评估，这是科学研究的丰富场景 [Majumder等， 2024b, 2025, Gu等， 2024]。虽然一些商业工具（例如 [Bailis等， 2017]）提供了以编程方式穷举搜索大小有界的假设空间的方法，但我们的目标不同，即利用LLM启发式地搜索一个更大的空间。

更广泛地看，惊奇（或等价地，未达预期）在AI历史上扮演了重要角色，催生了关于预期编码和失败驱动学习的研究 [Riesbeck, 1981, Schank和Abelson, 1988, Schank, 1983]（事实上，几乎所有的学习都可以被视为对未达预期的响应）。我们在此采用了惊奇的正式概念，并展示了如何将其成功应用于指导开放式探索。我们还注意到贝叶斯惊奇度与信息论中其他指标（例如互信息 [Gao等， 2024]）之间的密切联系。

7 结论

我们引入了自主科学发现中贝叶斯惊奇度的形式化框架，并提出了AUTODISCOVERY——一种开放式科学发现方法，该方法将该框架与MCTS相结合，以寻找能够扩展LLM知识前沿的假设。通过在21个真实世界数据集上的评估和一项全面的人工研究，我们证明AUTODISCOVERY不仅在做出惊奇发现方面优于强基线，而且与人类对惊奇的判断高度一致。尽管我们对缺乏足够安全护栏、学术质疑和同行评审的开放式AI科学发现系统保持谨慎态度，但我们的结果强调了像AUTODISCOVERY这样的系统在加速科学进步方面可能提供的潜在益处。

原文链接：https://arxiv.org/pdf/2507.00310?