人工智能在科学领域需要设立防护措施，避免对它不加批判地采用

耶鲁大学人类学研究生院主任Lisa Messeri、和普林斯顿大学的心理学家M. J. Crockett 发给《自然》期刊的论文中阐述：人工智能正在迅速加速科学产出，但也有可能缩小研究范围，削弱判断力，削弱科学家的培训方式。

科学界正以惊人的速度采用人工智能工具，尤其是大型语言模型（LLM）。过去三年，LLM辅助论文写作大幅增长，研究人员也试图将半自主智能体纳入他们的工作流程。然而，人工智能在科学领域的快速且不加批判的采用也带来了重大风险。几个问题已经显现：使用人工智能工具的论文关注的是更狭窄的研究问题在某些情况下，科学价值被评估较低4而非依赖人工智能的研究则更为重要。

为什么过度依赖人工智能驱动的建模对科学有害

此外，随着人工智能自动化日常科学任务，早期职业研究人员培训机会流失的担忧大多未被解决，且常常未被承认。传统上，科学培训将事实和方法的正式教学与通过动手入门级工作逐步获得隐性知识相结合。科学与技术研究领域的学者多次证明，仅靠科学文本并不能完全传达知识;相反，关键的知识深植于研究社区，并通过学徒制和实践传递。

这种默契——例如，什么是“合理”数据，或难以在方法部分表达的技术细节，或结果是否与现有文献一致——对于研究者未来有效监督AI辅助工作流程至关重要。如果人工智能系统越来越多地取代入门级科学劳动力，学员可能永远无法掌握这些技能，可能导致下一代科学家无法负责任地监督人工智能驱动的研究。

这些趋势要求科学家正视科学机构的宗旨。人们的目标仅仅是建立科学事实的集合，还是培养一个活生生、不断发展的科学知识者社区？如果人工智能工具加速了前者的目标，同时威胁到了后者，科学家们应如何前进？借助关于人工智能对科学实践影响的新兴证据，提出重点介绍主要风险并概述潜在的解决方案。

人工智能行业积极向科学家推销LLM产品，视其为提高生产力的技术。一些研究人员接受了这一承诺，称赞这些产品能够“强化”他们的学术写作能力。

人工智能是否导致科学中的可重复性危机？

如果人们将生产力理解为科学论文的产出，人工智能产品无疑兑现了这一承诺，并产生了深远的影响。

除了生产力提升，有证据表明，使用人工智能工具的科学家获得的引用次数更多，晋升为首席研究员的速度也比未使用者更快以英语为母语的人受益尤为明显。

值得注意的是，人工智能产品的职业优势最明显体现在数量指标上，如发表次数和引用次数。这些措施无法解释这些利益是源于科学贡献，还是源于与某个炒作领域的联系。因此，若将这些指标视为科学的胜利，而忽视了生产力提升的质量，将是错误的。

越多不一定越好，而且越来越多的证据表明，大型语言模型推动的科学生产力提升往往是有代价的。最明显的是“人工智能垃圾”被引入文献，包括无意义的人工智能生成图像和幻觉引用。

多项研究记录了大量依赖LLM辅助写作的论文出现令人担忧的趋势。《科学组织》杂志审核了2021年1月至2026年1月期间收到的全部6,957篇投稿，并指出LLM辅助论文的科学质量较低（以期刊接受这些作品的可能性衡量）。另一项研究从2024年人工智能会议收集的264,125篇论文中，以及2023-24年在三个预印本服务器（arXiv、bioRxiv和SSRN）上发布的投稿中，发现在LLM辅助论文中，良好的写作不再是科学质量的准确启发式（以发表结果和同行评审评分衡量）。

人工智能能有常识吗？

了解这些信息将是实现机器智能的关键，这对科学事业造成了“风险，因为大量表面上令人信服但科学上令人失望的研究可能会淹没文献”。目前，尽管大家一致认为这些污染不应该发生，但目前尚无明确的解决方案来应对这些污染。

在研究流程中实施的人工智能工具也在以更微妙的方式限制科学理解，例如缩小了研究人员关注的范围。分析在涵盖生物学、医学、化学、物理学、材料科学和地质学的4130万篇研究论文中，研究表明人工智能的采用似乎“促使作者趋向于解决已知问题的相同方案，而非创造新问题”。这预示了人工智能可能对知识生态系统产生连锁反应的可能性。

淘汰威胁

人工智能在科学领域的最宏大愿景涉及半自主或完全自主的“人工智能科学家”，这一愿景的最新原型在科学界和业界都获得了高度赞誉。人工智能科学家的开发者们总是迅速安慰说，他们的意图“不是取代人类科学家，而是增强和加速他们的工作”。因此，这些产品应由一位技术娴熟的科学家监督，能够负责任地指导和检查人工智能的输出。

专家质疑，如果没有清晰阐述负责任科学家如何培养区分好坏AI结果的专业知识，这一愿景是否能够实现。