谷歌推出 ScientistTwo 自动科研系统，超人类 SOTA

来源： AGl Hunt

GOOGLE CLOUD AI RESEARCH · 2026.09 给它一篇论文，它接着做研究。 ScientistTwo 原论文 + 代码 新方法 + 新论文 系统自己跑实验、写论文，并交付可执行代码。 86 / 107 80.4% 报告取得改进的任务 成功率 每格是一道题，点亮的是 86 个成功案例。结果只 覆盖论文选取的这些问题。 题目来源 9 月 17 日提交 · 71 页 · 沿用 AutoSOTA 筛选标准 入选条件：顶会接收，有代码，可以复现。 NeurIPS 2025 33 / 38 ICLR 2026 4 / 5 ICML 2026 Spotlight 49 / 64 分子：成功任务；分母：该来源的全部题目 一套方法，要面对整套 benchmark。 数据集 A 数据集 B 数据集 C 多数据集 × 多指标；格子为评估维度示意。 LLM / 机器人 / 语音 / 时间序列 强化学习 / 博弈论 / 隐私 / 优化 科研流程 想法先拿去做实验，哪里不过关，就回去改哪里。 找局限、生成想法 子集筛选与全集实验 根据结果继续改想法 消融，查清增益来源 写稿、审稿与补实验 终审，不够好就重做 想法迭代 找局限 检查新颖性 Extractor + Verifier 最多 16 轮 Google Search 检索 2 篇参考论文 检索能帮助判断想法是否新颖，但也可能漏掉已有 研究。 先跑子集 Critic 先看子集的实验结果，再决定要不要跑全 集。 增益从哪来 TeCh 案例 5 / 6 项指标超过基线 Ablation Planner 拆开组件，检查增益来源。 写稿与审稿 PaperOrchestra 生成初稿 ScholarPeer 模拟审稿 < 8 / 10 补实验，再修改 最多 2 轮 两个 AI 审稿器 ScholarPeer 参与改稿 也参与评分 Stanford 开发时未使用 单独用于评估 两位审稿人都是 AI。它们给出的接受率，不等于 真实顶会的录用率。 两个审稿器的成绩单

ScholarPeer 系统 / 篇数 均分 接受率 AI-Researcher 7 篇 1.0 0.0% CycleResearcher 6 篇 1.0 0.0% AI Scientist-v2 3 篇 2.0 0.0% AutoResearchClaw 4 篇 2.5 0.0% Zochi 2 篇 3.0 0.0% DeepScientist 3 篇 3.0 0.0% ScientistOne 21 篇 3.8 14.3% ScientistTwo 86 篇 7.5 91.9% 分数满分 10；样本量不同，不能只看百分比。 Stanford Agentic Reviewer 系统 / 篇数 均分 接受率 AI-Researcher 7 篇 2.4 0.0% CycleResearcher 6 篇 2.8 0.0% AI Scientist-v2 3 篇 2.5 0.0% AutoResearchClaw 4 篇 3.7 0.0% Zochi 2 篇 2.9 0.0% DeepScientist 3 篇 4.1 0.0% ScientistOne 21 篇 4.1 0.0% ScientistTwo 86 篇 5.7 72.1% 分数满分 10；样本量不同，不能只看百分比。

与人类论文相比 ScholarPeer 均分 / 满分 10 ScientistTwo 7.5 ICLR 人类原论文 6.8 NeurIPS 人类原论文 6.2 Stanford 审稿器：Spotlight 组接受率 人类 Spotlight 论文 96.9% 评估 64 篇 · AI 审稿接受率 对应的 ScientistTwo 产出 69.4% 评估 49 篇 · AI 审稿接受率 在 Stanford 审稿器上，均分也高于 ICLR、 NeurIPS 原论文，但仍落后于 Spotlight。这些 都是模拟评审的结果。 平均与中位数 25.2% 平均相对提升 7.7% 中位相对提升 两项都只统计成功案例。少数提升很大的结果拉高 了平均值，不同任务用的指标也不一样。 Gemini 3.6 Flash 提取结果表 10 次，再取平均 AutoSOTA 对照 ICLR 小样本 · 中位增益 5.0% 2.2% AutoSOTA ScientistTwo 调既有代码 优化目标分数 提出方法 查清提升来源 生成完整论文 两套系统的目标、硬件和成功标准都不同，这组数 字不能直接用来判定谁更强。 再改进一轮 在增量 BPE 分词这个例子里，每次把新方法交给 下一轮继续改。提升都相对上一轮，不能简单相加。

第 1 轮 输入基线 Jiang and Gong（2026） VD-STrans +10.9% 相对上一轮的提升 论文评分 6.5 / 10 第 2 轮 输入基线 VD-STrans BXT-Transducer +9.6% 相对上一轮的提升 论文评分 5.6 / 10 第 3 轮 输入基线 BXT-Transducer SBR-Transducer +8.2% 相对上一轮的提升 论文评分 7.1 / 10

模型分工 Gemini 3.6 Flash 规划 / 生成想法 / 批评与审稿 Claude Code + Opus 4.8 实验实现 消融实验 补充实验 稿件增强 换成 Antigravity + Gemini 3.8 Flash 后 同一小样本 · 5 道题 Claude Code 4 / 5 成功案例均增益 3.8% Antigravity 3 / 5 成功案例均增益 16.7% 成功率从 80% 降至 60%，AI 审稿表现也下降 成功案例的平均提升反而更高。不过只测了 5 道 题，还不足以给编码 Agent 排名。 一题的时间与费用 33 个 NeurIPS 来源任务 Token 费用 + 虚拟机费用 时间与账单，花在了哪里？

时间分配 2.5 天 平均每题 初始想法 0.6% 初始实现 19% 想法修订 44.9% 消融分析 16.4% 初稿写作 3.6% 审稿与终审 15.5% 初始想法占比由其余标注值补足至 100%。 费用分配 $3765 平均每题 初始想法 0.2% 初始实现 20.1% 想法修订 45.4% 消融分析 15.4% 初稿写作 3.1% 审稿与终审 15.8% 初始想法占比由其余标注值补足至 100%。

9 人评审，33 篇论文 独立打分 相对人类论文 3.7 / 5 3.0 整体科学成熟度 整体打平 相对偏好：3.0 打平；越高越偏向 ScientistTwo 动机与相关工作 3.1 独立打分 4.2 / 5 方法严谨性 2.9 独立打分 4.1 / 5 基线与实验广度 3.5 独立打分 4.0 / 5 消融实验 3.3 独立打分 4.3 / 5 洞察与局限分析 3.3 独立打分 4.0 / 5 整体科学成熟度 3.0 独立打分 3.7 / 5 图示横轴 2.0–4.0；问卷完整量表为 1–5。 评审认为，人类论文的方法略严谨， ScientistTwo 的实验更全面。这里评的是 33 篇 NeurIPS 来源的生成论文。 论文与代码 CoE Integrity Audit 样本：49 篇 ICML 来源的成功产出 49 / 49 结果可复现 重新执行代码，对照报告分数 0 / 49 规格违规 检查是否违反任务规则或刷分 0 / 1814 幻觉引用 通过搜索核查参考文献 49 / 49 方法与代码一致 核对论文描述和实际实现 去掉检查之后 去掉相关修订 Agent 的消融结果 规格违规 1 / 50 0 / 49 幻觉引用 19 / 1817 0 / 1814 方法代码一致 38 / 49 49 / 49 左：缺少对应检查；右：完整系统 多完成的那道任务，因为违规被剔除了。引用要搜 索核实，方法要与代码对得上；实验阶段就得提供 可复现脚本。 这几组数字说明了什么 86 / 107 任务改进 选定问题上，有没有取得改进？ 72.1% AI 审稿接受率 生成论文，在自动评估中表现如何？ 49 / 49 结果可复现 审计样本的报告分数，能否复跑？ 这些检查有用，但不能保证研究没有问题，也不能 代替真实的顶会审稿。 SCIENTISTTWO / 论文解读 还做不到什么 成本还是很高，典型提升没有平均值那么大，与 Spotlight 论文也还有差距。三轮自改进只来自一 个 BPE 案例，能不能一直改下去，还不知道。 项目公开了 86 篇论文。感兴趣的话，可以把论文 和代码放在一起看看。 依据：arXiv:2609.19644v1 · 图表按论文重绘 动画解释过程，不表示真实运行速度。