五十道题,全部来自物理学家尚未发表的研究笔记。GPT-6 Astra 第一次跑出约 88%,专家复核后,分数被改到了 98%。改分的理由不是模型答错了,而是它指出了出题人自己的计算错误。
![]()
这套新基准叫 TheoPhysEval,论文挂在 arXiv(编号 2610.16733)。参与机构横跨国际理论科学中心、塔塔基础研究所、UT Austin、东京大学、哈佛、UPenn、杜克和 Google DeepMind。题目覆盖量子场论、全息对偶及相邻领域。
出题阵容里有 Suvrat Raju、Sudip Chakraborty、A. Ramesh Chandra 等数十位物理学家。难度标尺定得很硬:相关子领域的顶尖专家,不用 AI 独立解一道题,需要一整天甚至更久;相邻领域的专家可能耗掉大量时间,也可能完全解不出来。
为什么要专门造一套新题?因为互联网上的题库早已被吸进训练数据,考不出真实推理上限。TheoPhysEval 的做法是只用未发表的笔记出题,从源头上切断记忆路径。
首轮成绩单上,Claude Opus 5.5 拿到 92%,高于 Astra 的 88%。受测模型还包括 Gemini 3.8 Flash 和开源模型 DeepSeek-V4.1-Flash。转折出现在专家审计评分环节:Astra 对自己的答案异常坚持,审计下来,模型抓到的是出题人写题时的计算失误。
人类专家承认错误之后,Astra 的分数从 88% 升到 98%。一个模型在量子场论和全息对偶这类题目上挑出顶尖理论物理学家的题面漏洞,指向的已经不只是题库背诵能力,而是逼近专家级原创推理的边缘。
另一组数据来自 MIT 的独立测量:过去两年,前沿 AI 求解理论科学问题的能力提升了 17 倍。研究者给出的判断是,科学正处在剧变前夜——数学之后,量子场论、宇宙学、经济学正在被逐步纳入 AI 辅助的工作流。
对科研机构来说,这件事有两面。一面是 TheoPhysEval 提供了一把真正抗污染的标尺,可以用来量科学推理;另一面是结果本身在提示,用未发表笔记出题这套当前防数据泄漏的黄金方法,保质期可能不会太长——模型正在物理科学各领域逼近专家水平。
关键数据摆在一起看:
- TheoPhysEval:50 道未发表前沿题,取自量子场论与全息对偶
- GPT-6 Astra:初评 88%,专家修正自身错误后升至 98%
- Claude Opus 5.5:92%
- 其他受测模型:Gemini 3.8 Flash、开源 DeepSeek-V4.1-Flash
- MIT 测量:前沿 AI 科学问题求解能力两年提升 17 倍
分数从 88 到 98 的那 10 个百分点,不是模型变强了,是人类的题被改对了。这个细节比 98% 本身更值得记一笔。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.