网易首页 > 网易号 > 正文 申请入驻

30次盲评26次选AI,人类审稿人输在哪

0
分享至

AI审稿比人类专家更强,这事已经有实验数据了。10月22日,哈佛大学两位研究人员发表论文,题为《AI审稿意见全面胜过高水平人类同行评审》,对比了134组AI与人类撰写的审稿意见。结论很直接:AI在七个评价维度上全面领先。


先看人类这一边的阵容。研究用了124篇学术论文,人类审稿意见来自哈佛大学定量社会科学研究所旗下rapidPeer服务——这是一项付费的专业审稿服务,审稿人由领域专家挑选,来自不同研究机构,报酬不低。他们的表现原本也不差:74位受访论文作者中,88%认为收到的审稿意见质量很高,60%给出最高档评价。

但对比结果是这样的:

  • 三位曾任重要学术期刊主编的专家进行盲评,30次比较中有26次认为AI的审稿意见更好;
  • 在具体论断核查中,AI审稿意见的事实错误比例为5.5%,人类为15.9%;
  • 不允许AI联网、只给同样的审稿指南,134组对比中GPT-5.5全部选择AI;
  • 换用优化提示词并开放联网后,134组中有132组明确判AI获胜,剩下两组不确定,人类没有取得任何胜利。

分维度看差距更明显。在补充参考文献、发现论文弱点、研究方法三个维度上,AI胜率达到100%;理论创新、论述框架、表达质量等方面,胜率也都超过90%。研究人员还检查了AI引用的651个带有DOI或arXiv编号的参考文献,全部真实存在,没有一条是编造的。

有人会问:AI审稿、AI当评委,会不会偏袒同类?研究请来的三位前主编盲评,正是为了回应这个疑问。30次比较中,人类评委有26次站到了AI那边。

AI赢在不会累

AI到底怎么把人类审稿人比下去的?答案可能很简单——它压根不会累。审稿需要通读论文,检查研究方法、数据、图表和论证,还得寻找作者可能遗漏的相关文献。论文作者甚至在介绍实验时顺手吐槽了一些传统期刊审稿人:有人论文才看到第三页,就开始寻找足以否定论文的致命缺陷,好让自己不用继续读下去。

AI没有急着下班的需求。实验中,研究人员把Claude Opus 4.8的推理强度调到最高,专门设计了一套审稿提示词,允许联网查找资料。结果AI平均每审一篇论文要进行12.4次联网搜索。效果也直接体现在数据上:不联网、用普通审稿指南时,AI在补充参考文献方面的胜率为62%;换用优化提示词并开放联网后,胜率提高到100%。

认真过头也有副作用。论文作者举例,AI有时会吹毛求疵到荒唐的程度:明明知道2+2=4是正确的,却还要指出作者没有定义加号是什么意思。人类审稿人可能嫌论文毛病太多,AI倒可能找茬成瘾,没毛病也给挑点错出来。

这个结果放在半年前还很难想象。今年4月,学术期刊《Organization Science》的编辑团队分析了过去几年收到的一万多份审稿意见,发现大量使用AI的审稿报告反而更难读,讨论的问题也更狭窄,当时研究人员认为AI生成的审稿意见还没达到人类水平。不到半年,哈佛拿出了另一份成绩单。

数学家还在给AI立规矩

审稿这件事被AI攻下,对最近忙着跟AI公司较劲的数学家来说,多少有些尴尬。9月11日,陶哲轩等首批25位菲尔兹奖得主联名发声,批评AI公司把破解数学难题当成模型能力竞赛,急着宣布重大突破,却没有给数学界留下足够时间验证、理解和讨论。9月29日,数学与AI咨询小组(AGMAI)发布指南,强调已被人类数学家充分理解的AI研究成果,应按传统学术规范发布论文,接受期刊同行评审。

还有一部分数学家连审稿人的椅子都不想让人碰。10月7日,一个名叫“人类数学协会”(AHM)的组织公开批评OpenAI一次性发布700多份数学研究文件,认为这更像在展示力量,而非认真做学术。该组织明确要求成员不得发表AI生成的数学论文、评论,连审稿报告都不行。

就在数学家努力给AI立规矩的时候,哈佛的两位研究人员把人类和AI审稿人一起送上了考场。论文发布后,斯坦福大学政治学副教授徐轶青公开表示,学术界应该重新考虑人类专家在审稿中的角色。在他看来,人类专家仍然需要参与,但已经没必要继续亲自撰写动辄1500字的长篇审稿意见。就连那些禁止使用AI审稿的期刊,也到了该重新审视自身规定的时候。

需要说明的是,哈佛这项研究涉及的主要是社会科学论文,尚且无法证明AI已经能够独立审查复杂的数学证明,数学家要求严格验证本身也没什么错。但数学家还在强调AI不能绕过人类同行评审这道门槛,AI却已经开始研究,能不能把守门的人也换掉。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
就在今天!罗伯特森保持了61年的NBA纪录被打破了

就在今天!罗伯特森保持了61年的NBA纪录被打破了

篮球大视野
2026-10-25 16:47:37
胡志莉任随州市委书记 尹达任随州市委副书记

胡志莉任随州市委书记 尹达任随州市委副书记

极目新闻
2026-10-25 15:13:45
真不赖,网传某大厂大专外包男把985硕士正式女员工搞到手了!

真不赖,网传某大厂大专外包男把985硕士正式女员工搞到手了!

黯泉
2026-10-24 10:56:48
前金球奖负责人:获奖者不会提前得知结果,目前得知结果的人不超过五个

前金球奖负责人:获奖者不会提前得知结果,目前得知结果的人不超过五个

懂球帝
2026-10-25 18:30:06
中国就是不签字,普京没办法,这就是错误决定的后果,非洲懵了

中国就是不签字,普京没办法,这就是错误决定的后果,非洲懵了

观锐器
2026-10-24 13:43:56
印媒:一旦台海爆发战争,至少击沉2艘美航母,日本掌握胜败关键

印媒:一旦台海爆发战争,至少击沉2艘美航母,日本掌握胜败关键

随遇而安之心
2026-10-25 23:08:21
别看NBA刚打了3天,以下三支球队,已经告别了总冠军

别看NBA刚打了3天,以下三支球队,已经告别了总冠军

热血江湖旧
2026-10-25 01:25:02
六旬大爷往某APP充值112万余元,一月内显示盈利超1000万,提现1100元后被索要89万分红,民警连夜展开调查

六旬大爷往某APP充值112万余元,一月内显示盈利超1000万,提现1100元后被索要89万分红,民警连夜展开调查

封面新闻
2026-10-25 18:30:06
看完儿子被警方击毙录像,俄亥俄黑人父亲驾车冲撞副警长致其死亡,精神失常抗辩失败,被判谋杀罪成立

看完儿子被警方击毙录像,俄亥俄黑人父亲驾车冲撞副警长致其死亡,精神失常抗辩失败,被判谋杀罪成立

14号观星辰
2026-10-24 17:06:02
老干妈用AI把600人裁到48人,年营收54亿,网友:你让工人没饭吃,我们就让你下架

老干妈用AI把600人裁到48人,年营收54亿,网友:你让工人没饭吃,我们就让你下架

王新喜
2026-10-24 09:14:39
新郎新娘回应歌手毛不易在其婚礼上“虽然不是我的新娘”致辞争议:我们都很好,不要断章取义,“毛毛是挚友、也是娘家人,请大家理性”

新郎新娘回应歌手毛不易在其婚礼上“虽然不是我的新娘”致辞争议:我们都很好,不要断章取义,“毛毛是挚友、也是娘家人,请大家理性”

大风新闻
2026-10-25 09:17:14
一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

LULU生活家
2026-10-24 14:40:06
每一口瓶装水、外卖都重创肝脏!Nature子刊:微塑料「钻」进肝脏免疫细胞,削弱其清除能力,扰乱代谢,且高脂饮食还放大肝脏脂质沉积

每一口瓶装水、外卖都重创肝脏!Nature子刊:微塑料「钻」进肝脏免疫细胞,削弱其清除能力,扰乱代谢,且高脂饮食还放大肝脏脂质沉积

梅斯医学
2026-10-25 07:54:42
微信只发了一个问号就被封号,警察说:“不归我们管”

微信只发了一个问号就被封号,警察说:“不归我们管”

歪歌社团
2026-10-24 20:15:13
社保的困局,真正的难题不是,钱不够,而是“谁敢动自己的奶酪”

社保的困局,真正的难题不是,钱不够,而是“谁敢动自己的奶酪”

黑哥讲现代史
2026-10-25 14:45:49
整个国家陷入抑郁——土耳其人“祖宗乱套了”

整个国家陷入抑郁——土耳其人“祖宗乱套了”

百味朱砂
2026-10-25 11:07:54
别被“纯电”和“插混”忽悠了:不出意外,未来超50%的家庭,最终都会老老实实买HEV

别被“纯电”和“插混”忽悠了:不出意外,未来超50%的家庭,最终都会老老实实买HEV

你在偷看谁
2026-10-24 20:18:42
最高法表态“终身追责”后,山东张志超冤案又上了热搜:当年把冤案做成铁案的人,后来到底怎样了?

最高法表态“终身追责”后,山东张志超冤案又上了热搜:当年把冤案做成铁案的人,后来到底怎样了?

迷世书童
2026-10-24 17:07:33
我有种很不安的预感:娱乐圈越来越不对了,大批明星突然扎堆开演唱会,不是情怀,是缺钱了

我有种很不安的预感:娱乐圈越来越不对了,大批明星突然扎堆开演唱会,不是情怀,是缺钱了

美芽
2026-10-24 06:03:41
输二追三!张本智和逆转国乒新星夺冠 疯狂拍打日本国旗 握拳怒吼

输二追三!张本智和逆转国乒新星夺冠 疯狂拍打日本国旗 握拳怒吼

念洲
2026-10-25 21:46:12
2026-10-25 23:55:00
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
220文章数 98关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

顾客一句吐槽小店营业额直接暴跌75% 女店主崩溃

头条要闻

顾客一句吐槽小店营业额直接暴跌75% 女店主崩溃

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

王佳佳近况:44岁导演老公露面

财经要闻

宁王AB面:好业绩,坏天气

汽车要闻

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

时尚
教育
房产
本地
手机

伊姐周六热推:电视剧《尚公主》;电视剧《小城良方》......

教育要闻

教育部47项白名单公布:成都家长别被"竞赛加分"话术忽悠了

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

手机要闻

从40%到全链路主供:华为Mate 90供应链的七年突围

无障碍浏览 进入关怀版