网易首页 > 网易号 > 正文 申请入驻

Nat Hum Behav|AI回答有多像人?六类任务显示人机识别的差异

0
分享至


● 认知神经科学前沿文献分享

● 分享人:小虎

论文信息:Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI

发表时间:2026-10-26

发表期刊:Nature Human Behaviour

DOI:10.1038/s41562-026-02590-6


如果你看到一段描述图片的文字,画面中的人物和物体都说得准确,表达也很自然,你能判断它来自人类还是AI吗?换成一段日常对话,或者给出提示词后的联想回答,判断又会不会更容易?随着AI能够完成越来越多的语言与视觉任务,一个问题也值得检验:AI生成的回答与人类有多相似,人们又能在多大程度上识别这种差异?

Mengmi Zhang等人在《Nature Human Behaviour》发表的一项研究中,收集了636名人类参与者和37个AI模型在六类语言与视觉任务中产生的36,499条回答。随后,研究者开展72,191次类似图灵测试,让1,916名人类判断者和10个AI判断者辨别回答来自人类还是AI,以比较两类判断者的识别表现,并评估AI在不同任务中模仿人类回答的能力。



为什么要检验回答是否像人

通常,AI模型的表现会通过它与参考答案的吻合程度来评价。例如,一张图片可以被准确描述为“有人坐在沙滩上”,但不同观察者也可能关注人物的姿态或画面中的特殊细节。对于图片描述、词语联想和对话等开放任务,答案合理与表达方式接近人类是两个需要分别考察的问题。

图灵测试提供了一个思路:让判断者根据回答判断其来源。本文将这一思路扩展为类似图灵测试。在具体测试中,判断者看到任务材料及一份回答,再选择回答来自人类还是机器。研究关注特定任务中的模仿表现,并不把这种判断直接等同于对一般智能的测量。



六类任务,两种判断者

研究设置了三类语言任务:描述图片、根据提示词联想一个词,以及参与日常对话。另三类属于视觉任务:指出图片的主要颜色、列出画面中的物体,以及预测观看图片时眼睛依次注视的位置。最后一项通过人类眼动记录与模型生成的注视轨迹进行比较,涉及自由观看和寻找目标物体等情境。

人类判断者根据呈现的材料辨别来源。研究者还让机器担当判断者,其中主要比较采用经过训练的分类器,利用文字特征、图像信息或注视位置辨别来源;部分实验也直接使用大语言模型判断。为便于比较,研究分别报告正确识别人类回答和正确识别AI回答的比例,再将两者取平均,得到模仿可检测性。数值越接近50%,表示在该指标下越难区分来源;但判断者如果总是选择同一类别,也可能得到这一数值,因此仍需结合两项正确率解读。

研究还安排了两项具体比较。其一,在图片描述任务中,用词组重合评分(BLEU)和基于共识的图像描述评分(CIDEr)衡量生成文字与人工参考描述的吻合程度,再看这些分数是否与模仿可检测性相关。其二,在视觉注意任务中,比较不同模型生成的注视轨迹,其中包括依据搜索目标引导眼动的目标引导视觉搜索网络(IVSN),以及根据图像显著特征预测注意位置的基于图的视觉显著性模型(GBVS)。这些指标和模型分别回答不同问题。



语言回答经常被误认成人类

在图片描述、词语联想和对话任务中,人类判断者正确识别AI回答的比例分别为46%、47%和47%。也就是说,这三类任务中约有一半的机器回答被判为人类。相应地,人类判断者正确识别人类回答的比例为67%、58%和66%,对两种来源的识别表现并不对称。

在相同三类任务中,接受分类训练的机器判断者正确识别AI回答的比例分别为83%、91%和67%。机器判断者在这些测试条件下识别AI回答的比例较高,但这一比较有条件限制:机器分类器使用了训练数据,而人类判断者最初没有接受同等训练;在对话任务中,机器判断者主要根据单句分类,人类则能够阅读对话片段。

研究还安排了提供反馈的训练测试。在机器分类器仅使用与人类相近数量的训练样本时,图片描述任务中人类判断者表现更好,词语联想任务中机器判断者仍占优势,对话任务中的两类判断者则较为接近。机器分类器的表现因此也与训练规模有关。


Fig. 1|六类任务中人类与机器判断者的分类结果。每组矩阵分别呈现对人类回答和AI回答的判断比例;其中三类语言任务显示,人类经常将AI回答判为人类。



图片描述准确,也可能与人的观察重点不同

研究随后比较图片描述模型的两项常规评分与模仿可检测性。结果没有显示两者存在稳定对应关系。例如,基于共识的图像描述评分与模仿可检测性的相关不显著(r = −0.088,p = 0.84)。因此,模型与标准描述更吻合,并不意味着其输出一定更难被识别为AI。

论文用一张海滩照片说明这种差别。GPT-4准确描述了男人、孩子和沙滩的位置关系;一名人类描述者则注意到画面的视觉趣味:男人的头没有出现在画面中,孩子的头看起来仿佛接在男人身上。这个例子展示了两种不同的内容选择,但单张图片无法证明AI普遍缺少某种人类知觉能力。


Fig. 2|前两幅图比较词组重合评分(BLEU)、基于共识的图像描述评分(CIDEr)与模仿可检测性的关系;海滩图片示例呈现AI和人类选择描述细节的差异。



在视觉任务中,识别结果因任务而异

根据Fig. 8的详细结果,颜色估计任务中,人类判断者正确识别AI回答的比例为61%,机器判断者为34%;物体识别任务中,两者分别为63%和72%;注意预测任务中,分别为50%和80%。因此,机器判断者在后两项任务中的识别比例较高,在颜色估计中则低于人类判断者。

同一任务内,不同模型的输出也有差别。以注意预测为例,机器判断者正确识别基于图的视觉显著性模型所生成轨迹的比例为94%,识别目标引导视觉搜索网络所生成轨迹的比例为52%。后者在这一测试中更难被辨认为机器生成,但这项结果只能说明轨迹的可识别程度,无法直接推断模型在其他视觉任务中的能力。


Fig. 3|颜色估计、物体识别与注意预测任务的详细分类结果。图中GBVS、IVSN分别对应前文介绍的两类注意预测模型。注意:原文Fig. 4与Fig. 8中颜色估计任务的机器判断者数值不一致;正文采用Fig. 8及对应结果段落的数据。



这些测试说明了什么

研究显示,AI回答的人类相似性需要在具体任务中评价。不同任务下,人类判断者识别机器回答的能力存在差异,机器分类器的表现也会改变。图片描述模型的常规评分与模仿可检测性未显示稳定对应,进一步说明任务得分和模仿能力可以提供不同信息。

研究的限制同样影响结论。两类判断者的训练条件和可利用信息并不完全一致。作者还开展了更接近原始图灵测试的交互式对话实验:在最初10段对话中,人类判断者全部辨别正确;随后换用另一模型并调整安全限制,在28名参与者完成的188次判断中,人类不再保持完全正确,较长的对话也有助于识别机器。不同模型和测试形式会改变结果。这项研究支持将人类相似性作为AI评价的独立维度,但不能据此判断AI具有与人类相同的认知过程或一般智能。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

小豫讲故事
2026-11-18 06:00:13
杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

军迷战情室
2026-11-19 21:31:42
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

皮皮电影
2026-11-19 11:02:40
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

猪友巴巴
2026-11-20 09:42:16
巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

雪狼侃体育
2026-11-20 12:17:13
葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

青科新闻
2026-11-19 15:04:35
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

小火箭爱体育
2026-11-20 11:36:32
要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

影孖看世界
2026-11-19 23:58:41
晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

罗说NBA
2026-11-20 06:21:08
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

阿尔卑斯瞭望
2026-11-19 18:52:28
拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

篮球大视野
2026-11-20 12:02:24
起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

极目新闻
2026-11-19 18:43:26
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

澎湃新闻
2026-11-19 15:22:08
2026-11-20 13:08:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
本地
数码
公开课
军事航空

PC Gamer试玩GTA6百小时:双主角出色但任务重复

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版