网易首页 > 网易号 > 正文 申请入驻

Nat Hum Behav|AI回答有多像人?六类任务显示人机识别的差异

0
分享至


● 认知神经科学前沿文献分享

● 分享人:小虎

论文信息:Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI

发表时间:2026-10-26

发表期刊:Nature Human Behaviour

DOI:10.1038/s41562-026-02590-6


如果你看到一段描述图片的文字,画面中的人物和物体都说得准确,表达也很自然,你能判断它来自人类还是AI吗?换成一段日常对话,或者给出提示词后的联想回答,判断又会不会更容易?随着AI能够完成越来越多的语言与视觉任务,一个问题也值得检验:AI生成的回答与人类有多相似,人们又能在多大程度上识别这种差异?

Mengmi Zhang等人在《Nature Human Behaviour》发表的一项研究中,收集了636名人类参与者和37个AI模型在六类语言与视觉任务中产生的36,499条回答。随后,研究者开展72,191次类似图灵测试,让1,916名人类判断者和10个AI判断者辨别回答来自人类还是AI,以比较两类判断者的识别表现,并评估AI在不同任务中模仿人类回答的能力。



为什么要检验回答是否像人

通常,AI模型的表现会通过它与参考答案的吻合程度来评价。例如,一张图片可以被准确描述为“有人坐在沙滩上”,但不同观察者也可能关注人物的姿态或画面中的特殊细节。对于图片描述、词语联想和对话等开放任务,答案合理与表达方式接近人类是两个需要分别考察的问题。

图灵测试提供了一个思路:让判断者根据回答判断其来源。本文将这一思路扩展为类似图灵测试。在具体测试中,判断者看到任务材料及一份回答,再选择回答来自人类还是机器。研究关注特定任务中的模仿表现,并不把这种判断直接等同于对一般智能的测量。



六类任务,两种判断者

研究设置了三类语言任务:描述图片、根据提示词联想一个词,以及参与日常对话。另三类属于视觉任务:指出图片的主要颜色、列出画面中的物体,以及预测观看图片时眼睛依次注视的位置。最后一项通过人类眼动记录与模型生成的注视轨迹进行比较,涉及自由观看和寻找目标物体等情境。

人类判断者根据呈现的材料辨别来源。研究者还让机器担当判断者,其中主要比较采用经过训练的分类器,利用文字特征、图像信息或注视位置辨别来源;部分实验也直接使用大语言模型判断。为便于比较,研究分别报告正确识别人类回答和正确识别AI回答的比例,再将两者取平均,得到模仿可检测性。数值越接近50%,表示在该指标下越难区分来源;但判断者如果总是选择同一类别,也可能得到这一数值,因此仍需结合两项正确率解读。

研究还安排了两项具体比较。其一,在图片描述任务中,用词组重合评分(BLEU)和基于共识的图像描述评分(CIDEr)衡量生成文字与人工参考描述的吻合程度,再看这些分数是否与模仿可检测性相关。其二,在视觉注意任务中,比较不同模型生成的注视轨迹,其中包括依据搜索目标引导眼动的目标引导视觉搜索网络(IVSN),以及根据图像显著特征预测注意位置的基于图的视觉显著性模型(GBVS)。这些指标和模型分别回答不同问题。



语言回答经常被误认成人类

在图片描述、词语联想和对话任务中,人类判断者正确识别AI回答的比例分别为46%、47%和47%。也就是说,这三类任务中约有一半的机器回答被判为人类。相应地,人类判断者正确识别人类回答的比例为67%、58%和66%,对两种来源的识别表现并不对称。

在相同三类任务中,接受分类训练的机器判断者正确识别AI回答的比例分别为83%、91%和67%。机器判断者在这些测试条件下识别AI回答的比例较高,但这一比较有条件限制:机器分类器使用了训练数据,而人类判断者最初没有接受同等训练;在对话任务中,机器判断者主要根据单句分类,人类则能够阅读对话片段。

研究还安排了提供反馈的训练测试。在机器分类器仅使用与人类相近数量的训练样本时,图片描述任务中人类判断者表现更好,词语联想任务中机器判断者仍占优势,对话任务中的两类判断者则较为接近。机器分类器的表现因此也与训练规模有关。


Fig. 1|六类任务中人类与机器判断者的分类结果。每组矩阵分别呈现对人类回答和AI回答的判断比例;其中三类语言任务显示,人类经常将AI回答判为人类。



图片描述准确,也可能与人的观察重点不同

研究随后比较图片描述模型的两项常规评分与模仿可检测性。结果没有显示两者存在稳定对应关系。例如,基于共识的图像描述评分与模仿可检测性的相关不显著(r = −0.088,p = 0.84)。因此,模型与标准描述更吻合,并不意味着其输出一定更难被识别为AI。

论文用一张海滩照片说明这种差别。GPT-4准确描述了男人、孩子和沙滩的位置关系;一名人类描述者则注意到画面的视觉趣味:男人的头没有出现在画面中,孩子的头看起来仿佛接在男人身上。这个例子展示了两种不同的内容选择,但单张图片无法证明AI普遍缺少某种人类知觉能力。


Fig. 2|前两幅图比较词组重合评分(BLEU)、基于共识的图像描述评分(CIDEr)与模仿可检测性的关系;海滩图片示例呈现AI和人类选择描述细节的差异。



在视觉任务中,识别结果因任务而异

根据Fig. 8的详细结果,颜色估计任务中,人类判断者正确识别AI回答的比例为61%,机器判断者为34%;物体识别任务中,两者分别为63%和72%;注意预测任务中,分别为50%和80%。因此,机器判断者在后两项任务中的识别比例较高,在颜色估计中则低于人类判断者。

同一任务内,不同模型的输出也有差别。以注意预测为例,机器判断者正确识别基于图的视觉显著性模型所生成轨迹的比例为94%,识别目标引导视觉搜索网络所生成轨迹的比例为52%。后者在这一测试中更难被辨认为机器生成,但这项结果只能说明轨迹的可识别程度,无法直接推断模型在其他视觉任务中的能力。


Fig. 3|颜色估计、物体识别与注意预测任务的详细分类结果。图中GBVS、IVSN分别对应前文介绍的两类注意预测模型。注意:原文Fig. 4与Fig. 8中颜色估计任务的机器判断者数值不一致;正文采用Fig. 8及对应结果段落的数据。



这些测试说明了什么

研究显示,AI回答的人类相似性需要在具体任务中评价。不同任务下,人类判断者识别机器回答的能力存在差异,机器分类器的表现也会改变。图片描述模型的常规评分与模仿可检测性未显示稳定对应,进一步说明任务得分和模仿能力可以提供不同信息。

研究的限制同样影响结论。两类判断者的训练条件和可利用信息并不完全一致。作者还开展了更接近原始图灵测试的交互式对话实验:在最初10段对话中,人类判断者全部辨别正确;随后换用另一模型并调整安全限制,在28名参与者完成的188次判断中,人类不再保持完全正确,较长的对话也有助于识别机器。不同模型和测试形式会改变结果。这项研究支持将人类相似性作为AI评价的独立维度,但不能据此判断AI具有与人类相同的认知过程或一般智能。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

念洲
2026-11-20 06:54:50
灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

醉卧浮生
2026-11-20 11:28:19
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

上观新闻
2026-11-20 06:58:22
亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

极目新闻
2026-11-19 22:03:12
还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

上观新闻
2026-11-20 11:58:27
刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

凤凰网财经
2026-11-20 01:37:55
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
突发!台积电收紧对华AI芯片代工

突发!台积电收紧对华AI芯片代工

EETOP半导体社区
2026-11-20 08:17:23
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
李在明乘机返回韩国 发文:感谢中国热情接待!

李在明乘机返回韩国 发文:感谢中国热情接待!

看看新闻Knews
2026-11-20 00:36:59
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

云舟史策
2026-11-19 07:16:32
沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

极目新闻
2026-11-20 10:43:41
大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

澎湃新闻
2026-11-20 08:59:42
东亚正在无声崩塌,想翻盘极其困难

东亚正在无声崩塌,想翻盘极其困难

起点人文
2026-11-19 13:12:30
2026-11-20 13:00:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

房产
本地
数码
游戏
公开课

房产要闻

2.5亿!丁村侨中,新动作来了!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

1299元飞傲UTWS17蓝牙耳挂开售:搭载双AK4333,配OLED显示屏与无触点无线充电仓

《GTA6》暗藏大表哥彩蛋!亚瑟故事写进书里

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版