网易首页 > 网易号 > 正文 申请入驻

arXiv精选 | 有了AI帮助,我们还能准确判断自己的能力吗?

0
分享至


● 认知神经科学前沿文献分享


AI 能帮助人更快完成任务,却不一定让人更清楚自己会什么、答得怎样。下面四项 arXiv 预印本分别考察 AI 建议、辅助编程、元认知提示和学习反馈对判断与学习的影响。所选论文截至原稿检索时尚未查到对应正式发表版本,以下 DOI 均为预印本 DOI;相关结论仍需结合研究设计和后续验证理解。



01|有了 AI 的答案,我们还会说“我不知道”吗?

关键词:判断保留|错误建议|认知信心|准确性激励|元认知

论文:AI advice suppresses people’s willingness to say “I don’t know”, even when the advice is wrong and accuracy is incentivized

DOI:10.48550/arXiv.2607.13562

作者:Chiara Marcoccia、Walter Quattrociocchi、Valerio Capraro

通讯作者及单位:Valerio Capraro;意大利米兰比可卡大学(原稿标注为联系作者)

预印本版本:2026-07-15 · arXiv v1|原文与全文|本地 PDF


核心图|可获得 AI 建议时,参与者更少保留判断(左),回答信心更高(右)。粉色、蓝绿色分别表示无、有金钱奖惩;点与误差线为均值及 95% 置信区间。摘自原稿图 2a–b,第 7 页。

面对一道拿不准的问题,我们可以尝试作答,也可以承认“我不知道”。但当聊天机器人给出流畅的解释后,原本的犹豫可能很快消失。一个值得追问的问题是:AI 是否改变了我们判断“自己已经知道得足够多”的门槛?

巴黎高等师范学校、罗马第一大学和米兰比可卡大学的研究团队在 arXiv 发布预印本,通过五项实验考察这一变化,共纳入 3,132 名参与者,其中四项实验经过预注册。参与者回答较难的电影知识问题,始终可以选择不作答。研究者特意挑选了 AI 容易答错的问题,并比较没有 AI、可以主动求助 AI,以及直接看到 AI 建议等情境。

结果显示,AI 建议的可获得性显著降低了参与者保留判断的比例。在一项包含信心评分的实验中,无金钱奖惩时,这一比例从约 17% 降至 1%,平均信心却从 29.6 分升至 75.9 分,回答正确率同时下降。后续实验发现,奖励答对、惩罚答错能够减少对 AI 的依赖,但未让保留判断恢复到没有 AI 时的水平。

这项研究提示,AI 可能影响人们何时愿意承认不确定。由于实验刻意使用了 AI 大多答错的问题,结果尚不能直接推广到通常可靠的 AI 场景,也不能证明参与者原有知识已经退化。它提出的是一个更具体的风险:在没有充分依据时,人可能更愿意给出一个确定答案。



02|代码写得更好,为什么留下的记忆更少?

关键词:AI 辅助编程|任务表现|知识保持|贡献归属|计算机教育

论文:Your Programming Students' Cognition with ChatGPT: Higher Performance, Lower Retention, and Reduced Ownership

DOI:10.48550/arXiv.2609.21194

作者:Christian Bergh、Benjamin Tag、Alexandra Vassar、Jake Renzella

通讯作者及单位:原稿未单独标注通讯作者;四位作者均来自澳大利亚新南威尔士大学

预印本版本:2026-09-18 · arXiv v1|原文与全文|本地 PDF


核心图|AI 组代码成绩更高(左),但即时及 48 小时后的回忆测验成绩较低(右)。摘自原稿图 2、图 3,第 8 页;两图并排呈现,保留原始坐标与数据。

借助 ChatGPT 写出能运行的代码,已经成为许多学生完成作业的方式。但一份高分作业,能在多大程度上代表学生已经掌握其中的知识?当答案由人与 AI 共同完成时,作品的质量、自己记住的内容,以及对个人贡献的判断,可能出现分离。

澳大利亚新南威尔士大学的研究团队在 arXiv 发布预印本,比较 ChatGPT 辅助与普通网络搜索两种条件下的编程学习。研究招募 59 名计算机专业本科生,最终分析 55 人的数据。学生完成三道入门级 C 语言编程题,随后在任务结束时及 48 小时后接受回忆测验;对照组可以搜索网页,但不能使用生成式 AI。

结果显示,ChatGPT 组的代码成绩为 89%,高于对照组的 69%;但即时回忆成绩为 41%,低于对照组的 53%,48 小时后仍为 39% 对 52%。两组在这 48 小时内的遗忘幅度没有显著差异,说明观察到的差距在任务结束时已经存在。学生主观认为由自己贡献的代码比例也更低,约为 45%,对照组约为 81%。

这项研究提醒我们,评估 AI 辅助学习时,需要同时观察完成质量和离开工具后保留的知识。贡献归属是学生的主观报告,并非对真实能力的直接测量;回忆测验也不能代表全部编程能力。此次短期、小样本实验揭示了表现与知识保持之间的差距,尚不足以判断长期能力是否退化。



03|怎样让人更准确地判断自己答得好不好?

关键词:元认知监测|信心校准|可靠性提示|对照回答|人机协作

论文:Beyond “ChatGPT Can Make Mistakes”: Designing Interventions to Support Metacognitive Monitoring in AI-Assisted Work

DOI:10.48550/arXiv.2609.17065

作者:Manuel A. D. Santos、Paul Thiesse、Steeven Villa 等

通讯作者及单位:原稿未单独标注通讯作者;作者单位包括芬兰阿尔托大学、德国慕尼黑大学(LMU)

预印本版本:2026-09-15 · arXiv v1|原文与全文|本地 PDF


核心图|四种干预相对普通助手的效果。前三列依次为表现估计误差、答对与答错时的信心差、实际得分;点与误差线为效应量及 95% 置信区间。摘自原稿图 10,第 19 页。

使用 AI 完成一组问题后,我们可能感觉自己表现不错,却难以准确估计究竟答对了多少。界面上的一句“AI 可能犯错”,也没有告诉用户应该检查什么。研究者因此追问:怎样设计具体提示,才能帮助人更准确地评价自己与 AI 共同完成的结果?

阿尔托大学和慕尼黑大学的团队在 arXiv 发布预印本,先访谈 11 名专家,整理出 30 种干预思路,再招募 917 名参与者完成 12 道规划与组织类问题。实验比较四种设计:展示助手可靠性及核查策略的卡片、让用户比较不同回答、在交互中设置暂停环节,以及题后反思,并以普通 AI 助手为基线。

结果显示,可靠性卡片和对照回答能减少参与者对整体成绩的估计误差与过度自信。在基线条件下,参与者平均误判约 4.42 道题;这两种干预分别使误差减少约一道和一道半。两组在答对与答错时的平均信心差也有所扩大。不过,研究没有发现相应的任务成绩提高,也没有确立同一道题内识别对错能力的平均改善。

这意味着,让人更清楚自己表现如何,本身可以成为 AI 设计的目标,但它与提高答题能力需要分别评估。这里测量的是人机协作任务中的自我评价,尚未证明用户更了解脱离 AI 后的独立能力。结果为改善自我判断提供了方向,也显示出“知道自己做得怎样”和“真正做得更好”之间仍有距离。



04|看见自己把哪些步骤交给 AI,能改善学习吗?

关键词:认知外包|元认知反馈|独立测验|求助方式|技能学习

论文:Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants

DOI:10.48550/arXiv.2609.20143

作者:Sebastian Maier、Kai Schwabe(共同第一作者)、Manuel Schneider、Stefan Feuerriegel

通讯作者及单位:原稿未单独标注通讯作者;作者单位为德国慕尼黑大学及慕尼黑机器学习中心(MCML)

预印本版本:2026-09-17 · arXiv v1|原文与全文|本地 PDF


核心图|参与者可选择提示或完整答案;研究比较使用反馈与积分奖励,随后测量没有 AI 时的答题表现。原稿图 1,第 1 页。图中示意答题记录不代表实际正确率。

看到一道题的完整解法,很容易产生“我懂了”的感觉。但读过步骤之后,能否自己再做一遍,仍需检验。如果系统让用户看见哪些步骤由自己完成、哪些交给了 AI,是否能改变接下来的求助方式?

慕尼黑大学及慕尼黑机器学习中心的团队在 arXiv 发布预印本,开展了一项包含 704 人的预注册在线实验。参与者练习分数运算,AI 默认提供思路,在明确请求后才给出完整答案。研究者测试两种干预:反馈用户此前索取帮助的程度及其学习含义;以积分奖励较少依赖 AI 的做法。练习后,所有人完成无 AI 辅助的测验。

按照预注册的单侧检验,反馈减少了索取完整答案的行为,并提高了后续独立测验表现;单纯的积分奖励未显示出这两方面的效果。不过,效应估计仍有不确定性,尚需重复验证。研究也没有发现仅使用 AI 的组在独立测验中显著差于无 AI 对照组,反馈对自我判断准确度的改善同样未获支持。

这些结果提示,求助方式可以通过具体反馈来调整,而学习表现与自我判断未必同步变化。对于“哪些其实是我自己会的”这个问题,下一步仍需检验:用户是否能够把反馈转化为稳定的练习习惯,并在更长时间、更多任务中保持独立能力。单次实验尚不能证明这种设计能防止长期技能退化。



从完成任务到判断能力:四项预印本的共同问题

四项研究从不同角度指出,AI 介入后的任务表现、知识保持、自我评价和独立能力并不能互相替代。AI 建议可能降低保留判断的意愿;辅助编程可能提高作品成绩,却未同步提高回忆表现;面向元认知的提示可以改善部分自我评价指标;具体反馈也可能改变求助方式并影响独立测验表现。它们共同提示,评估 AI 辅助效果时,需要明确测量的是眼前任务、对知识的保持,还是离开 AI 后的判断与表现。

预印本提示:本文涉及的 4 项研究均为 arXiv 预印本,尚未完成同行评议,正式发表版本中的样本、分析与结论可能发生变化。

分享人:Chase
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

2. 点击文中各篇论文的 DOI 链接,查看对应原文。

版权归属作者团队和出版社,本文仅做分享



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

将对阵樊振东!方博官宣加盟德甲:人家给我钱,但去的目的不是赚钱

念洲
2026-11-20 06:54:50
灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

醉卧浮生
2026-11-20 11:28:19
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

上观新闻
2026-11-20 06:58:22
亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

亮相APEC晚宴的广东荔枝冰酒被买断货,厂家:已启动紧急补货机制

极目新闻
2026-11-19 22:03:12
还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

还在跌,黄金大跳水!女子2个月前买了吊坠,今天一看直呼“亏麻了”....

上观新闻
2026-11-20 11:58:27
刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

凤凰网财经
2026-11-20 01:37:55
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
突发!台积电收紧对华AI芯片代工

突发!台积电收紧对华AI芯片代工

EETOP半导体社区
2026-11-20 08:17:23
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
李在明乘机返回韩国 发文:感谢中国热情接待!

李在明乘机返回韩国 发文:感谢中国热情接待!

看看新闻Knews
2026-11-20 00:36:59
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

高考再次证实张桂梅:教育最大的骗局,就是盲目推崇“释放天性”

云舟史策
2026-11-19 07:16:32
沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

极目新闻
2026-11-20 10:43:41
大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

大外交|中俄美元首会晤“载入史册”,专家:为新型大国关系提供明确路径

澎湃新闻
2026-11-20 08:59:42
东亚正在无声崩塌,想翻盘极其困难

东亚正在无声崩塌,想翻盘极其困难

起点人文
2026-11-19 13:12:30
2026-11-20 13:00:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

本地
家居
教育
数码
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

小学生说了真话却被扣4分,标准答案容不下“大实话”吗?

数码要闻

1299元飞傲UTWS17蓝牙耳挂开售:搭载双AK4333,配OLED显示屏与无触点无线充电仓

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版