网易首页 > 网易号 > 正文 申请入驻

Nat Human Behav|觉得“做得好”也是一种奖励:内在奖赏如何改变视觉资源分配

0
分享至


● 认知神经科学前沿文献分享

论文信息:Intrinsic rewards guide visual resource allocation via reinforcement learning

发表时间:2026-10-01

发表期刊:Nature Human Behaviour




奖赏和视觉资源分配

外部奖赏与视觉资源分配:先前的研究已知,与金钱或食物等外部奖赏(external rewards)挂钩的视觉刺激会获得优先的注意力和视觉工作记忆资源分配。

研究空白——内在奖赏的作用:人类在日常生活中很多行为缺乏直接的外部奖赏。大脑内部产生的“胜任感”或对准确性的主观自信(subjective confidence / perceived competence)是否可以作为一种内在奖赏(intrinsic reward),并像外部奖赏一样影响强化学习(reinforcement learning, RL),进而偏置视觉资源的分配呢?

基于此,来自剑桥大学(University of Cambridge)的研究团队,设计了一系列的视觉实验,并结合计算模型,对如下两个具体问题进行了研究:

第一,内在奖赏是否会改变视觉资源的分配?

第二,这种基于奖赏的资源分配策略,是否符合总体误差最小化/收益最大化的“最优策略”(optimal allocation strategy)?



实验设计与结果

研究团队设计了一系列运动方向再现任务(analogue report motion reproduction task),通过操控不同条件来探索外部与内在奖赏对视觉资源分配的影响。

● 实验 1:外部奖赏操控(验证基线效应)

方法:呈现两种颜色的运动刺激(random dot kinematograms, RDK),若被试的再现误差 $< 50^\circ$,某种颜色可获得高分奖赏(15分),另一种颜色获得低分奖赏(5分)。

结果:被试对高奖赏颜色的再现误差(mean absolute deviation, MAD)显著更小,说明高奖赏颜色获得了更多视觉编码资源。

最优策略对比:被试对高/低奖赏刺激的资源分配比(高奖赏∶低奖赏)为 1∶0.695(倾向高奖赏)。但这比达到得分最大化的“最优分配”(1∶0.34)更为平均。


Fig. 1 中,作者展示了实验1对外部奖赏的操控;结果显示,被试对高奖赏颜色的再现误差更小,资源分配比(高奖赏∶低奖赏)为 1∶0.695,比最优分配(1∶0.34)更为平均。

● 实验 2:感知准确度操控(通过欺骗性反馈操控内在奖赏)

方法:不给予积分/金钱等外部奖赏,但对两种颜色刺激的试次反馈进行系统性操控——对一种颜色故意缩小显示误差(minified error,使被试感觉更简单),对另一种颜色放大显示误差(magnified error,使被试感觉更难)。

结果:

实验 2a(双刺激同时呈现):被试对“缩小反馈误差(感觉更易)”的真实目标方向再现更精确(MAD 显著更低)。

实验 2b(双刺激顺序呈现):当消除了编码阶段的注意竞争后,两者的再现精度差异消失,提示这一偏置主要来自编码阶段的注意竞争;竞争减弱后,不再按感知难度偏好编码。

实验 2c(与真实反馈对比):结果支持:只缩小误差就足以使资源向该刺激倾斜;而放大误差的刺激并不比真实反馈的刺激更差。

反常的非最优现象:若要最小化整体反馈误差,最优策略应当把资源多给“感觉更难(误差被放大)”的一方。按 minified(更易)∶magnified(更难)计,最优分配为 0.52∶1。然而被试的分配方向与最优策略相反,将更多资源(1.18∶1)投向了本就“表现更好”的刺激,总体误差高于最优策略的预测。


Fig. 2 中,作者展示了实验2a对感知准确度的操控;结果显示,被试对缩小反馈误差的刺激再现更精确,并将更多资源(minified∶magnified = 1.18∶1)投向该刺激,与最优策略的方向相反。

● 实验 3:客观估计难度操控(无反馈,纯粹基于内在自信)

方法:不提供任何反馈。在大部分试次中,两种颜色的刺激分别对应高相干度(85%,简单)和低相干度(45%,困难);在少量试次中,两种颜色的刺激相干度相同(65%,难度一致)。

结果:

在难度一致的测试试次中,被试对历史上总是较简单(高相干度)的那种颜色表现出更高的再现精度。

神经群体编码(归一化)模型估计显示,被试的资源分配比(简单∶困难)约为 1.76∶1。

再次偏离最优:为了最小化总体估计误差,最优策略应当是平均分配资源(1∶1),而被试对“简单”刺激的过分倾斜再次使总体误差高于最优策略的预测。


Fig. 4 中(对应实验3),作者展示了对客观估计难度的操控;结果显示,在难度一致的测试试次中,被试对历史上较简单的颜色再现精度更高,资源分配比(简单∶困难)约为 1.76∶1,而最优分配为 1∶1。



群体编码-强化学习计算模型

为阐明上述行为现象的计算机制,研究者将神经群体编码(归一化)模型(Normalization model)与强化学习规则结合:

第一,群体归一化编码:刺激由具有 von Mises 调谐曲线的神经元群体编码,总神经发放率(总增益)保持恒定,增益因子 $\alpha$ 控制两个刺激间分配的比例。

第二,复合奖赏价值更新(relative value updating)机制:定义逐个试次的相对价值 $v_t = (1-\gamma) v_{t-1} + \Delta_t$,其中 $\gamma$ 是泄漏系数,决定过去奖赏保留多少。复合奖赏 $\Delta_t$ 整合了外部奖赏($r_{\text{ext}}$)、反馈误差($\epsilon_{\text{fb}}$)以及内部信心估计所对应的内在奖赏($\hat{\kappa}_r$)。

第三,从相对价值到神经资源的映射:相对价值通过指数变换转化为下一试次的增益因子 $\alpha_{t+1} = e^{2v_t}$。

第四,拟合表现:完全不基于奖赏、仅凭行为误差自由拟合得到的分配参数 $\alpha_{\text{observed}}$,与纯粹基于奖赏积累历史推算出的 $\alpha_{\text{predicted}}$ 高度相关($r = 0.833 \sim 0.976$),且能够成功预测试次间行为误差的起伏。


Fig. 5 中,作者展示了强化学习模型示意:神经资源分配、相对价值更新、泄漏与奖赏权重对资源分配轨迹的影响;结果显示,模型把外部奖赏、反馈误差和内部信心估计所对应的内在奖赏整合为相对价值,再映射为下一试次的增益因子。



核心结论

第一,内在奖赏与视觉资源分配:作者提出,主观自信与感知到的准确性可作为内在奖赏信号,经强化学习规则塑造刺激特征的价值,进而调节编码阶段的资源分配;该结论依赖实验操纵与模型拟合。

第二,资源分配偏离了误差最小化策略:在这些任务中,基于奖赏的倾斜没有使总体误差最小,反而使本来更准的刺激更准、更差的更差;作者指出这类偏置可能具有适应意义,但在这里使总体准确率下降。结果支持资源分配随累积奖赏历史变化,不支持“按全局误差最小化来规划”。

原文信息
Tomić, I., Raimundo, R. & Bays, P.M. Intrinsic rewards guide visual resource allocation via reinforcement learning. Nat Hum Behav (2026).
DOI: https://doi.org/10.1038/s41562-026-02573-7

分享人:tianyu
审核:PsyBrain 脑心前沿编辑部

● 原文信息与获取方式

DOI:10.1038/s41562-026-02573-7

获取原文:

1. 三连后添加小助手:PSY-Brain-Frontier 获取

版权归属作者团队和出版社,本文仅做分享






特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

小豫讲故事
2026-11-18 06:00:13
杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

军迷战情室
2026-11-19 21:31:42
高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

高市早苗参加APEC晚宴!穿红衣黑裙很知性,却是抵达机场时的衣服

八八尚语
2026-11-19 10:39:30
越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

越扒越有,黄仁勋再曝婚外情,不止小三还有小四?女主角竟是她

皮皮电影
2026-11-19 11:02:40
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

油价大降!一夜塌跌,11月20日全国92,95汽油“大涨835元/吨”后,四季度涨幅或“全降下来”,下次11月26日调价,预跌460元/吨!

猪友巴巴
2026-11-20 09:42:16
巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

巨额罚款+2-3个转会窗禁令+跨赛季扣分 英超豪门或遭灭顶之灾

雪狼侃体育
2026-11-20 12:17:13
葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

葡萄牙主帅热苏斯律师:C罗和葡萄牙早已生出裂痕,应理性实现和解,C罗家人所言并非全无道理;葡足协应当与C罗共同筹备他应得的致敬仪式

青科新闻
2026-11-19 15:04:35
高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

高市早苗如愿,普京给了日本30分钟,但日方的要求,普京并没答应

蓝星杂谈
2026-11-19 22:45:01
开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

开拓者124-114胜雄鹿!杨瀚森2+1+1,谁是头号功臣?数据不会说谎

小火箭爱体育
2026-11-20 11:36:32
要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

要堵死中方后路?AZEC峰会结束,高市早苗登机告别,日本另起炉灶

影孖看世界
2026-11-19 23:58:41
晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

晒证据批评!美媒:詹姆斯假装受伤想骗哨 这方面造诣无人可及

罗说NBA
2026-11-20 06:21:08
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

欧盟准备向乌克兰提供3306亿元贷款,称将由俄罗斯偿还

阿尔卑斯瞭望
2026-11-19 18:52:28
拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

拒逆转!文班32+11+3,大洛23+4+3,湖人很无奈:西部第一易主

篮球大视野
2026-11-20 12:02:24
起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

起拍价打8折仍流拍,乾隆舫或将和杭州人告别,知情人:拍卖不出去,大概率通过卖废钢来偿债

极目新闻
2026-11-19 18:43:26
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

APEC现场|APEC“全家福”来了,2分钟揭秘红蓝围巾背后故事

澎湃新闻
2026-11-19 15:22:08
2026-11-20 13:08:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
806文章数 24关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

头条要闻

普京:正式声明后三国首脑展开自由讨论 恐怕没人料到

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

家居
数码
房产
教育
本地

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

1299元飞傲UTWS17蓝牙耳挂开售:搭载双AK4333,配OLED显示屏与无触点无线充电仓

房产要闻

2.5亿!丁村侨中,新动作来了!

教育要闻

小学生说了真话却被扣4分,标准答案容不下“大实话”吗?

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版