网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 视觉语言大模型不关注场景中的人类,反而靠物体大小判断谁更关键

0
分享至



视觉语言大模型(VLMs)已经可以轻松完成诸多复杂的场景理解和视觉问答,但是模型对场景的理解真的和人类一致吗?

先前的诸多计算机视觉研究都指出,看似模型和人类都能在相同的任务达到相同的水平,甚至模型可以超越人类的水平,但是模型和人类依赖的却是不同的特征,从而在很多情况下表现出和人类不一致的行为。

来自加州大学圣塔巴巴拉分校的研究者指出,不论是开源还是闭源的视觉语言大模型对于场景中物体的重要性的理解和人类存在显著不同,视觉语言大模型尤其依赖于场景中物体的大小,居中程度,低级显著性,而对场景中的物体是否是人类并不敏感。





  • 论文题目:Revealing the Gap in Human and VLM Scene Description through Counterfactual Semantic Saliency
  • 论文链接:https://arxiv.org/abs/2605.13047
  • 项目代码:https://github.com/starsky77/Counterfactual-Semantic-Saliency-Data
  • 项目网页:https://starsky77.github.io/Counterfactual-Semantic-Saliency
  • 项目数据:https://huggingface.co/datasets/starsky77/counterfactual-semantic-saliency

贡献一:量化场景中语义显著性的模型评估方法

为什么需要黑盒方法

现代视觉语言大模型参数规模巨大,而且大量模型是闭源的,传统的"白盒"可解释性方法(例如可视化注意力图、梯度热力图)要么无法使用,要么难以揭示真正起因果作用的特征。为此,论文提出了一种适用于所有开源和闭源模型的黑盒评估方法,以量化场景中物体对 VLM 给出的场景描述的影响。

反事实语义显著性:移走一个物体,看描述变了多少

反事实语义显著性(Counterfactual Semantic Saliency, CSS)的基本思路就是通过因果干预(Causal intervention),分别检验每个输入元素对输出的影响,来确定场景中每个视觉元素对于场景语义的影响。如果移除场景中的显示器对场景的语义造成了最剧烈的变化,则说明显示器是理解场景最为关键的元素;反之,移除场景里的插座并不会对场景语义造成变化,则说明这些元素的语义显著性不高。



贡献二:反事实场景的人类数据集

307 张原始场景 + 1306 张反事实场景

为了对比人类和模型在场景理解上的差异,研究者基于视觉显著性研究中广泛使用的OSIE 数据集,构建了一个由 307 张原始场景,以及 1306 张反事实场景组成的数据集。其中每个原始场景对应 3-6 个反事实场景,在每个反事实场景中都有一个对应的物体被移除。

227 名被试、16603 条描述构成的人类基线

论文通过 Prolific 平台收集了 227 名人类被试的场景描述数据。为了避免记忆效应和前后干扰,实验采用被试间设计:对于含有 N 个目标物体的场景,原图和 N 张反事实图被分配到 N+1 组互不重叠的刺激集中,每组由约 10 名独立被试完成,确保对于同一个原始场景及其反事实变体,每名被试只会看到其中一个。研究者共收集16665 次试次,剔除与其他被试描述明显不一致的低质量回答(约 0.3%)后,最终保留 16603 条场景描述,每张图像约有 10 条(9–11 条)独立描述,由此构成人类基线。



贡献三:模型在场景理解上和人类表现出显著差异并且依赖于不同特征

19 个模型,无一达到人类水平

研究者评估了19 个主流的开源和闭源视觉语言大模型,涵盖 Qwen3-VL、InternVL3、Gemma 4、GPT-5.4、Claude 4.x、Gemini 3.x 等系列。结果显示,所有模型在场景理解上都和人类存在显著差异:无论是判断场景中语义显著性最高的物体,还是给同一场景中的物体排重要性顺序,模型都显著落后于人类之间的一致性水平。



四种假设:大小、居中、低级显著性,还是"人"?

为了进一步理解导致模型和人类在场景理解上的差异的原因,研究者基于人类视觉研究以及深度学习模型偏差的过往研究,提出了四种可能影响场景理解的假设:

1. 大小敏感性(Sensitivity to Size):物体刺激大小是人类视觉注意力的重要线索之一,而过往研究也表明,物体识别类深度学习模型会过度依赖物体大小。研究者用分割掩码的面积来衡量物体大小。

2. 中心敏感性 (Sensitivity to Center):人类视觉天然会关注画面中心的物体,同时诸多视觉模型是在以物体为中心的数据(如 ImageNet、MS-COCO)上训练的。研究者用物体中心到图像中心距离的负值来衡量居中程度。

3. 低级显著性(Sensitivity to Low-level saliency)敏感性:视觉注意力研究指出,颜色、亮度等低级视觉特征上的对比度会影响人类的视觉感知;也有研究指出,视觉模型可能更偏好低级视觉特征,而不是高级语义信息。研究者使用传统的低级显著性模型 Graph-Based Visual Saliency(GBVS)来量化图像中的低级显著性,并以物体所在区域内的低级显著性峰值作为该物体的低级显著性。

4. 人类敏感性 (Sensitivity to Person-Non-person):人类眼动研究指出,即使没有给定具体任务,人们也会优先观察场景中的人。目前还没有工作系统研究视觉语言大模型是否也有这种对人的敏感性。研究者通过 GPT-5.4 标注场景中的物体是否属于人类。

基于上述四种假设,研究者分析了物体的语义显著性与大小、居中度、低级显著性、是否为人之间的相关性。结果发现,与人类观察者相比,视觉语言大模型显著更依赖物体的低级属性;相反,模型对"人"的敏感性显著低于人类观察者。 换句话说,模型更容易被又大、又居中、又醒目的物体"带偏",不论这些物体在语义上是否真的重要;而人类在描述场景时会被画面中有没有人强烈影响,模型却对此相对迟钝



大小偏好是造成人机差异的首要因素

既然模型在四种属性上的敏感性都与人类不同,那么到底是哪一种在主导模型"找错关键物体"?

研究者对每个模型计算两个"差距":一是该模型在某个属性上的敏感性与人类的差值(Δr),二是该模型 Top-1 准确率与人类的差值(ΔAcc)。然后在 19 个模型之间看这两个差距是否相关:如果某个属性上偏离人类越多的模型,找关键物体的表现也越差,那么这个属性就很可能是驱动差距的因素。结果显示,在四种属性中,只有大小敏感性的偏离与 Top-1 准确率的差距显著相关,其余三种属性均未达到显著水平。这也解释了文章开头的例子:白鸟在画面中占据的像素远多于鱼竿,模型对大小的过度依赖使鱼竿的重要性被掩盖,最终与人类的判断背道而驰。

白盒注意力图并不能告诉我们模型"真正在意"什么

长期以来,研究者常用注意力图或激活图来"看"模型关注了图中哪些区域。那么这些白盒方法能否得到与 CSS 一致的物体重要性?

研究者在开源模型 Qwen3-VL-4B-Instruct 上对比了三种常用的白盒方法:原始注意力图、Grad-CAM 和 AGCAM(注意力引导的类激活图)。由于模型是逐个 token 生成描述的,每个 token 都会对应一张热力图,研究者对所有 token 的热力图取最大值进行汇总,再取每个物体区域内的最大值作为该物体的重要性。

结果发现,这些白盒热力图要么杂乱无章,要么过于稀疏,经常聚焦在语义无关的区域。它们给出的物体重要性排序与 CSS 甚至呈负相关。这说明,面对结构复杂的现代 VLM,被动观察式的可解释性方法很难揭示真正驱动模型输出的因果因素。



结语

这项研究提出了反事实语义显著性(CSS)这一黑盒、与模型无关的评估框架,并结合大规模人类心理物理实验,系统揭示了视觉语言大模型与人类在场景理解上的普遍差距:人类会自然地关注场景中的人,而模型则默认过度依赖物体大小、居中程度和低级显著性等低级视觉特征,其中对物体大小的过度依赖是导致这一差距的最主要因素。在生成数据被大量用于模型训练的今天,"模型是否像人一样看世界"或许是一个同样值得关注的问题。

作者介绍:

本文第一作者温子奇,现为加州大学圣塔芭芭拉分校计算机博士生,研究方向为计算机视觉和认知科学的交叉领域:人类视觉建模,模型与人类的行为差异以及其原因。研究生毕业于卡耐基梅隆大学计算机学院( School of Computer Science),本科毕业于浙江大学计算机科学与技术学院。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

巢客HOME
2026-11-22 13:55:04
河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

基斯默默
2026-11-22 09:38:25
新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

平静话社保
2026-11-22 09:56:38
德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

你是我心中最美星空
2026-11-22 05:46:42
环球体育:博卡2-0米内罗竞技,三夺南美杯

环球体育:博卡2-0米内罗竞技,三夺南美杯

懂球帝
2026-11-22 09:08:03
NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

娱乐嗑学家.
2026-11-08 11:37:18
董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

念洲
2026-11-22 08:49:31
二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

言过于诚
2026-11-21 21:03:49
普京和特朗普专机差距到底有多大

普京和特朗普专机差距到底有多大

观界z
2026-11-21 15:05:48
黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

指忘崖
2026-11-22 08:31:37
记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

懂球帝
2026-11-22 14:44:20
佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

懂球帝
2026-11-22 05:36:11
因担心变同性恋,父亲逼儿子与后妈发生性关系

因担心变同性恋,父亲逼儿子与后妈发生性关系

侠客栈
2026-11-21 11:37:29
金饰克价年内大跌超650元

金饰克价年内大跌超650元

21世纪经济报道
2026-11-21 13:31:39
新一轮冷空气来了,四川多地降雨降雪降温

新一轮冷空气来了,四川多地降雨降雪降温

掌上金牛
2026-11-22 11:53:57
李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

政知新媒体
2026-11-22 14:27:53
深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

宇宙时空
2026-10-12 11:58:16
末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

替补席看球
2026-11-22 17:14:58
不忍了!北约突然掀桌,准备直捣俄罗斯腹地

不忍了!北约突然掀桌,准备直捣俄罗斯腹地

今观天下
2026-11-07 07:49:23
2026-11-22 18:48:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14532文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

健康
教育
家居
亲子
手机

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

题目难还是真超纲?六年级数学题全年级只有很少同学解答正确

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

孩子厌学不想上学,不是想开点就好了

手机要闻

消息称三星正为One UI 9.5引入新版实时通知

无障碍浏览 进入关怀版