网易首页 > 网易号 > 正文 申请入驻

Nat Neurosci|句法边界如何改变词预测?

0
分享至


● 认知神经科学前沿文献分享

● 分享人:chase

论文信息:Constituent-constrained word prediction during language comprehension

发表时间:2026-04-21

发表期刊:Nature Neuroscience

DOI:10.1038/s41593-026-02272-6




研究背景

听人说话时,前面的内容常常让我们对后面产生预期。大语言模型也通过预测后续词学习语言,这使一个问题受到关注:人脑理解语言时,是否同样以尽可能准确地预测每一个词为核心目标?

精细预测需要保留并利用前文,而人的工作记忆和处理时间都有限。与此同时,语言具有层级结构:字词组成短语,短语进一步组成句子。短语、句子等具有内部结构的单位,称为语言成分(constituent)。比如,“飞机起飞”可以被理解为“飞机”和“起飞”两个成分,再组合成一个完整句子。构建这些结构,会不会改变我们预测下一个词的方式?

浙江大学等机构的研究团队在《Nature Neuroscience》发表的一项实证研究,结合三项中文脑磁图实验、行为预测任务和英语自然语音数据,检验了“成分约束的预测”假说:大脑对同一成分内部的词,以及跨过成分边界后的词,可能采用不同精细程度的预测。



研究设计与方法

● 如何把语言结构与词本身的难度分开?

三项脑磁图(magnetoencephalography,MEG)实验共涉及51名不同的普通话母语成人,实验一、二、三分别有17、19、19人,其中少数人参加了两项实验。中文实验把单音节、单字语素操作性地称为“词”;下文涉及中文材料时,预测单位因此具体到单个字。

参与者一边听逐字合成的语音,一边看同步出现的文字。独立合成、等间隔播放字音,消除了语调和停顿对成分边界的提示;文字则帮助区分同音字。参与者需辨认偶尔出现的语序打乱材料,以保持对语言内容的注意。

研究人员用中文GPT-2计算每个词的词惊奇度(word surprisal):模型认为一个词在当前上下文中越不可能出现,它的惊奇度就越高。随后检验,人类的猜词结果和神经信号,与这一模型指标如何对应。研究关注的是:这种对应关系,在同一成分内部与新成分开头是否同样强?如果边界处系统性减弱,就支持词预测受到结构约束。

这里存在一个关键混淆:短语或句子开头的词,通常也恰好更难预测。实验一因此同时选入两类句子:一类在短语边界后出现较难预测的词,另一类刻意让短语边界后的词较容易预测。比较两类材料,有助于区分“遇到了结构边界”和“这个词难猜”的影响。材料以每字250毫秒的速度呈现。

● 如何改变对边界的预期?

实验二把句子长度和结构固定下来,每句由两个二字成分组成,以每字300毫秒呈现。同类句子连续出现在同一区块,使成分何时结束更容易预判;另一条件把同一组短语重新排列成无法组成句子的短语序列。

实验三沿用实验二的材料和速度,将句子与不连贯短语试次混合呈现。这样,参与者对接下来是否构成完整句子的预期变得不确定,可进一步检验边界确定性的作用。

另有186名不同参与者完成行为猜词任务,比较自定步速和60、1.5、0.8秒反应时限下的预测。参与者依据已呈现的文字报告下一个字可能是什么,研究者将群体猜词概率换算为惊奇度,再与模型比较。最后,团队再分析9名参与者听自然英语播客时的皮层脑电(electrocorticography,ECoG)数据,考察结果能否延伸到另一种语言与更自然的材料。



研究发现

● 发现一:时间越紧,成分边界对预测的影响越明显

在可以自行控制进度的猜词任务中,人类预测与GPT-2预测的对应程度,在短语开头和内部没有显著差异。

随着反应时限缩短,人类与模型的对应关系在成分开头下降得更明显。研究者用“边界效应比率”概括这种差异:数值越大,表示模型惊奇度与人类预测的相关性,在成分内部相对越强。该比率在较短时限下显著升高,实验一材料的0.8秒条件也显著高于1.5秒条件。

这一结果把处理时间纳入了词预测的解释。慢慢猜词时能利用的信息,在快速、连续理解中未必能以同样方式及时发挥作用。


图1|处理时间影响行为预测。a、b分别使用实验一、二的句子材料;左侧红色、浅蓝色、深蓝色箱线分别表示成分内部、短语开头和句子开头词的人类—模型惊奇度相关,右侧为边界效应比率。横轴从自定步速依次缩短至60、1.5、0.8秒;比率上升表示位置间差异增大,并非猜词准确率下降的百分比。

● 发现二:即使词较容易预测,边界后的相关神经信号仍较弱

实验一中,脑磁信号与词惊奇度的相关在词出现后约400毫秒达到峰值。研究者将325—475毫秒窗口内的相关强度汇总为M400c,用它衡量神经反应与模型预测指标的对应程度。

结果显示,短语内部词的M400c强于新短语或新句子开头的词。这个差异在典型句和非典型句中都存在:即使边界后的词在统计上较容易预测,它的神经反应与模型惊奇度的对应仍然较弱。

语音韵律提示已被去除,边界后词的可预测性也经过操纵,结果支持语言结构参与调节词预测。这里的M400c减弱,具体指神经信号与模型惊奇度的对应变弱,不能直接换算为大脑预测准确率的变化。


图2|成分边界影响神经—模型对应。a展示惊奇度相关信号的时间过程;红色为成分内部词,浅蓝色为短语开头词,深蓝色为句首词。b为传感器位置上的信号分布,c比较不同词位置及典型、非典型材料,d展示边界效应分布。实验一共17人。

● 发现三:边界是否可预判,以及短语能否成句,都有影响

当实验二把句子结构和时长固定、分区块呈现时,边界效应比实验一更强。实验三保持相同材料和速度,却把句子与不连贯短语混合呈现后,句子条件的边界效应又显著减弱。实验二、三句子条件的平均边界效应比率分别约为0.56和0.44,差异显著。

这组比较表明,边界对预测的影响会随当前情境调整:当一个边界更容易事先确定时,跨过它之后的预测与成分内部预测,差异更加明显。

更大的句子结构也发挥作用。在实验二中,同一组短语能组合成句子时,出现明显边界效应;拆成不连贯短语序列、单独成块呈现时,效应未显著高于零。实验三混合呈现时,短语条件中也出现了边界效应。这些结果说明,上层句子组织及对它的预期,也会影响词预测。


图3|跨实验与条件的边界效应比较。五列依次为实验一句子、实验二固定结构句子、实验三混合区块中的句子、实验二独立区块中的短语、实验三混合区块中的短语。每个点代表一名参与者,横线为均值。句子条件中实验二的效应最强;短语条件仅在与句子混合时显著高于零。

● 发现四:自然英语语音中,也观察到相似边界效应

中文实验使用高度受控的视听材料。为检验这种差异是否也出现在自然语言中,研究团队再分析了已有的英语ECoG数据:9名参与者聆听约30分钟播客,研究者用GPT-2 XL计算词惊奇度,并在控制基本听觉反应后,比较句首词与非句首词的高伽马活动。

左颞上回和左额下回中,句首词的神经活动与惊奇度的对应较弱,方向与中文MEG结果一致。来自另一种语言和记录方式的证据,增强了“词预测受语言成分结构约束”这一结论的支持。


图4|英语自然叙事中的句子边界效应。a为全脑及八个脑区的相关时间过程,蓝色表示句首词、红色表示非句首词;b为电极分布及边界效应。图中全脑N=403代表电极数量,参与者为9人;阴影表示电极间标准误,曲线上方短线标记显著差异时段。



结论与启示

这项研究把词预测放回语言的层级结构中考察:同一成分内部和跨成分边界之后,人类行为与神经信号对模型惊奇度的对应存在系统差异,而且会随处理时间、边界确定性和上层句子结构改变。单独追求逐词预测的精确性,尚不足以概括这些语言加工规律。

作者提出,大脑可能在成分结束时,将细致的字词信息整合成更紧凑的语境表征,并在预测精度与处理效率之间权衡。这为边界效应提供了机制解释;本研究直接测到的是行为及神经指标随结构变化,具体的记忆压缩过程和资源节省仍需进一步检验。

研究也为比较人脑与语言模型提供了更具体的思路:除了看模型能否解释总体神经反应,还应检验这种对应如何随语言结构和时间压力变化。研究使用成人样本,并以GPT-2系列作为主要预测基准;后续可进一步比较不同人群、语言与模型,检验结构约束在不同条件下的稳定性。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
切尔西利物浦盯上田中碧,利兹联急启续约谈判

切尔西利物浦盯上田中碧,利兹联急启续约谈判

热血体育社
2026-11-21 01:14:01
珠海重磅装备提前抵达,VT-4B亮点满满,神秘宝塔引多方猜测

珠海重磅装备提前抵达,VT-4B亮点满满,神秘宝塔引多方猜测

装甲铲史官
2026-11-19 14:07:23
娜扎性感美腿写真

娜扎性感美腿写真

老吴教育课堂
2026-11-21 00:42:49
大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

大妈花50万买基金,账号忘了15年,孙子找回看到余额,全家愣住了

黄家湖的忧伤
2025-08-12 17:05:12
甲流毒株增多!专家劝告:萝卜土豆先靠边,这 3 样赶紧吃

甲流毒株增多!专家劝告:萝卜土豆先靠边,这 3 样赶紧吃

牛锅巴小钒
2026-11-20 00:37:01
CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

CBA杯赛最新排名!A组北京第1,C组辽宁第2,D组广东第1山东第2

老吴说体育
2026-11-20 09:27:43
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

中方消耗战术大见成效!马德雷山号拖不走,菲改口寻求对话谈判?

玲儿爱唱歌
2026-11-17 00:34:18
普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

普京:为停止冲突,乌克兰应当同意美国方面提出的“妥协方案”

奇闻不要看
2026-11-20 10:13:18
闹掰了?被中美俄点名,高市早苗不敢惹中美,将怒火全部迁怒俄方

闹掰了?被中美俄点名,高市早苗不敢惹中美,将怒火全部迁怒俄方

旧史新谭
2026-09-08 14:22:07
45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

45岁母亲雾天开车买菜失踪,10年后女儿打车上班,发现是妈妈的爱车

今天说故事
2025-07-02 17:31:55
新赛季五大球星判若两人,有人真崩盘,有人只是球权变了!

新赛季五大球星判若两人,有人真崩盘,有人只是球权变了!

史鹷的生活科普
2026-11-19 20:25:58
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
“热搜霸榜!特朗普佩戴红领带出发,登上空军一号前挥手致意”

“热搜霸榜!特朗普佩戴红领带出发,登上空军一号前挥手致意”

云崖听松
2026-11-21 01:22:37
难以启齿?王楚钦连续退赛原因揭晓,原来他与昔日马龙的情况相似

难以启齿?王楚钦连续退赛原因揭晓,原来他与昔日马龙的情况相似

远梦归晓r
2026-10-27 05:03:45
33岁中超MVP告别英博!降薪回国:200万欧年薪变40万,离队原因曝光

33岁中超MVP告别英博!降薪回国:200万欧年薪变40万,离队原因曝光

小火箭爱体育
2026-11-20 21:10:21
来到深圳最大震撼是什么?台湾媒体人唐湘龙说:

来到深圳最大震撼是什么?台湾媒体人唐湘龙说:

迷彩人生
2026-11-20 10:26:23
触目惊心!山东查出 27 批次问题食品,涵盖日常餐桌常见品类

触目惊心!山东查出 27 批次问题食品,涵盖日常餐桌常见品类

瑛派儿老黄
2026-11-20 03:11:05
那些年,APEC峰会领导人们穿过的“花衣裳”

那些年,APEC峰会领导人们穿过的“花衣裳”

黄娜老师
2026-11-20 09:17:10
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
2026-11-21 02:07:00
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
807文章数 25关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
数码
房产
家居
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版