网易首页 > 网易号 > 正文 申请入驻

Nat Neurosci|句法边界如何改变词预测?

0
分享至


● 认知神经科学前沿文献分享

● 分享人:chase

论文信息:Constituent-constrained word prediction during language comprehension

发表时间:2026-04-21

发表期刊:Nature Neuroscience

DOI:10.1038/s41593-026-02272-6




研究背景

听人说话时,前面的内容常常让我们对后面产生预期。大语言模型也通过预测后续词学习语言,这使一个问题受到关注:人脑理解语言时,是否同样以尽可能准确地预测每一个词为核心目标?

精细预测需要保留并利用前文,而人的工作记忆和处理时间都有限。与此同时,语言具有层级结构:字词组成短语,短语进一步组成句子。短语、句子等具有内部结构的单位,称为语言成分(constituent)。比如,“飞机起飞”可以被理解为“飞机”和“起飞”两个成分,再组合成一个完整句子。构建这些结构,会不会改变我们预测下一个词的方式?

浙江大学等机构的研究团队在《Nature Neuroscience》发表的一项实证研究,结合三项中文脑磁图实验、行为预测任务和英语自然语音数据,检验了“成分约束的预测”假说:大脑对同一成分内部的词,以及跨过成分边界后的词,可能采用不同精细程度的预测。



研究设计与方法

● 如何把语言结构与词本身的难度分开?

三项脑磁图(magnetoencephalography,MEG)实验共涉及51名不同的普通话母语成人,实验一、二、三分别有17、19、19人,其中少数人参加了两项实验。中文实验把单音节、单字语素操作性地称为“词”;下文涉及中文材料时,预测单位因此具体到单个字。

参与者一边听逐字合成的语音,一边看同步出现的文字。独立合成、等间隔播放字音,消除了语调和停顿对成分边界的提示;文字则帮助区分同音字。参与者需辨认偶尔出现的语序打乱材料,以保持对语言内容的注意。

研究人员用中文GPT-2计算每个词的词惊奇度(word surprisal):模型认为一个词在当前上下文中越不可能出现,它的惊奇度就越高。随后检验,人类的猜词结果和神经信号,与这一模型指标如何对应。研究关注的是:这种对应关系,在同一成分内部与新成分开头是否同样强?如果边界处系统性减弱,就支持词预测受到结构约束。

这里存在一个关键混淆:短语或句子开头的词,通常也恰好更难预测。实验一因此同时选入两类句子:一类在短语边界后出现较难预测的词,另一类刻意让短语边界后的词较容易预测。比较两类材料,有助于区分“遇到了结构边界”和“这个词难猜”的影响。材料以每字250毫秒的速度呈现。

● 如何改变对边界的预期?

实验二把句子长度和结构固定下来,每句由两个二字成分组成,以每字300毫秒呈现。同类句子连续出现在同一区块,使成分何时结束更容易预判;另一条件把同一组短语重新排列成无法组成句子的短语序列。

实验三沿用实验二的材料和速度,将句子与不连贯短语试次混合呈现。这样,参与者对接下来是否构成完整句子的预期变得不确定,可进一步检验边界确定性的作用。

另有186名不同参与者完成行为猜词任务,比较自定步速和60、1.5、0.8秒反应时限下的预测。参与者依据已呈现的文字报告下一个字可能是什么,研究者将群体猜词概率换算为惊奇度,再与模型比较。最后,团队再分析9名参与者听自然英语播客时的皮层脑电(electrocorticography,ECoG)数据,考察结果能否延伸到另一种语言与更自然的材料。



研究发现

● 发现一:时间越紧,成分边界对预测的影响越明显

在可以自行控制进度的猜词任务中,人类预测与GPT-2预测的对应程度,在短语开头和内部没有显著差异。

随着反应时限缩短,人类与模型的对应关系在成分开头下降得更明显。研究者用“边界效应比率”概括这种差异:数值越大,表示模型惊奇度与人类预测的相关性,在成分内部相对越强。该比率在较短时限下显著升高,实验一材料的0.8秒条件也显著高于1.5秒条件。

这一结果把处理时间纳入了词预测的解释。慢慢猜词时能利用的信息,在快速、连续理解中未必能以同样方式及时发挥作用。


图1|处理时间影响行为预测。a、b分别使用实验一、二的句子材料;左侧红色、浅蓝色、深蓝色箱线分别表示成分内部、短语开头和句子开头词的人类—模型惊奇度相关,右侧为边界效应比率。横轴从自定步速依次缩短至60、1.5、0.8秒;比率上升表示位置间差异增大,并非猜词准确率下降的百分比。

● 发现二:即使词较容易预测,边界后的相关神经信号仍较弱

实验一中,脑磁信号与词惊奇度的相关在词出现后约400毫秒达到峰值。研究者将325—475毫秒窗口内的相关强度汇总为M400c,用它衡量神经反应与模型预测指标的对应程度。

结果显示,短语内部词的M400c强于新短语或新句子开头的词。这个差异在典型句和非典型句中都存在:即使边界后的词在统计上较容易预测,它的神经反应与模型惊奇度的对应仍然较弱。

语音韵律提示已被去除,边界后词的可预测性也经过操纵,结果支持语言结构参与调节词预测。这里的M400c减弱,具体指神经信号与模型惊奇度的对应变弱,不能直接换算为大脑预测准确率的变化。


图2|成分边界影响神经—模型对应。a展示惊奇度相关信号的时间过程;红色为成分内部词,浅蓝色为短语开头词,深蓝色为句首词。b为传感器位置上的信号分布,c比较不同词位置及典型、非典型材料,d展示边界效应分布。实验一共17人。

● 发现三:边界是否可预判,以及短语能否成句,都有影响

当实验二把句子结构和时长固定、分区块呈现时,边界效应比实验一更强。实验三保持相同材料和速度,却把句子与不连贯短语混合呈现后,句子条件的边界效应又显著减弱。实验二、三句子条件的平均边界效应比率分别约为0.56和0.44,差异显著。

这组比较表明,边界对预测的影响会随当前情境调整:当一个边界更容易事先确定时,跨过它之后的预测与成分内部预测,差异更加明显。

更大的句子结构也发挥作用。在实验二中,同一组短语能组合成句子时,出现明显边界效应;拆成不连贯短语序列、单独成块呈现时,效应未显著高于零。实验三混合呈现时,短语条件中也出现了边界效应。这些结果说明,上层句子组织及对它的预期,也会影响词预测。


图3|跨实验与条件的边界效应比较。五列依次为实验一句子、实验二固定结构句子、实验三混合区块中的句子、实验二独立区块中的短语、实验三混合区块中的短语。每个点代表一名参与者,横线为均值。句子条件中实验二的效应最强;短语条件仅在与句子混合时显著高于零。

● 发现四:自然英语语音中,也观察到相似边界效应

中文实验使用高度受控的视听材料。为检验这种差异是否也出现在自然语言中,研究团队再分析了已有的英语ECoG数据:9名参与者聆听约30分钟播客,研究者用GPT-2 XL计算词惊奇度,并在控制基本听觉反应后,比较句首词与非句首词的高伽马活动。

左颞上回和左额下回中,句首词的神经活动与惊奇度的对应较弱,方向与中文MEG结果一致。来自另一种语言和记录方式的证据,增强了“词预测受语言成分结构约束”这一结论的支持。


图4|英语自然叙事中的句子边界效应。a为全脑及八个脑区的相关时间过程,蓝色表示句首词、红色表示非句首词;b为电极分布及边界效应。图中全脑N=403代表电极数量,参与者为9人;阴影表示电极间标准误,曲线上方短线标记显著差异时段。



结论与启示

这项研究把词预测放回语言的层级结构中考察:同一成分内部和跨成分边界之后,人类行为与神经信号对模型惊奇度的对应存在系统差异,而且会随处理时间、边界确定性和上层句子结构改变。单独追求逐词预测的精确性,尚不足以概括这些语言加工规律。

作者提出,大脑可能在成分结束时,将细致的字词信息整合成更紧凑的语境表征,并在预测精度与处理效率之间权衡。这为边界效应提供了机制解释;本研究直接测到的是行为及神经指标随结构变化,具体的记忆压缩过程和资源节省仍需进一步检验。

研究也为比较人脑与语言模型提供了更具体的思路:除了看模型能否解释总体神经反应,还应检验这种对应如何随语言结构和时间压力变化。研究使用成人样本,并以GPT-2系列作为主要预测基准;后续可进一步比较不同人群、语言与模型,检验结构约束在不同条件下的稳定性。

如果觉得不错,随手点个赞、在看、转发三连吧,如果不想错过前沿资讯,可以给我个星标⭐!谢谢阅读,下次再见~

版权归属作者团队和出版社,本文仅做分享


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年冬天流行“大+小”穿法,时髦又显瘦!

今年冬天流行“大+小”穿法,时髦又显瘦!

LinkFashion
2026-11-20 22:19:41
LCK大地震!DK迎来史诗级补强,GEN彻底重组,Viper去向成疑

LCK大地震!DK迎来史诗级补强,GEN彻底重组,Viper去向成疑

暴龙电竞号
2026-11-20 22:06:21
一位大龄未婚女生说:女人只要生了孩子,就被孩子套牢了

一位大龄未婚女生说:女人只要生了孩子,就被孩子套牢了

风起见你
2026-11-20 04:44:08
她亲生父亲是中共首任总司令,养父母均为正国级,哥哥还是中将

她亲生父亲是中共首任总司令,养父母均为正国级,哥哥还是中将

大运河时空
2026-10-20 08:50:05
1958年王必成带头批判粟裕,会后贺龙感叹:王必成可深信、可深交

1958年王必成带头批判粟裕,会后贺龙感叹:王必成可深信、可深交

晓駂就是我
2026-09-03 20:47:57
纪实:两赌徒徒步3天3夜,从杭州走到上海搞钱,竟将一家三口灭门

纪实:两赌徒徒步3天3夜,从杭州走到上海搞钱,竟将一家三口灭门

人间六月天
2025-02-19 13:37:33
日本10月核心CPI同比增长2.2%,预期2.30%,前值2.10%

日本10月核心CPI同比增长2.2%,预期2.30%,前值2.10%

每日经济新闻
2026-11-20 07:36:05
朱海就:哈耶克最重要的思想,隐藏于少有人注意的一部巨著中

朱海就:哈耶克最重要的思想,隐藏于少有人注意的一部巨著中

游子三月三
2026-11-18 18:54:00
中国帮韩国解了气?韩国网友欢呼中…

中国帮韩国解了气?韩国网友欢呼中…

奋斗在韩国
2026-11-20 11:18:37
2018年,重庆女子发现保姆儿子与前夫神似,鉴定后发现是自己亲生

2018年,重庆女子发现保姆儿子与前夫神似,鉴定后发现是自己亲生

芊芊子吟
2026-11-20 06:20:11
金刻羽提出了一个非常好的问题,又给出了一个非常不好的建议

金刻羽提出了一个非常好的问题,又给出了一个非常不好的建议

小筑财经
2026-10-22 08:10:07
人类史上最高级零元购:榨干印度200年,留下45万亿天价账单

人类史上最高级零元购:榨干印度200年,留下45万亿天价账单

吕醿极限手工
2026-11-20 13:13:48
中国日本韩国吸烟率对比:日本17.5%,韩国18.6%,中国是多少?

中国日本韩国吸烟率对比:日本17.5%,韩国18.6%,中国是多少?

荆楚寰宇文枢
2026-10-27 22:10:25
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
张嘉益立于C位,左右皆是佳人

张嘉益立于C位,左右皆是佳人

娱你同欢
2026-11-19 21:49:13
随着李天阳2-3,WTT球星挑战赛马斯喀特站男单8强已诞生5席:2名中国选手在列

随着李天阳2-3,WTT球星挑战赛马斯喀特站男单8强已诞生5席:2名中国选手在列

侧身凌空斩
2026-11-20 16:00:49
水浒传最可耻的女子,一个月与情人约会20几次,最终害死情人和丈夫

水浒传最可耻的女子,一个月与情人约会20几次,最终害死情人和丈夫

金宝哥讲故事
2026-10-24 17:45:16
中国担任2026年亚太经合组织东道主成果清单

中国担任2026年亚太经合组织东道主成果清单

澎湃新闻
2026-11-19 23:29:29
江青警卫回忆:虽没有抱过外孙,却不是没有感情,跪求主席救李讷

江青警卫回忆:虽没有抱过外孙,却不是没有感情,跪求主席救李讷

纪实文录
2025-06-25 16:39:32
美军潜艇司令抛出论断:面对中国095和096,美军已不再遥遥领先

美军潜艇司令抛出论断:面对中国095和096,美军已不再遥遥领先

铁锤侃侃而谈
2026-11-17 10:54:07
2026-11-21 02:16:49
PsyBrain脑心前沿
PsyBrain脑心前沿
追踪脑科学新动态,聚焦认知与神经新研究
807文章数 25关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
家居
手机
教育
时尚

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

无障碍浏览 进入关怀版