网易首页 > 网易号 > 正文 申请入驻

芯生视界携手华山医院及浙大二院语言脑机接口研究登上Nature Neuroscience

0
分享至



目前,主流语言脑机接口的技术实质,是解码大脑在实际或尝试说话时发出的口唇、舌、喉等构音运动指令,再将这些指令转化为文字或声音。而从这些“驱动发音的指令”,进一步走向无需执行构音动作的“内在言语想象”,意味着解码对象从大脑如何指挥发音,拓展到人在脑海中如何“说话”。这一方向更贴近将内在意念转化为外部表达的目标,有望拓展语言脑机接口的技术边界,为难以开口的人提供新的交流路径。

近日,中国研究团队在这一方向取得了重要突破。2026年9月29日,芯生视界联合创始人、上海科技大学李远宁教授作为共同通讯作者,携手复旦大学附属华山医院神经外科吴劲松/路俊锋主任团队及浙江大学医学院附属第二医院陈高主任团队等,在脑科学顶级期刊《Nature Neuroscience》发表研究成果。研究揭示了想象言语与实际发声之间共享及特异的神经编码机制,并在受控音节任务中,实现了无需实际发声的想象言语识别与语音合成。这项成果为语言脑机接口从构音运动指令解码走向内在言语想象解码,提供了新的科学依据与技术路径[1,2]。



图一、李远宁|芯生视界联合创始人、上海科技大学研究员、本论文共同通讯作者。

一个引人注目的结果是:在限定音节的想象发音任务中,模型识别准确率的中位数达到80.4%。研究还从神经活动中合成了音节语音,并重建与发音相关的运动轨迹[1]。

这项研究用具体的解码结果,验证了从构音运动指令走向内在言语想象的技术可能。在受试者不实际发声、仅在脑海中主动想象发音的条件下,模型对限定音节的解码准确率中位数达到80.4%。团队还从想象发音时的神经活动中合成了音节语音,并重建了与发音相关的构音运动轨迹[1]。

这些结果表明,即使没有实际执行发音动作,大脑内部的言语想象仍能为解码提供有效信息。当一个人在脑海中默念“ba”时,嘴唇没有动作,也没有声音传出,但大脑已经在内部模拟这一发音过程。研究所捕捉的,正是这一过程中的神经活动,并将其转化为可识别、可听见的输出,让“脑海中的言语”有了通向外部表达的技术路径。
为探索这一路径,研究团队纳入9名接受唤醒手术的脑肿瘤患者,在术中唤醒言语功能定位阶段,利用临时放置的高密度皮层脑电电极,记录并比较实际发声与想象发音时的神经活动。这项研究验证了内在言语想象的可解码性,也为进一步探索更大词汇量和连续言语解码奠定了基础[1]。

真正值得脑机接口行业关注的,是这个结果背后的信号选择。

研究发现,真实发音时,高频γ信号(70—150 Hz)在发音运动编码中更为突出;而想象发音时,较低频的β1信号(12—24 Hz)占据主导[2]。

可以把它比作接收一段无线电广播:除了提高接收器性能,还需要找到承载目标信息的频段。这项结果提示,开发想象言语脑机接口时,β1信号值得被认真纳入设计。理解大脑如何工作,会直接影响工程师选择什么信号、如何训练模型。



图二、实验设计与脑电频段比较。真实发音与想象发音依赖的主要编码频段有所不同。

研究还发现,想象发音与真实发音既有共享的神经表征,也有各自特有的编码模式。借助共享表征,模型能够在两种任务间进行跨模态解码;对训练中未出现的音节,也展现出预测其发音运动轨迹的能力[2]。

对于未来的系统研发,这提供了一个值得验证的方向:能否让模型学到可迁移的发音规律,从而减少对逐个音节反复训练的依赖?如果这条路径在更大词汇量和更复杂任务中成立,脑机接口的训练方式和使用体验都有望随之改善。



图三、想象发音与真实发音的共享及特异性神经编码。

从产业视角看,这项成果体现了芯生视界联合创始团队在神经编码与脑机解码方面的研究积累,也指向脑机接口更长远的发展方向:从运动指令的读取与外部设备控制,逐步走向高通量的感知与认知交互,让大脑与外部系统能够在更接近意念表达和概念语义的层面交换信息。

视觉与语言,是这一方向上两项核心的高级认知功能。视觉使人能够获取并理解外部世界的丰富信息,语言则支持概念的组织、意图的表达与人与人之间的交流。两者分别构成高级信息传入与传出的重要通路,也为脑机接口连接外部感知与内在表达提供了相互呼应的技术方向。此次研究将言语解码拓展至内在想象,正是在信息输出端探索如何把大脑内部主动生成的表达转化为外部可理解的信号。

实现这样的高通量交互,需要将电极记录或传递的信号,与大脑中具有明确功能意义的表征建立联系。哪些神经活动承载感知内容,哪些反映内部言语计划,以及这些信息如何被稳定地解码或通过神经刺激传入,都会影响脑机接口能够传递多少有效信息、支持多复杂的交互。此次李远宁教授与临床团队的合作,展示了对神经编码机制的理解如何指导信号选择与解码模型设计,为进一步探索意念和概念语义层面的交互提供研究基础。

对芯生视界而言,视觉与语言研究的共同价值,在于推动脑机接口更深入地连接人的感知、理解与表达。通过临床研究、神经计算与工程研发的紧密协作,将对高级认知功能的认识转化为可验证的技术方法,是迈向更丰富、更自然的人机信息交互的重要路径。



图四、从脑电活动解码音节类别、合成语音与发音运动轨迹的框架及结果。

专访李远宁

问:这项研究最重要的科学和技术意义是什么?

李远宁:我们领域目前所取得的所有语言脑机接口解码的结果,无论是英语还是汉语,主要还是在做口唇运动神经信号的解码,即某种意义上的唇读,并没有真正做到解码意念和语义。这其中最主要的问题,还是这些高级语言过程的神经机制本身尚不明确,而我们这项新发表的工作,则是迈向了内在静默言语过程解码的第一步,即某种意义上真正的“意念解码”。

问:这对芯生视界的脑机接口研发有什么启示?

李远宁:视觉与语言面对的具体问题不同,但都需要深入理解大脑怎样组织信息。对脑机接口研发而言,电极与芯片决定能记录和调控什么,神经机制与算法决定怎样把这些能力用于具体任务。我们希望弄清楚哪些神经活动承载了可利用的信息,再据此设计解码方法。只有把机制研究与工程问题联系起来,才更有机会让系统在复杂场景下可靠工作。我们重视的,是把临床需求、脑科学研究和工程开发紧密连接起来。

问:距离让无法开口的人真正用起来,还要跨过哪些关?

李远宁:让患者依靠想象言语进行日常交流和工作,仍需要更大规模、长期使用和真实交流场景的验证。眼前这项研究已经让下一步探索变得更加清晰。接下来需要面向更复杂的表达内容和真实使用环境,验证系统能否长期、稳定、低负担地工作。实验室里的分类成绩只是一个起点。我们希望未来使用者能够自主表达想说的话,让一次次技术进步最终体现在人与人之间的交流中。

参考资料:

[1] Zhao, Z., Wang, Z., Liu, Y. et al. A neural architecture for imagined and overt speech motor dynamics. Nature Neuroscience (2026).https://doi.org/10.1038/s41593-026-02456-0

[2]华山医院国家神经疾病医学中心研究报道 https://ncnd.huashan.org.cn/cv/kexue/detail/4081.html

[3]李远宁个人主页https://bme.shanghaitech.edu.cn/2021/0326/c8204a502240/page.htm



脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务:

宣传报道:图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容,提升曝光和行业影响力。

资源对接:根据需求匹配资本、供应链、临床机构、渠道方等资源,完成真实对接,促进合作。

成果转化:协助技术团队寻找产业方、投资人及落地场景,推动技术到产品的转化。

活动策划执行:承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求:包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈,请联系微信:ZuoLeiLeiya

(备注:姓名-单位-合作)

投稿丨成为创作者,请联系微信:RoseBCI



不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
高志凯提出了一个反向设问:俄罗斯既然觉得经蒙古向中国输气是一条好路,也可以让俄气先进入中国,再借中国管网送往印度,印度愿意吗?

高志凯提出了一个反向设问:俄罗斯既然觉得经蒙古向中国输气是一条好路,也可以让俄气先进入中国,再借中国管网送往印度,印度愿意吗?

扶苏聊历史
2026-09-22 16:45:33
亚锦赛:世界第二爆冷出局!国乒19岁小将连赢2场,王艺迪再输日本

亚锦赛:世界第二爆冷出局!国乒19岁小将连赢2场,王艺迪再输日本

十点街球体育
2026-10-23 18:35:04
“娱圈老王”的瓜!

“娱圈老王”的瓜!

文刀万
2026-10-23 06:15:04
1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

1980年,邓小平说:毛主席的错误,要毫不含糊地批评,但要实事求是

帝哥说史
2026-10-11 16:14:43
悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

悉尼奥运会前,袁伟民坚决反对“马家军”参赛:大不了不当局长了

小莜读史
2026-10-12 09:38:33
顾客理发时突发疾病死亡,店员“掐人中”施救反被死者家属指责并索赔46万余元;法院:“好人条款”撑腰,不让施救者流汗又流泪,不担责

顾客理发时突发疾病死亡,店员“掐人中”施救反被死者家属指责并索赔46万余元;法院:“好人条款”撑腰,不让施救者流汗又流泪,不担责

都市快报橙柿互动
2026-10-23 07:53:01
我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

News脑洞
2026-10-23 10:51:48
杰伦·布朗在网上发表评论后,他和塔图姆关系开始变得紧张起来

杰伦·布朗在网上发表评论后,他和塔图姆关系开始变得紧张起来

好火子
2026-10-23 21:36:25
三问“问界汽车在神木碰撞起火事故”:撞击瞬间时速是多少?AEB是否启动?起火是否太快?

三问“问界汽车在神木碰撞起火事故”:撞击瞬间时速是多少?AEB是否启动?起火是否太快?

澎湃新闻
2026-10-23 07:46:29
英国人爱吃甜食,胆固醇水平却很低?7个生活习惯一次说清楚

英国人爱吃甜食,胆固醇水平却很低?7个生活习惯一次说清楚

医学科普汇
2026-10-23 21:30:07
每年数万人因前列腺离世!医生建议:天冷宁可躺一天,也别干 8 事

每年数万人因前列腺离世!医生建议:天冷宁可躺一天,也别干 8 事

健康之光
2026-10-23 20:35:08
身披旭日旗的陈宇昕获扬州某企业支持,汤家凤发文怒批:必须严惩,露头就打

身披旭日旗的陈宇昕获扬州某企业支持,汤家凤发文怒批:必须严惩,露头就打

平老师666
2026-10-23 16:30:12
王思聪现身香港,带3位女伴喝下午茶很惬意!为何不回内地惹争议

王思聪现身香港,带3位女伴喝下午茶很惬意!为何不回内地惹争议

娱乐团长
2026-10-23 10:43:10
美媒:若共和党在中期选举落败,乌克兰很可能遭受特朗普的报复

美媒:若共和党在中期选举落败,乌克兰很可能遭受特朗普的报复

浮光惊掠影
2026-10-23 14:56:14
秦安:太狡猾了,突然转向!特朗普支持内塔尼亚胡,很可能是让以色列再次打击伊朗,要高度警惕!

秦安:太狡猾了,突然转向!特朗普支持内塔尼亚胡,很可能是让以色列再次打击伊朗,要高度警惕!

秦安战略
2026-10-23 22:54:59
网传“退休金比打工人工资还高”,评论区炸锅了

网传“退休金比打工人工资还高”,评论区炸锅了

墨言执笔
2026-10-13 05:47:41
背靠背轮休?詹姆斯:我不能替恩比德决定 我们会进行伤病管理

背靠背轮休?詹姆斯:我不能替恩比德决定 我们会进行伤病管理

北青网-北京青年报
2026-10-23 20:37:01
海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

狸猫之一的动物圈
2026-10-21 09:04:47
陈宇昕事件再升温!解放军发声,遣返只是开始,背景调查才要命!

陈宇昕事件再升温!解放军发声,遣返只是开始,背景调查才要命!

大眼妹妹
2026-10-20 22:48:29
巴贝尔力挺克洛普:我也看不懂孔帕尼战术,不想撒谎假装看懂

巴贝尔力挺克洛普:我也看不懂孔帕尼战术,不想撒谎假装看懂

懂球帝
2026-10-23 20:55:08
2026-10-24 11:36:49
脑机接口社区 incentive-icons
脑机接口社区
关注脑机前沿,分享脑机技术
472文章数 32关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

女子被同事兄弟俩在车底偷装GPS 两人动机不同互不知情

头条要闻

女子被同事兄弟俩在车底偷装GPS 两人动机不同互不知情

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

健康
房产
数码
手机
公开课

痘痘能根治吗?皮肤科医生说实话

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

数码要闻

少见的良心售后!7万元RTX 5090风扇故障:厂商不退款直接修

手机要闻

苹果iPhone Duo影像细节曝光:主摄最高可读取5100万像素

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版