ICLR 2026丨如何让脑机输出完整的句子？浙大等机构团队用"语义拼图"重构自然语言解码

想象一下这样的场景：一位失语症患者清醒地躺在病床上，脑海中清晰地想着"我今天想吃苹果"，却无法让护工理解这简单的需求。传统脑机接口（BCI）或许能让他逐个字母地"拼写"单词，或者从几十个预设标签中选择"食物"类别，但要自然流畅地表达完整意图，仍然隔着一道技术鸿沟。

近日，浙江大学计算机科学与技术学院联合德克萨斯大学奥斯汀分校、中国科学院上海微系统与信息技术研究所等团队，在国际顶级会议ICLR 2026（International Conference on Learning Representations）发表了题为"ASSEMBLING THE MIND'S MOSAIC: TOWARDS EEG SEMANTIC INTENT DECODING"的重磅研究。该研究提出的语义意图解码框架（Semantic Intent Decoding, SID）及其实现模型BRAINMOSAIC，首次将脑电（EEG/SEEG）信号映射到连续语义空间，通过"分解-对齐-重建"的三阶段流程，让神经信号到自然语言的转换既具备可解释性，又拥有开放词汇的表达能力。

01

当大脑遇到"表达瓶颈"

现有解码范式的困境

脑机接口旨在绕过受损的发音器官，直接翻译神经活动为语言。当前主流方法分为两大阵营，但各自存在根本性局限：

语音解码依赖运动皮层的神经信号重建语音，虽然精度较高，但仅覆盖大脑语言网络的有限部分，且对无法产生运动意图的患者（如完全性闭锁综合征）无能为力。更关键的是，这类方法受限于特定语言的音素系统，跨语言泛化能力弱。

概念解码目前有两条路径：一是将神经信号分类到预定义的离散标签（如"饥饿"、"疼痛"），这种方法如同给患者一本只有目录的词典，无法表达"我想吃奶奶在果园里摘的甜苹果"这样丰富的组合语义；二是端到端直接生成文本，虽然理论上可以输出任意句子，但这类"黑箱"模型需要海量配对数据，且缺乏可解释性，医生难以验证解码结果是否真实反映患者意图。

此外，传统评估指标如BLEU、ROUGE侧重于字符级精确匹配，无法衡量"玩手机"与"使用移动电话"这类语义等价但表述不同的句子，严重阻碍了语义解码研究的进展。

图 1：语义意图解码 (SID) 框架概览。

02

从"分类标签"到"语义坐标"：SID框架的三大突破

针对上述痛点，研究团队提出了SID框架，确立了三大核心原则：

组合性（Compositionality）：语义意图不是单一点，而是可变集合。如同"我每天吃苹果"可分解为{我，吃，苹果，每天}，大脑通过动态组合有限语义单元表达无限含义。

连续性与可扩展性（Continuity and Expandability）：语义单元应在开放连续的向量空间中表示。类似"Vision Pro"这类新概念出现时，人类能通过上下文将其与"AR头显"、"空间计算"关联，解码系统也应支持这种基于相似性的泛化，而非局限于封闭词表。

重建保真度（Fidelity）：重构句子必须既忠实于解码的语义单元（不偏离"苹果"而跳到"兔子"），又符合语言结构（避免"苹果吃收获"这类语法混乱）。

基于这些原则，BRAINMOSAIC模型构建了三个协同工作的核心模块：

语义分解器（Semantic Decomposer）：借鉴目标检测中的DETR架构，使用二分匹配（匈牙利算法）将EEG特征解码为K个潜在语义单元槽位。不同于固定长度的序列生成，该方法允许模型动态决定激活1到K个单元，实现了置换不变性和可变长度建模。

语义检索器（Semantic Retriever）：将预测的语义单元对齐到基于豆包大模型嵌入（doubao-embedding-large）构建的连续语义空间。通过余弦相似度匹配，模型不仅能在训练词汇中检索，还能通过向量 proximity 理解未见过的概念。同时，该模块预测全局句子属性（如语气、主观性），融合局部单元与全局语境。

语义解码器（Semantic Decoder）：利用大语言模型（LLM）的推理能力，将检索到的语义单元（带概率分数）和全局属性构建为结构化提示词，引导生成连贯句子。这种"语义约束生成"既避免了端到端模型的幻觉问题，又保证了语言流畅性。

图2：两级评估指标的定性示例。

03

跨越语言与模态的验证

为验证SID框架的普适性，研究团队在多语言公共数据集（中文的Chisco、ChineseEEG-2，英语的ZuCo 1.0/2.0）以及私有临床立体定向脑电图（SEEG）数据集上进行了严格测试。临床数据集包含一名癫痫患者植入132通道电极后进行的515个日常句子想象任务，涵盖饮食、睡眠、通讯等5个语义类别。

针对传统指标缺陷，团队设计了嵌入基评估体系：单元匹配准确率（UMA）衡量概念级硬匹配，平均单元相似度（MUS）衡量语义软对齐，句子重建相似度（SRS）衡量意图级保真度。

实验结果令人振奋：在Clinical数据集上，BRAINMOSAIC的UMA达到0.6596，MUS达到0.8124，SRS达到0.6651，显著优于多标签分类（Multi-Cls）和端到端生成（Neuro2Semantic）基线（p≤0.001）。更关键的是，当检索词汇从基础集扩展至30,000词（包含大量学术领域术语）时，模型性能保持稳定，证明了连续语义空间的强大泛化能力。

消融实验进一步验证了各组件的必要性：移除集合匹配机制（改为直接句子嵌入对齐）或移除连续语义空间（改为离散分类），性能均断崖式下跌；而移除LLM后，单纯拼接语义单元虽保留部分信息，但句子连贯性严重受损，凸显了语义引导重建的价值。

图3：区域贡献分析。

04

临床价值与未来图景

在临床SEEG数据集的脑区贡献分析中，研究团队发现左半球颞上回/沟（STG/STS）对语义解码贡献最大，这与经典语言神经科学中"听觉-语言通路核心枢纽"的定位高度一致，为模型的生物学有效性提供了佐证。

基于BRAINMOSAIC输出的LLM主题分类准确率达61%，显著高于直接训练的五分类器（44%），表明分解后的语义单元更有效地承载了高层语义信息。对于失语症患者而言，这意味着系统不仅能"猜出"他们想说的大致类别，还能重构出"饭菜好香啊"这样带有情感色彩的完整表达。

BRAINMOSAIC这项工作让脑机接口语义解码从"封闭分类"迈向"开放理解"的关键一步。它填补了神经信号与语言模型之间的解释性鸿沟，让BCI系统既能"读懂"大脑的语义坐标，又能"诉说"符合人类语言习惯的话语。

研究团队指出，未来工作将探索更精细的语义分解策略，结合强化学习优化解码流程，并推动系统向实时在线解码演进。随着SID框架的进一步完善，那些被困在沉默中的意识，终将通过这片"思维拼图"，重新获得表达的自由与尊严。

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）

投稿丨成为创作者，请联系微信：RoseBCI

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊