网易首页 > 网易号 > 正文 申请入驻

港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

0
分享至



本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreAI。此次提出的ConvexLLM,通过创新的 C-Gate 架构,将语音信息映射至大语言模型原有文本词向量的凸包中,使模型能够充分发挥已有的知识储备与推理能力。在 VoiceBench 等多项基准测试中,ConvexLLM 取得了同量级开源模型中的领先表现,为语音与语言的统一建模提供了新的技术路径。



  • 论文标题:ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence
  • 论文链接:https://arxiv.org/abs/2610.23539
  • 作者:Ming-Hao Hsu、Shujie Liu、Yuxuan Hu、Yuxiang Wang、Yingda Shen、Jinyu Li、Zhizheng Wu
  • 研究单位:香港中文大学(深圳)数据科学学院、微软 CoreAI、微软亚洲研究院

大模型已经学会了知识与推理。给它接上一对 “耳朵”,这些能力能不能一起接过来?

这是语音大模型绕不开的一道题:同一个问题,写出来能答,换成语音,表现却可能明显下降。声音已经被编码成向量,语言模型也足够强,两者之间还缺什么?

来自香港中文大学(深圳)与微软的研究团队,把目光放在了声音进入语言模型的接口上。ConvexLLM 把音频表示约束在语言模型原有文字词向量的凸包中,让声音以连续的文字向量组合进入大模型。



视频链接:https://mp.weixin.qq.com/s/pwsBRtN37rQzdXpObJG3dg

ConvexLLM Demo 演示

什么是 “凸包”?想象桌面上钉着一些钉子,用一根橡皮筋从外侧将它们围住并收紧。橡皮筋围出的区域,连同边界,就是这些点的凸包。把这些点按非负、总和为 100% 的比例做加权平均,得到的新点总会落在这个区域内。文字词向量也可以看作空间中的点,只是维度更高;ConvexLLM 就通过混合这些词向量来表示声音。

这个看起来增加了限制的设计,带来了亮眼的语音知识与推理表现。

在论文报告的同量级开源权重模型对比中,ConvexLLM 以 75.36 分取得 VoiceBench 11 项任务综合得分第一。OpenBookQA 达到 90.33%,BBH 达到 80.40%,后者领先表中最强基线 8.80 个百分点。

此项研究把一个值得整个多模态领域追问的问题推到了眼前:文字词向量组成的连续空间,到底能承载多丰富的声音信息?



  • 欢迎访问 ConvexLLM 论文网站: https://mhhsu1006.github.io/convexllm/

一、让声音用上语言模型熟悉的坐标

文本大模型在预训练中积累了大量知识、推理模式与指令遵循能力。做语音大模型,一个核心目标就是让用户直接开口说话,也能调用这些能力。

声音经过编码器后,需要通过接口转成语言模型的输入。常见的 MLP 或 Q-Former 可以在连续空间里自由映射。ConvexLLM 为这一步选定了明确的参照:语言模型自己的文字词向量。

它的核心接口 C-Gate,把每个音频位置表示成多个冻结词向量的加权组合。词向量提供稳定的坐标,声音决定如何组合。这个设计把语音适配的起点,放在了语言模型已经拥有的表示之上。

从这一视角看,对于表达相同内容的语音和文字,模态差异未必意味着语义本身不同,也可能体现为它们在共享表示空间中展开的轨迹(trajectory)不同。文字通过离散词元组织信息,语音则可以通过随时间变化的连续向量组合承载内容及声学细节。C-Gate 为这种探索提供了一个共同的坐标基础。

让声音用大模型熟悉的表示,调用它已经学会的智能。

二、固定的是词向量,自由的是组合方式

“把声音放进文字空间”,最有意思的地方在于连续组合。

可以把语言模型的词向量想象成一块调色盘。颜料已经固定,但改变配比,就能调出丰富的颜色。C-Gate 对声音做的事情与此类似:每个音频位置先形成查询,从词表中选出最匹配的 16 个词向量,再学习它们的混合权重。

这些权重非负、总和为 1,因此混合后的表示落在文字词向量的凸包内。随着声音变化,选中的向量和混合比例也随之改变,各个音频位置的表示依次构成文字词向量凸包内的一条时序轨迹。固定的是表示空间的参照,变化的是声音在其中展开的路径,以及这条路径承载的信息。



图 1|C-Gate 将选中的 Top-16 冻结词向量连续混合,让声音进入语言模型。

这里保留了一个关键的表达自由度:音频表示可以落在多个词向量之间,无须对应某一个离散词,也无须先形成一段可读转录。语言模型读入的,仍然是一串由声音决定的连续表示。

连续混合的重要性,在支持集大小实验中表现得尤为鲜明:在论文的 2B 配置下,每个位置只选择 1 个词向量时,VoiceBench 综合分为 22.30。扩展到 16 个词向量的连续组合后,综合分达到 60.35。组合的自由度,让这个固定的词向量空间变得更有表现力。

训练也围绕这个接口逐步展开:先训练接口,再加入编码器,最后联合适配编码器、接口与解码器模块。文字词向量表始终固定。主模型还通过文字教师蒸馏,让语音输入下的回答分布学习对应文字输入下的语言能力。

三、75.36 分,声音接上了更强的知识与推理

一个接口设计的价值,最终要看它把多少能力带到了语音端。

在覆盖语音交互、问答、指令遵循与推理等任务的 VoiceBench 上,ConvexLLM 的 11 项任务综合得分达到 75.36,高于 MiniCPM-o 4.5 的 73.04、Kimi-Audio 的 70.26 和 MiMo-Audio 的 67.01。



图 2|ConvexLLM 以 75.36 分领跑 VoiceBench 11 项任务综合得分。

最抓人的结果,集中在知识与推理。ConvexLLM 在 OpenBookQA、MMSU、SpeechMMLU 和 BBH 四项任务上,都取得了表中最高成绩。



图 3|四项知识与推理任务均超过各自最强基线,BBH 领先 8.80 个百分点。

其中,BBH 从最强基线的 71.60% 提升到 80.40%,OpenBookQA 从 83.70% 提升到 90.33%。这些任务要求模型听完问题后,继续调用知识、分析条件、完成推理。提升发生在我们最希望语音大模型获得的能力上:听懂之后,真正把问题想明白。

对语音助手、口语学习、知识问答和专业咨询等应用研究而言,这提供了一个很有吸引力的方向:让语音接口更好地连接语言模型已经具备的思考能力。

四、文字的凸包,也能承载环境声与音乐

ConvexLLM 进一步把同一套接口用于语音、环境声和音乐理解。

在 MMAU Test-mini 上,模型整体准确率为 62.50%,其中环境声为 65.77%、音乐为 60.78%、语音为 60.96%。它也完成了语音识别,在 LibriSpeech test-clean 上取得 2.39% 的词错误率。

这给了 “文字空间” 一个更有想象力的含义:原本服务于文字的词向量,可以被连续组合,用来承载多种声音任务需要的信息。词表是有限的,组合却为音频保留了丰富的变化空间。

基于已有的声学编码器与语言模型,ConvexLLM 在适配阶段的音频使用量上界为 27.1 万小时。一个结构清楚的接口,已经足以支撑从语音识别到知识推理、再到非语音音频理解的完整研究系统。

五、接口本身,就是一个值得认真研究的变量

如果你正在做 speech LLM,接下来最想知道的,应该是接口选择本身能带来多少变化。

研究团队在 Qwen3.5-2B 上,对比了规模都在 170 万参数左右的 MLP、Q-Former 与 C-Gate 接口。三者采用相同的编码器与解码器,并共享 Stage 3 的数据、训练目标和优化设置,完成 18,000 步 Stage 3 训练后进行评测。



图 4|同一 2B 骨干下,C-Gate 的语音综合分最高,与对应文字输入的差距也最小。

C-Gate 的语音综合分达到 60.35,高于 MLP 的 58.80 和 Q-Former 的 54.19。文字输入下的综合分为 63.20。语音与对应文字之间的综合分差距,在三种接口中也最小。

表示分析则给出了更直观的线索。在另一组 2B 诊断模型中,到第 7 个解码器模块,C-Gate 的语音与对应文字表示的中心化余弦相似度已达到 0.69,MLP 和 Q-Former 分别为 0.45 与 0.44。语音在模型较早的计算阶段,就开始沿着与文字更接近的表示路径前进。

这让接口研究有了很具体的抓手:声音进入语言模型时站在哪里,又如何影响后续的知识调用与推理?ConvexLLM 把这个问题变成了一套可以实现、比较和分析的实验设计。

六、下一篇研究,可以从这个接口开始

ConvexLLM 最值得继续挖掘的地方,是它提供了一个简洁、明确、容易形成研究问题的出发点。

做语音大模型,可以从更强的能力迁移开始

把 C-Gate 纳入 bridge 对照,在同一骨干上研究更强的语音指令遵循、复杂问答与推理。接口给声音一个稳定的文字参照,后续可以继续探索蒸馏信号、数据配方与训练阶段如何配合,把更多语言能力带到语音端。

做表示学习,可以直接追问文字空间能装下什么

内容、情绪、说话人、时间顺序和环境事件,可以沿着同一个接口逐项研究。改变混合词向量的数量、输入压缩程度或骨干模型,就能观察哪些信息进入了表示,哪些信息又真正被解码器用起来。有限的词向量,能组合出多丰富的声音世界?这是一个足够具体,也足够大的问题。

做多模态适配,可以把它作为 preliminary study

ConvexLLM 的接口思路为进一步探索提供了清楚的实验起点:固定词向量表,学习输入的组合方式,再比较不同编码器、固定或可训练解码器,以及新的模态与任务。它把 “现有语言智能能接住什么” 变成了可以逐步检验的设计选择。

对研究者来说,这种价值很直接:它有明确的结构、有可比较的结果,也留下了大量有意思的问题。你可以把它放进自己的实验,研究一个改动究竟让声音多带进了什么,又让大模型多用上了什么。

文字词向量原本是语言模型认识文字的入口。ConvexLLM 让我们看到,这个入口也能向声音打开。

从这个角度看,文字的边界,也可以成为探索声音智能的新起点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

梦在深巷aqa
2026-08-27 07:53:27
36岁克莱打疯了!每分钟0.168记三分创NBA历史第一!

36岁克莱打疯了!每分钟0.168记三分创NBA历史第一!

篮球大图
2026-11-18 15:01:21
张海迪是个谜!她1955年出生,虽然患有多种疾病,但如今不仅面色红润,还活得十分健康,还被日本电视台评为“世界五大杰出残疾人”之一

张海迪是个谜!她1955年出生,虽然患有多种疾病,但如今不仅面色红润,还活得十分健康,还被日本电视台评为“世界五大杰出残疾人”之一

扶苏聊历史
2026-11-16 17:32:01
黄仁勋事件,越来越荒诞了

黄仁勋事件,越来越荒诞了

牛弹琴
2026-11-19 07:33:05
文伽昊45岁,重庆的物流协调员,月薪几千。父亲文强被执行死刑那年他29岁,独自领回了骨灰。

文伽昊45岁,重庆的物流协调员,月薪几千。父亲文强被执行死刑那年他29岁,独自领回了骨灰。

回京历史梦
2026-11-17 14:24:56
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
《伟大的长征》收官3天,人民日报“点名”于和伟,曹磊真没说错

《伟大的长征》收官3天,人民日报“点名”于和伟,曹磊真没说错

蜉蝣说
2026-11-19 10:52:55
王楚钦/孙颖莎直通决赛后,炸出一群“牛鬼蛇神”,WTT反击太解气

王楚钦/孙颖莎直通决赛后,炸出一群“牛鬼蛇神”,WTT反击太解气

秋姐居
2026-11-19 09:40:18
老艺术家斯琴高娃辞世,丈夫身份揭晓,佳作众多,竟哭错坟了

老艺术家斯琴高娃辞世,丈夫身份揭晓,佳作众多,竟哭错坟了

橙星文娱
2026-11-18 17:46:20
挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

手工制作阿歼
2026-11-16 17:58:38
首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

柳絮忆史
2025-07-22 07:15:03
中美俄将举行三方会晤,日本被晾一边,中日关系冷处理没商量

中美俄将举行三方会晤,日本被晾一边,中日关系冷处理没商量

麓谷隐士
2026-11-18 00:05:04
日本人发现中国一个规律:中国人可以低头学技术但不会安心附庸。

日本人发现中国一个规律:中国人可以低头学技术但不会安心附庸。

江启
2026-11-10 11:57:30
曝广东汉服模特“烟雨”去世!20多岁还未结婚,侧脸酷似刘亦菲

曝广东汉服模特“烟雨”去世!20多岁还未结婚,侧脸酷似刘亦菲

裕丰娱间说
2026-11-19 07:15:48
油价大跌!一夜回撤,11月19日全国92,95汽油“大降300元/吨”,近2个月涨幅全降下来,下次11月26日调价或“再大降”!

油价大跌!一夜回撤,11月19日全国92,95汽油“大降300元/吨”,近2个月涨幅全降下来,下次11月26日调价或“再大降”!

猪友巴巴
2026-11-19 09:18:53
香港乐坛天后隐退多年,正式成为禅柔导师,高价商演邀约全都婉拒

香港乐坛天后隐退多年,正式成为禅柔导师,高价商演邀约全都婉拒

小椰的奶奶
2026-11-18 04:36:16
认亲被嘲讽后,郭德纲打响反击战!已交全部铁证,曹云金麻烦大了

认亲被嘲讽后,郭德纲打响反击战!已交全部铁证,曹云金麻烦大了

往史过眼云烟
2026-11-17 14:34:31
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
普京神话破灭?乌克兰无人机开路,重型导弹低空突防,炸毁克里米亚大桥

普京神话破灭?乌克兰无人机开路,重型导弹低空突防,炸毁克里米亚大桥

古古聊军事
2026-11-19 09:20:31
2026-11-19 11:35:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14510文章数 142761关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

还在死磕纯电还是插混?越来越多人悄悄选 HEV 了

态度原创

时尚
亲子
健康
公开课
军事航空

Kendall都开始盛装了,谁还在追求松弛感?

亲子要闻

我要是在沈阳 我满世界逛商场准备偶遇这个萌面啊喂!

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版