网易首页 > 网易号 > 正文 申请入驻

阿里发布Qwen3.5-Omni,多模态能力超越Gemini-3.1 Pro

0
分享至

3月30日,阿里发布千问新一代全模态大模型Qwen3.5-Omni,在音视频理解、识别、交互等215项任务中取得SOTA(性能最佳),超越Gemini-3.1 Pro,成为目前全球最强的全模态大模型之一。

新模型拥有极强的音视频理解与实时交互能力,能够对音视频内容生成详细且可控的结构化描述,可识别语言和方言数量多达113种,还惊喜地涌现出了音视频Vibe Coding能力,用户对着镜头阐述需求,就能让模型自主生成APP、网页、游戏等复杂产品代码。目前,阿里云百炼已上新Qwen3.5-Omni的Plus、Flash、Light三种API,可广泛应用于短视频/直播平台、游戏、自媒体等行业。

Qwen3.5-Omni采用混合注意力MoE架构,在海量文本、视觉以及超过1亿小时的音视频数据上进行了原生多模态预训练,可实现图片、视频、语音、文字等全模态内容的输入与输出。新模型在音视频理解、跨模态推理、Agent方面实现了性能飞跃,在音视频理解、语音识别、多语种翻译、对话等215项第三方性能测试任务中取得SOTA。

比如,在聚焦视听交互能力的DailyOmni、QualcommInteractive、Omni Cloze等测试中,Qwen3.5-Omni得分大幅领先Gemini-3.1 Pro;在检测嘈杂环境抗干扰能力的WenetSpeech测试中,Qwen3.5-Omni错误率远低于Gemini,识别准确率极高;在考察多语言语音生成质量的Multi-Lingual (30lang) 测试中,Qwen3.5-Omni同样显著优于Gemini-2.5-Pro-TTS。



Qwen3.5-Omni拥有极强的语言能力,支持113种语言及方言的语音识别和36种语言及方言的语音生成,就连使用人数不足一百万的毛利语和国内的海南方言,也能精准识别。新模型还大幅增强了实时交互体验,能高情商听懂用户对话意图,准确区分有效回应和随口附和,就像和真人聊天一样。

同时,模型还可以根据指令自由调节语音、语调,并基于创新的ARIA技术,使生成的语音更自然、更稳定。 在面对类似“今天的天气怎样”的实时提问时,模型还能自主判断并调用工具,确保回复内容准确且时效性强。

基于一系列技术创新,Qwen3.5-Omni将Vibe Coding推入下一阶段。与纯文本或图片驱动的Vibe Coding不同,千问可以实现音视频编程:打开摄像头,用户对着草图口述需求,哪怕是包括复杂产品逻辑的描述,模型也能直接生成带有复杂UI的产品原型界面,真正实现“动动嘴即可编程”。这一能力并非刻意设计,而是模型在原生多模态能力持续扩展过程中自然涌现出的结果。

Qwen3.5-Omni顶尖的全模态能力,还能为专业领域带来超级生产力。新模型可对画面主体、人物关系、对话逻辑、乃至人物情绪起伏进行极细的拆解,并自动完成视频章节切片与时间戳标注,支持超过10小时的音频输入,将繁琐的视频后期梳理工作缩短至秒级,大幅降低了企业的内容管理成本,在视频创作、内容审核等领域具有极高的落地价值。

目前,普通用户也可前往Qwen Chat免费体验,开发者和企业可通过阿里云百炼平台调用Qwen3.5-Omni模型,每百万Tokens输入不到0.8元,比Gemini-3.1 Pro的1/10还低。据了解,千问稳居中国企业级大模型调用市场第一,服务涵盖互联网、金融、消费电子及汽车等重点行业超100万家客户。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网贷还不上时,记住这个还款顺序,顺序错了每个月都在白还

网贷还不上时,记住这个还款顺序,顺序错了每个月都在白还

负债老莫
2026-09-09 13:11:34
不查不知道,坐拥北京山庄,有4个孙子孙女的陈佩斯,私下有多壕

不查不知道,坐拥北京山庄,有4个孙子孙女的陈佩斯,私下有多壕

仙味少女心
2026-10-13 01:54:48
世界第一赵心童2比4不敌高阳,止步64强连续3站遭遇一轮游;北爱尔兰公开赛冷门迭爆,超10名TOP16球手首轮被淘汰,吴宜泽和丁俊晖未参赛

世界第一赵心童2比4不敌高阳,止步64强连续3站遭遇一轮游;北爱尔兰公开赛冷门迭爆,超10名TOP16球手首轮被淘汰,吴宜泽和丁俊晖未参赛

大风新闻
2026-10-21 08:30:05
黄雅琼近况:跟丈夫两地分居,在浙江和父母同住,已是大学老师

黄雅琼近况:跟丈夫两地分居,在浙江和父母同住,已是大学老师

仙味少女心
2026-10-20 22:56:33
遣返不算完!南京留学生闯下大祸,回国之后四道难关在等着他

遣返不算完!南京留学生闯下大祸,回国之后四道难关在等着他

白浅娱乐聊
2026-10-20 18:57:55
对中国最狠的美国总统,不是特朗普,而是从不跟中国红脸的他

对中国最狠的美国总统,不是特朗普,而是从不跟中国红脸的他

相思赋予谁a
2026-10-19 23:08:42
上海建工爷叔请客日期突然提前,老太公改成锦江饭店,一步到位背后的小九九?

上海建工爷叔请客日期突然提前,老太公改成锦江饭店,一步到位背后的小九九?

小影的娱乐
2026-10-21 01:16:23
家中10样东西,过期1天也要扔!第一名家家都有,毒性最大

家中10样东西,过期1天也要扔!第一名家家都有,毒性最大

健康之光
2026-09-11 17:50:48
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
汪小菲全家逛湾湾夜市,状态彻底蜕变,烟火气藏不住幸福!

汪小菲全家逛湾湾夜市,状态彻底蜕变,烟火气藏不住幸福!

孤城落日
2026-10-21 04:04:28
欧冠强强对话!巴黎圣日耳曼 4-2 巴塞罗那,巴萨球员评分;巴萨多项隐患被穆帅纳入观察

欧冠强强对话!巴黎圣日耳曼 4-2 巴塞罗那,巴萨球员评分;巴萨多项隐患被穆帅纳入观察

福酱的小时光
2026-10-21 05:37:48
不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来"大洗牌"

不出意外,2027年开始,按摩店、足疗店、洗浴店将迎来"大洗牌"

笑熬浆糊111
2026-10-21 08:00:18
核反应堆小如高压锅!劳斯莱斯发布微型核反应堆,有什么用处?

核反应堆小如高压锅!劳斯莱斯发布微型核反应堆,有什么用处?

抽象派大师
2026-10-19 07:12:42
南太行失联女子已找到!长得很美,深夜在帐篷消失向导曝关键细节

南太行失联女子已找到!长得很美,深夜在帐篷消失向导曝关键细节

米果说识
2026-10-20 16:43:13
斯诺克赛程:决出16强,张安达领衔,中国5将上阵,火箭终结者再战世界冠军

斯诺克赛程:决出16强,张安达领衔,中国5将上阵,火箭终结者再战世界冠军

刘姚尧的文字城堡
2026-10-21 08:25:27
张雪机车怒告WSBK:BOP黑箱锁死中国速度?

张雪机车怒告WSBK:BOP黑箱锁死中国速度?

娱乐圈的笔娱君
2026-10-20 17:22:06
刘恺威开180万豪车带女友同居,女方是32岁演员,圆脸漂亮身材好

刘恺威开180万豪车带女友同居,女方是32岁演员,圆脸漂亮身材好

椰黄娱乐
2026-10-20 10:53:50
我国对盾构机实施出口管制,来得及时,印度盾构机,牛吹早了

我国对盾构机实施出口管制,来得及时,印度盾构机,牛吹早了

王新喜
2026-10-19 21:19:29
中国将迎来史上最大规模的退休潮。

中国将迎来史上最大规模的退休潮。

荆楚寰宇文枢
2026-10-10 22:52:15
“流浪大师”沈巍,即将退休,被封号

“流浪大师”沈巍,即将退休,被封号

难得君
2026-10-21 08:09:47
2026-10-21 09:15:00
白鲸实验室one incentive-icons
白鲸实验室one
记录 AI改变世界的瞬间
200文章数 19关注度
往期回顾 全部

科技要闻

马斯克确认SpaceX与特斯拉讨论合并

头条要闻

高速电子屏提示"应急道可用"司机借用却被罚 两省回应

头条要闻

高速电子屏提示"应急道可用"司机借用却被罚 两省回应

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

日赚近5亿的长鑫,股价却跌掉了15000亿

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

教育
时尚
家居
手机
房产

教育要闻

四年级简便计算:88÷28×77

秋天穿印花裙真的很有氛围感!不显胖、不呆板,大方又显气质

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

三星改进Exynos基带能效 Galaxy S27有望缩小与骁龙版的续航差距

房产要闻

488亩,两大豪宅级项目爆出!清水湾,要杀回来了!

无障碍浏览 进入关怀版