网易首页 > 网易号 > 正文 申请入驻

听歌、看视频就能做网页?阿里这个新模型有点离谱

0
分享至

大家好,我是冷逸。

刚刚,阿里发布了新一代全模态模型:Qwen3.5-Omni


从bench成绩单来看,它的整体性能已经超过了当前顶级模型Gemini-3.1-Pro,拿下215项SOTA。尤其是在音视频理解、推理、识别、翻译和对话这些核心能力上,表现相当突出。


更有意思的是,这次Qwen3.5-Omni还把API分成了两种形态:离线版 + 实时版。

这个设计,看似简单,其实非常关键。

对于动辄几个小时的长视频场景,如果全部用实时API处理,Token成本会非常夸张。而离线API的出现,本质上是把这类“重处理任务”的成本打了下来。

比如:

视频/直播审核

自动分镜拆解

视频caption生成

视频监控分析

以及基于视频数据构建的行业应用

过去这些,要么贵,要么慢,要么效果不稳定。而现在,终于有一个相对完整的国产全模态模型,把这块补上了。

我们也第一时间做了一些实测,直接上案例。


一手实测

场景1:看视频做网页

这个月初,来自深圳坪山的一家民营企业,发明了一种新的电池技术:无论多大电池,无论何种车型,10%-70%充满电只用5分钟,10%-97%充饱电只用9分钟。

我把他们的电池技术介绍视频,直接丢给Qwen3.5-Omni,让它一边理解视频内容,一边Vibe Coding一个技术展示网页。

整体体验是:流畅、顺滑,而且“基本能用”。

它对画面和台词的理解是到位的,生成的网页结构也比较合理。不过有一个小问题——当人声和背景音同时出现时,它还不太擅长做精确区分。

但好在一点:可以随时打断。

在交互过程中,我可以实时插入新的指令,它会立刻调整意图理解方向,延迟大概在1-2 秒左右,这个响应速度在行业里算是比较领先的了。

来看下它最终写的网页。




还不错,因为模型原生具备WebSearch能力的,它可以边搜索、边理解、边生成,最终把外部信息融合进交付结果里。

场景2:听音乐做网页

既然能看视频Vibe Coding,那我就试了一个更抽象的任务:听音乐设计网页。

我给它放了一段《黑神话:悟空》的配乐,让它生成一个「西游·小西天」主题网站,要求风格完全贴合音乐氛围。

结果有点惊喜。

它准确抓住了音乐里的史诗感、压迫感和宗教氛围,整体设计走的是“暗黑新中式”风格:深墨黑 + 暗金 + 朱砂红。

而且不是简单堆颜色,而是有意识地“压金提黑”,做出了一种被侵蚀的庄严感,有点“邪佛”的意味。确实非常适合黄眉老怪那种“假作真时真亦假”的诡谲氛围。

这种审美理解,其实已经不只是“识别”,而是带一点“创作参与”了。

我又让它做了一个更完整的Case:听一首歌,生成一个MV网页。

选的是谢霆锋的《香水》。

结果是:完成度很高,而且氛围感很准。

整体视觉是深黑背景 + 柔金点缀,带一点高级、克制的情绪。交互上还做了蝴蝶粒子效果,呼应歌曲中“慢慢散去渐渐消失不见”的意境。

这种设计,不是单纯“好看”,而是和歌曲的主题「记忆、逝去、气味」是对齐的。

属于那种,你真的会想停下来听一会儿的作品。

场景3:看视频写小红书

接下来是更“接地气”的场景。

我把《蜘蛛侠4》的预告片丢给它,让它做一份观影前科普。


它会逐帧拆解视频,再结合 WebSearch,把剧情信息补全。整体逻辑是通的,准确率也不错。

(可上下滑动,查看全图)

顺手,我还让它写了一段小红书文案,质量也在线——这块本来就是Qwen3.5的强项。


场景4:视频深度拆解

最后,我直接拉高难度,让它一次性输出三件东西:剧情概要、人物关系图谱、分镜说明。


结果是:能交付,而且还挺细。

这是剧情概述。


这是人物关系图谱。


甚至,我还让它直接整了个更直观的网页版。


这是分镜说明,非常详细。

(可上下滑动,查看全图)

5)更多场景

根据官方信息,这个模型最长支持:

  • 10小时音频

  • 1小时视频

  • 113种语言

  • 256K上下文

同时支持113种语种识别、36种语种生成,方言也覆盖。

并且原生支持WebSearch 和复杂Function Call,使得它可以胜任各种多模态任务。

比如视频创作、分镜生成、直播审核以及基于video生成数据等。

这些原本需要大量人工参与的环节,现在都有机会被重构。


整个体验下来,我的感受是:

Qwen3.5-Omni,不只是“更强”,而是开始变得“更有用”。

它在音视频理解上的能力,已经从“能看懂”,逐渐走向“能参与”。

无论是长视频内容拆解、实时语音交互,还是跨语言的信息提取,它都能比较稳定地给出结构化、可用的结果。这种能力,一旦接入到真实业务流程里,价值会被迅速放大。

多语言这一点也很关键。过去很多多模态模型,本质上还是“英语优先”,其他语言多少有点“兼容”。但Qwen3.5-Omni的表现更像是“原生多语种”,这意味着它天然适合做跨地区、跨文化的产品,无论是内容理解、客服系统,还是全球化分发,门槛都在被拉低。

更值得一提的是,这次还提供了离线和实时两套API,本质上是在给开发者更多“成本-性能”的选择权:能离线处理的任务,就用更低成本批量跑;需要即时响应的场景,再调用实时能力。

这样一来,很多原本算不过账的场景,突然就能成立了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰国网红高僧与女信徒饭桌上“双修”的瓜

泰国网红高僧与女信徒饭桌上“双修”的瓜

笔杆论道
2026-09-15 16:48:57
历史可能毁于一旦?中国苦心经营40年的战略努力,被蒙古无情摧毁

历史可能毁于一旦?中国苦心经营40年的战略努力,被蒙古无情摧毁

饭小妹说历史
2026-09-16 09:28:59
福建“跑马女神”刘雪兰去世,年仅41岁,公司同事透露细节原因

福建“跑马女神”刘雪兰去世,年仅41岁,公司同事透露细节原因

裕丰娱间说
2026-09-16 09:26:01
中国一年在安检上花费多少钱?机场火车站地铁合计近500亿,人力成本超60%

中国一年在安检上花费多少钱?机场火车站地铁合计近500亿,人力成本超60%

三言四拍
2026-09-16 11:33:07
立案调查!广东“坟爷”强占土地违建祠堂烂尾十余年,最新进展:陆丰当地已成立专班

立案调查!广东“坟爷”强占土地违建祠堂烂尾十余年,最新进展:陆丰当地已成立专班

潇湘晨报
2026-09-16 17:59:18
中国男篮87-78淘汰沙特 球员评价:4人优秀,1人及格,4人低迷

中国男篮87-78淘汰沙特 球员评价:4人优秀,1人及格,4人低迷

篮球资讯达人
2026-09-16 17:06:09
队医一句话救了心梗陈建州!王力宏第一时间冲到医院,小S闻讯吓哭

队医一句话救了心梗陈建州!王力宏第一时间冲到医院,小S闻讯吓哭

八卦宝宝
2026-09-16 02:38:14
母女嫁给了父子!河南女子与丈夫结婚后,将离异母亲介绍给丧偶公公

母女嫁给了父子!河南女子与丈夫结婚后,将离异母亲介绍给丧偶公公

都市快报橙柿互动
2026-09-16 01:14:27
“孙子非亲生案”鉴定中心被处罚,疑出轨儿媳立不败之地,法律到底在保护谁?

“孙子非亲生案”鉴定中心被处罚,疑出轨儿媳立不败之地,法律到底在保护谁?

可达鸭面面观
2026-09-16 16:25:49
超级世界波!吴曦无解吊射,单场传射建功,亚运会16年后又破门

超级世界波!吴曦无解吊射,单场传射建功,亚运会16年后又破门

奥拜尔
2026-09-16 19:32:07
U23国足噩梦开局!亚运会4战朝鲜均丢球,防线7人集体梦游

U23国足噩梦开局!亚运会4战朝鲜均丢球,防线7人集体梦游

奥拜尔
2026-09-16 18:34:26
波兰外长:北约一旦被攻击,能迅速击败俄罗斯;俄总统助理:真业余,我们对乌克兰根本没用全力,真打起来波兰两三天内就不复存在

波兰外长:北约一旦被攻击,能迅速击败俄罗斯;俄总统助理:真业余,我们对乌克兰根本没用全力,真打起来波兰两三天内就不复存在

极目新闻
2026-09-16 07:58:58
U23国足扳平比分!亚运会首破朝鲜球门,张玉宁建功,吴曦助攻

U23国足扳平比分!亚运会首破朝鲜球门,张玉宁建功,吴曦助攻

奥拜尔
2026-09-16 18:49:47
亚运会第3个四强,中国男篮死里逃生!郭士强战术失败,韩国笑了

亚运会第3个四强,中国男篮死里逃生!郭士强战术失败,韩国笑了

侃球熊弟
2026-09-16 16:26:00
60分钟从跌停拉到涨停,地板卖出的股民,不知道有多绝望!

60分钟从跌停拉到涨停,地板卖出的股民,不知道有多绝望!

财经智多星
2026-09-16 11:44:33
我和我的 AI 手机吃了 3 顿饭

我和我的 AI 手机吃了 3 顿饭

爱范儿
2026-09-16 12:07:38
中方发出警告!美国公然在太空轨道部署武器,已严重威胁太空安全

中方发出警告!美国公然在太空轨道部署武器,已严重威胁太空安全

策前论
2026-09-16 11:49:21
司机补路后“拉绳警示”致过路女子被勒身亡 死者亲友称是一根电缆线 镇政府:司机被批捕

司机补路后“拉绳警示”致过路女子被勒身亡 死者亲友称是一根电缆线 镇政府:司机被批捕

红星新闻
2026-09-16 15:58:18
华为、赛力斯宣布分手,全网震动!

华为、赛力斯宣布分手,全网震动!

大佬灼见
2026-09-15 21:00:36
随着沙特78-87,亚运男篮四强已诞生3席:2大东亚劲旅在列

随着沙特78-87,亚运男篮四强已诞生3席:2大东亚劲旅在列

侧身凌空斩
2026-09-16 16:53:37
2026-09-16 20:11:00
沃垠AI incentive-icons
沃垠AI
努力分享一些有用、有趣的AI干货
154文章数 63关注度
往期回顾 全部

科技要闻

赛力斯接管问界,撑得住华为给的身价吗?

头条要闻

男子散步遭蜂群围攻 全身残留近千根毒刺

头条要闻

男子散步遭蜂群围攻 全身残留近千根毒刺

体育要闻

对话西甲联盟高管:西班牙足球到底强在哪?

娱乐要闻

乔任梁去世十周年,陈乔恩悼念

财经要闻

中际旭创六家供应商股东疑现关联人

汽车要闻

把C级混动门槛打下来 全新红旗H7上市焕新价16.88万起

态度原创

本地
健康
家居
公开课
军事航空

本地新闻

不止胖东来!许昌藏着半部三国史

亲属查出脑动脉瘤?你也尽快筛查!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中东美军基地遭伊朗袭击后照片被披露

无障碍浏览 进入关怀版