全模态音视频成本下降90%+，云栖上新的这款 Qwen 模型有点离谱。。。（附Prompt）

QWEN3.8-OMNI-FLASH · 实测 全模态 Agent 从看懂到交付 不只认画面，也听懂时间里的事。 MV · 喜剧 · 粤语长剧 · 真实任务 AUDIO + VIDEO + TIME → DELIVERY 声音 画面 时间 00:00 CONTINUOUS 网页 · 剪辑 · 建模 · 拆解

5 PARTS · CONTENT MAP

PART 01

MV 全流程

逐镜拉片到冰宫建模

PART 02

听懂笑点

声音、画面一起理解

PART 03

粤语长剧

一小时内容连续分析

PART 04

直接交付

短片、解说与三维

PART 05

全模态下一站

视频进去，成品出来

大家好啊，我是甲木。

这两天一直在「云栖大会」玩， 人山人海，还跟小伙伴们一起进行了探展直播活动，等之后专门写个帖子来聊聊心得。这次还看到很多有意思的AI硬件，文末抽一个送给粉丝朋友！！

22号云栖大会开幕，我人就在现场，看到了我一直比较关注的内容 —— 全模态模型。其实在 9 月 18 号，千问就发布了Qwen3.8-Omni-Flash，但一直没来得及测。官方口径：国内第一个全模态音视频 Agentic 模型，1M 上下文，最长能吞一小时音视频，最主要的是价格，Qwen3.8-Omni-Flash的API每小时音频输入价格降幅超过98%，每小时音视频输入价格降幅超过93%。。。

为什么我会非常期待音视频的模型？音视频，是离我们生活最近、也最难啃的一块。刷视频、听播客、开会、剪片子，它跟我们打交道的频率，比写文章、跑代码高多了。

可就是这么个最日常的东西，能做地道的，一直没几个。现在很多模型标榜的“多模态”，本质是文本加视觉：碰到音频，先转成文字；碰到视频，抽几帧画面。

等于先把它翻译成模型自己认得的格式，原声、节奏、时间，半道全丢了。

而在云栖大会主论坛现场，台上这一屏就是今天的主角，Qwen3.8-Omni，主打“音视频模态扩展，拓宽 Agent 边界”，顺手还开源了 Qwen-MM-Plugin、Qwen-Live-Harness 两个工具。

ps：现场还埋了个彩蛋，Qwen4 系列 Coming Soon，狠狠期待住了～

再补一句在云栖现场了解到信息：阿里这次的重头戏是大模型自我进化，已经初步进了训练、推理、芯片协同，多模态各核心领域全面爆发。

千问这次发布的Qwen3.8-Omni-Flash把全模态Agent的使用成本，直接砍掉了90%！而且榜单数据都很不错。

当然，榜单数据我一般都是看看，我们直接上实测！

配置使用的是 Claude Code + 千问 AI 平台 Qwen3.8-Omni-Flash Key：

先来看看效果，一段《冰雪奇缘》里艾莎建冰宫的片段，3 分 36 秒，让它直接进 Blender，渲一座冰宫出来。

冰要通透、有折射，厚处发蓝、薄处发白。渲完它自己会打开图挑毛病，一轮一轮改。这段转台的视频，节奏、音乐全卡在点上，光看图可做不出这个。

再补两个参考视频直出的网站，效果我觉得都非常好：

说实话，全模态能做成这样，非常牛逼了。。

PART

01

一段 3.6 分钟的片子，全解读

SHOT BY SHOT, THEN BUILD

先给大家看看开头那个，就是冰雪奇缘 Let it go 那段 3 分 36 秒的 MV。

我让它做了三步：先一镜一镜拆，再做成网页，最后建真模。第一步，拉片，把片子拆成一镜一镜。

提示词如下（前置：上传了MV视频）：

PROMPT 01 · MV 拉片 · 逐镜分析

给这个MV做一个拉片网站：每一镜一张真实画面，标上它有多长、镜头怎么动、画面里正在发生什么、歌在唱到哪一句。要做得像一本正经做过的杂志，有艺术感，别做成分析报告。

整段 3 分 36 秒，它拆成了40 个镜头，做成一个能逐镜点开看的拉片站。拆得有多细？时间戳精确到 0.1 秒啊wc。

还没完。Qwen3.8-Omni连“氛围”和节奏也拉成一条曲线：哪段平静、哪段往上顶、副歌哪一下情绪激昂，标得贼清楚，ber？千问你是墙头刻“猛”字了？。。

它做的并不只是抽帧配字幕。整段片子的声音、节奏、情绪，它一并拆解。

第二步，做一个 Scrollytelling 网站，用户往下滚，画面跟着动。滚到哪一镜，哪一镜就活起来，不再只是静态拆图。

提示词如下：

PROMPT 02 · Scrollytelling · 滚动叙事

第二步，把拉片结果做成一个 Scrollytelling 网页。不要只是静态图文。滚动条就是进度条：用户往下滚，页面按镜头顺序推进；滚到某一镜，就展示这一镜的动图或视频片段，旁边同步标出时间点、镜头怎么动、画面里发生什么、唱到哪句歌词。

不知道大家看到没，它强的是：它不只在高潮处加了动效，还会根据画面内容做特效，字幕也做成了特效字幕。

往深一层看，这套能力后续可以直接用于视频混剪、配字幕等工作（之前给大家分享的hypit搭配上Qwen模型，不敢想能杀多疯..

第三步，Blender 真建模。

哦对了，开头那张渲染视频就是这么来的。提示词如下：

PROMPT 03 · Blender · 冰宫生长动画

任务：写 Blender 脚本，用无头渲染生成冰宫生长动画。 材质：冰要高透，厚处发蓝，薄处发白，有折射。 每渲染一个版，自动打开渲染图与原片并排对比，找出差异，改脚本后重渲，直到接近原片。 把音乐前奏、副歌纳入动画节奏，冰宫生长要卡上音乐段落和节拍。

最猛的地方在于：Qwen3.8-Omni-flash 做的动画和时间节点，跟音乐是对得上的。

一条 3.6 分钟的片子，从拉片到建模，整个流程它都完整走了一遍。

PART

02

笑点，藏着全模态的分水岭

BEYOND TRANSCRIPTS

接下来再看看它其他的一些能力，我们换部剧来测试。

声音一直是多模态里最难处理的一环：语气、停顿、笑声、环境音，这些信息很难被模型准确“听懂”；而让模型同时理解画面和声音，又比单独做任何一项都难。

最近《爱情公寓》的主创们又一起发了条视频，一下就上了热搜。

看到之后，我翻出第一季第十集斗地主那段，发给模型，让它拆解里面的笑点。：

把这一集的笑点一个个拆出来，每个在第几分钟、为什么好笑。重点说哪些笑点光看台词看不出来，必须看画面或听语气。

由图所示，这一集里的笑声、停顿、语气，它全识别了出来，每个笑点也都单独标了出来。

这就是全模态和“看图说话”的分水岭。

很多模型只能告诉你视频里有什么，它却能告诉你，哪里有什么情绪，哪里好笑，为什么好笑。

正因为它是全模态，声音、画面、时间都拿到了，我们才可以对它提要求：指定它返回哪些信息、只看哪一部分、讲到多细。拆多细、怎么标，是我定的，它没自作主张。这就叫可控 caption。

官方基准里，它音视频能力接近 Gemini 3.8 Flash，音频还反超一点。

然后是这轮最有意思的一个对比。

同样一段素材，两种方式拿到的信息不一样。

左边是“老办法”：隔几秒抽一帧，再转成文字稿。右边是“新办法”：一条连续的时间轴，谁笑了、笑多大、哪句语气往上拔了，全都标了出来。

最典型的一格：抽帧刚好跳过笑点那两秒，一句爆笑台词，转写下来变成了一句平平无奇的复述。

区别在信息密度：老办法按间隔取样，拿到的是几个点；全模态全程接收声音、画面、时间，拿到的是整段。

Omni 不需要先抽帧、再转写这一步。声音、画面、时间一起输入，所以它既能拆笑点、建模型，也能剪片子。

PART

03

能听懂没字幕的粤语，才是真本事

UNDERSTANDING A DIALECT-DENSE LONG SHOW

会做酷炫的网页还不够。这次测的是方言：官方说它支持多种语言及方言。

那我就拿一部长的粤语喜剧来试试效果。

《外来媳妇本地郎》，2000 年开播、4700 多集，吉尼斯认证的最长情景喜剧。粤语，没字幕。

它把这一集看明白了：人物、关系、剧情全都理清，台词一句句识别出来，配上了粤语字幕，还给了普通话转译。

继续加难度，把三集拼成整整一小时连播，正好对上官方“最长一小时输入”的上限。

一小时下来，它按时间顺序理出了一份完整的大事记：三集共54 个事件节点，每个都标了开始时间，从寿宴通牒、洋媳妇进门康伯晕倒，到婚介所撞板，再到分房逼出假结婚。

几个关键节点也能对上：康伯晕倒落在21:11，和单独跑第一集时一致；集与集的分界卡在片头动画处，约在 22:12、46:08。切片边界允许 ±10–20 秒误差，但先后顺序没乱。

最难的是一个台词工作台。这部剧人物多、经常抢话，它把对白、反应、画面事件分成三条轨道，逐句台本里的每一句都要归到具体人物头上，不允许写“有人”“另一个人”。

连台词都识别成了粤语版。（Ps: 字幕是简中普通话

再换《七十二家房客》交叉验证，照样一遍过。

我额外加了一项，让它把整栋大杂院还原成能走进去的 3D 场景，几户住哪、房东住哪，全部从片子里推断。

官方给的数字是：能识别 113 种语言及方言、生成 36 种，其中中文方言占了 39 种和 7 种。

PART

04

看懂是起点，交付才是终点

DELIVERY, NOT JUST UNDERSTANDING

前面三轮：MV、喜剧、粤语长剧，验的都是同一件事：看不看得懂。

看懂了，然后呢？我把真活丢给了Qwen3.8-Omni-Flash。

这次我喂了去年两段素材：一小时全程视频，加吴泳铭吴妈的演讲。一小时那条从头看到尾，没卡住。

第一件，营销号短片，一小时进，一分钟出。（从B站某up主down下来的，所以会有一些黑边和 logo 等等，如果有原视频的话，效果比这个更好

开场三秒抓人，旁白自己写、自己配，大字幕一句跟一句，BGM 用代码合成，没找现成的。最狠的是选材：一小时里挑哪几段，它自己定，我没喂任何提示。

第二件，解说稿，带时间轴。

整场大会切成九段，每段一版解说词，直接能配音。旁边标着剪辑点：几点几分切什么画面，哪句是题眼必须留。点一下“复制口播”，稿子到手。

吴泳铭那段，做成了图文笔记：每条一张原片截图，标好时间点，下面跟一段要点。

04:08 的 ASI 路线图，15:25 的 LLM OS 架构，都讲得明明白白。

云栖这几件都是直接交成品。还有一种活更较真：拆解。

朱啸虎在中关村论坛那段 16 分钟演讲，我让它别只转写，逐句拆开。

它交出来的像一份对账单：一条时间轴，他说的、大屏给的、同传打出来的字幕，

一段话配一张现场截帧，一条条对上。

对完就看出来了：他讲的那一串数字，1 亿人付费、5000 万单、200 万副，说出口的时候屏幕上一条都没有。

这就像上课：只看 PPT，永远不知道老师讲了什么；只录音，又不知道板上到底写了什么。全模态两路都在，才能一句句对上。

做网站、做内容、做剪辑、做拆解，一台机器全干了。

最后说件看着不搭边的：牛顿摆。左边原视频，右边是它用 three.js 搭的仿真，点一下播放，两边同一个时间轴同步跑。底下那条时刻轴，把原片撞击声和仿真撞击一下一下对齐，偏差基本在 20 毫秒以内。

球径、摆长这些参数它没问我，是从画面里自己量的。“看清了就量、看不清就说明怎么推的”。

PART

05

结语

FROM INPUT TO OUTPUT

现在开源剪辑软件不少，我们之前做过的 Hypit 就是用 GPT-6 Astra 关键帧拉片：隔几秒抽一帧。抽帧就有代价，一段一两秒的炫酷运镜，怎么截都容易漏。

而 Omni 呢，是整段连续地看、连续地听。转瞬即逝的东西，它抓得到。

价格提一句：输入 0.8 元/百万 Token，四模态统一价不分档；音视频输入按小时算，从 16.3 元降到 1.06。以前“挑着做”，以后“整段丢进去”。

Token 便宜下来，开发者就能拿它搓更多应用，或者当基建用。这条路 DeepSeek 走通过一次，现在轮到全模态了。

官方连插件都开源了：Qwen-MM-Plugins，一个插件一种能力（视频剪辑、视频记忆、Blender、FreeCAD），装进 Claude Code、Codex 这些 harness 就能直接用。

依旧是，熟悉的那个阿里 ——「源神」！

音视频 AI 的下一站，是一台视频进去、东西出来的生产线。

全模态就像一块基石：能看到、听到世界（视频、音频），就能把这个能力用到工程上。

阿里，牛逼！

以上。

我是甲木，热衷于分享一些 AI 干货内容，同时也会分享 AI 在各行业的落地应用。觉得有用的话，点个赞、在看、转发三连，谢谢大家。

/// END · UNDERSTAND & DELIVER