网易首页 > 网易号 > 正文 申请入驻

阿里Wan Streamer v0.3上线,AI 不但能和你实时视频聊天,还能自由行动

0
分享至

阿里正在内测的 Wan Streamer 产品,又有了更新,现在来到了 v0.3 版本。


Wan Streamer,是阿里万象团队研发的一个实时交互的音视频模型。AI Agent 端能够边听,边看,边思考,边说话,并实时生成视频回应你。

第一次看到时Wan Streamer 时,我惊呆了。

(左为真人,右为AI数字人)

这是直接可以和AI 数字人打视频实时聊天了。

的确是这样,Wan Streamer 的模型侧响应延迟约为0.2 秒,0.35秒的双向网络延迟后,总延迟0.6 秒以内。

可支持亚秒级全双工音视频通信。

实时输出音频+视频,比市面上多数单纯输入语音的模型延时都低,低很多。


不仅如此,Wan Steamer 的AI 数字人还支持边听、边看、边思考、边说话,实时生成视频回应你。

视线、点头、微表情与口型同步。如同真人一样。

对面的 AI,已感觉不出是 AI 了,是真的有人味了。

现在, Wan Streamer来到了v0.3 版本,我们一起回顾下这三个版本。

2026 年 6 月 24 日,发布0.1版本:面向实时交互的端到端基础模型。

(大图为 AI 数字人,小图为真人。下同)

全面介绍了该模型,这是一个实时交互端到端多模态模型,单一Transformer统一处理文本、音频、视频流,实现全双工实时音视频互动。

2026 年 7 月 5 日,发布0.2版本:分辨率更高,延迟不变。让实时画面更清晰。

2026 年7 月 16 日,发布 0.3 版本:保持速度与分辨率的同时,让模型更通用、角色行为更丰富。

这个v0.3 版本里,大模型把AI数字人实时视频,理解为「世界设定 + 事件流」。

啥意思呢?

世界设定:指视频里长期保持一致的场景、角色、画面与声音。也就是不变化的或者变化小的部分。

事件流:指视频里随时间发生的说话、动作、镜头移动、环境变化。随时变化的部分。

也就是,AI 数字人实时视频生成, 会拆解为固定的或变化不大的部分,和随时变化的部分。

世界设定只需载入一次,此后用户输入、智能体说话与行为、音频和视频沿同一时间线持续推进。

这样,v0.3 将 Wan Streamer 从对话模型拓展为更通用的视频学习模型。

这是一种新的理解视频的模式。

视频 = 世界设定 + 事件流。

Wan Streamer要做的,是让合适音视频聊天的AI Agent,像真人一样。

不但能实时音视频聊天,极低延迟。

AI Agent 还能有自己的行为和动作。

比如,对 AI Agent 一边和你聊天,一边演示自己做饭的步骤。

Wan Streamer v0.3 已让这个成为现实。

Wan Streamer从 v0.1 到 v0.3,差不多一周一个版本,迭代非常快。

预计到1.0版本后,会进行公测或对外开放接入。

这对于AI Agent 音视频实时交互,或是一个重大节点。

标志着, AI音视频生成,进入实时交互、 类真人阶段。

这个产品上线后,这对阿里,或许也是个王炸产品。

来源 | 产品笔记(ID:cpbiji)

作者 | 三哥 ; 编辑 | 呼呼大睡

内容仅代表作者独立观点,不代表早读课立场


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
遇到这种“烂人”,普通人真没任何办法,只能自认倒霉吗?

遇到这种“烂人”,普通人真没任何办法,只能自认倒霉吗?

走读新生
2026-09-08 15:25:08
居莱尔在穆帅执教下,完成蜕变之后,皇马决定为居莱尔涨薪,签新合同!

居莱尔在穆帅执教下,完成蜕变之后,皇马决定为居莱尔涨薪,签新合同!

福酱的小时光
2026-09-10 23:07:51
再赠一年:苹果第三次延长iPhone 14/15/16系列免费卫星通信服务

再赠一年:苹果第三次延长iPhone 14/15/16系列免费卫星通信服务

IT之家
2026-09-10 14:18:10
我和妈妈十年受的苦原来100元就能解決,网友:穷人习惯得过且过

我和妈妈十年受的苦原来100元就能解決,网友:穷人习惯得过且过

夜深爱杂谈
2026-08-29 21:06:18
冠军赛疯狂一夜!国乒劲敌0-3惨败,张本智和零封,雨果强势逆转

冠军赛疯狂一夜!国乒劲敌0-3惨败,张本智和零封,雨果强势逆转

南海浪花
2026-09-11 07:32:20
中科院:江浙沪血液有害物质浓度爆表!

中科院:江浙沪血液有害物质浓度爆表!

生命科学前沿
2024-03-27 17:38:51
印度人北京打车不想给钱后续!司机一招制止,网友曝更多离谱行为

印度人北京打车不想给钱后续!司机一招制止,网友曝更多离谱行为

老好人的愤怒
2026-09-11 03:39:35
刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

刚拿冠军就退役,当晚直接打包行李走人,这姑娘的操作把全网看傻

静若梨花
2026-08-29 10:42:55
无缘世界杯4强!中国女篮29分惨败出局,替补仅9分,亚洲队遭团灭

无缘世界杯4强!中国女篮29分惨败出局,替补仅9分,亚洲队遭团灭

侃球熊弟
2026-09-10 21:26:39
央行、证监会送温暖!盘后,A股利好来得太及时了

央行、证监会送温暖!盘后,A股利好来得太及时了

星图金融研究院
2026-09-10 15:42:53
1.7亿欧天才踢疯了:欧冠独造3球,6次成功过人,全场最佳

1.7亿欧天才踢疯了:欧冠独造3球,6次成功过人,全场最佳

足球狗说
2026-09-11 06:15:04
“典型的上梁不正下梁歪!”家长发视频炫耀,家里没有一个正常人!

“典型的上梁不正下梁歪!”家长发视频炫耀,家里没有一个正常人!

林林先生
2026-08-29 10:51:30
统一台湾后需多少驻军?香港人口753万,驻军约6000人,澳门人口68万,驻军不足千人,台湾面积是香港的32倍,保守估计,台湾驻军需6-8万人

统一台湾后需多少驻军?香港人口753万,驻军约6000人,澳门人口68万,驻军不足千人,台湾面积是香港的32倍,保守估计,台湾驻军需6-8万人

扶苏聊历史
2026-09-10 15:51:48
好莱坞最倒霉房主:刚还完一屁股债就1,050万美元买了套海景房,结果两年不到天坑来了

好莱坞最倒霉房主:刚还完一屁股债就1,050万美元买了套海景房,结果两年不到天坑来了

英国那些事儿
2026-09-11 00:50:02
小S大女儿晒比基尼美照,20岁身材火辣已赶超小S!网友:后继有人

小S大女儿晒比基尼美照,20岁身材火辣已赶超小S!网友:后继有人

娱乐团长
2026-09-10 16:46:39
普京与特朗普打了1小时电话,讨论乌克兰危机等问题,俄方称此次通话“富有建设性且非常坦诚”

普京与特朗普打了1小时电话,讨论乌克兰危机等问题,俄方称此次通话“富有建设性且非常坦诚”

每日经济新闻
2026-09-09 23:40:43
万梓良的儿子,18岁生日那天收到的不是跑车,不是豪宅,而是一块光滑的、没有刻字的金属牌

万梓良的儿子,18岁生日那天收到的不是跑车,不是豪宅,而是一块光滑的、没有刻字的金属牌

一盅情怀
2026-08-22 16:34:50
不再是王室成员了?查尔斯一封信发遍全国,凯特劝威廉的话才叫狠

不再是王室成员了?查尔斯一封信发遍全国,凯特劝威廉的话才叫狠

青青衫书生
2026-09-10 14:46:13
中国女篮止步八强,“保六争四”目标到底需要赢几场?

中国女篮止步八强,“保六争四”目标到底需要赢几场?

老牧说说
2026-09-11 09:07:08
特朗普称派发5000美元无需国会批准

特朗普称派发5000美元无需国会批准

财联社
2026-09-11 06:02:14
2026-09-11 10:12:49
互联网早读课 incentive-icons
互联网早读课
专注互联网产品、运营、交互
9868文章数 55228关注度
往期回顾 全部

科技要闻

罗永浩连用7个“抄的”吐槽苹果折叠屏

头条要闻

泽连斯基乘坐专机从摩尔多瓦起飞 险些被俄无人机击中

头条要闻

泽连斯基乘坐专机从摩尔多瓦起飞 险些被俄无人机击中

体育要闻

16岁的国产小库里,还有多少功课要做

娱乐要闻

17岁拿下世界第一,还被亲妈吐槽?

财经要闻

向松祚:年轻人不必过早买房

汽车要闻

标配全线控底盘 全新一代智己LS6预售20.99万起

态度原创

本地
健康
手机
家居
公开课

本地新闻

拼假 13 天国内长线路线合集

牙疼,也可能跟心梗有关?!

手机要闻

迟到七年的折叠iPhone Duo,苹果一出手就是「版本答案」?

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版