网易首页 > 网易科技 > 网易科技 > 正文

张一鸣亲自下场!字节押注世界模型,想让你“走进”视频

0
分享至

出品 | 网易智能

作者 | 小小

编辑 | 王凤枝

张一鸣想用世界模型,把视频变成一个能“走进去”的世界。

9月7日,彭博社援引知情人士称,字节跳动正在基于Seedance开发实时空间视频生成模型,张一鸣亲自协调跨部门团队和算力资源,最快可能于10月推出,计划仍可能调整。

它瞄准的不只是一段生成好的视频,而是能随用户声音和动作变化的虚拟环境,应用方向包括直播、短剧和游戏,并计划服务Pico头显。

字节这次想做的事情有点不一样:过去让用户接着看下一条视频,现在希望用户直接参与画面里的事情。


01张一鸣亲自协调的,是几支不同的团队

张一鸣已经离开字节跳动的日常管理多年。2021年,他先后卸任CEO和董事长,梁汝波接过公司管理工作。

这次,彭博社描述的是他对一个具体项目的参与:协调不同业务部门,并向项目投入AI资源和计算能力。字节跳动没有回应彭博社的置评请求。

这款模型需要衔接的环节不少。Seedance提供视频生成能力,云端承担大量计算,Pico负责用户与虚拟环境之间的交互,直播、短剧和游戏则是预期的应用场景。模型研发、基础设施和产品团队需要围绕同一段体验配合。

彭博社还把这一项目放在字节的业务调整中观察:公司正在把相当一部分企业服务业务转向视频制作和生成。过去,生成模型主要帮创作者把内容做出来;这次,字节还希望把观看内容的人带进来,让他们参与画面中的事情。

几个部门要一起解题。模型团队负责画面,云端负责算力,设备要接住用户输入,内容团队还得设计出让人愿意参与的玩法:任何一环单独拿出来,都还不是用户手上最后拿到的东西。

X用户@VaibhavSisinty关注的正是张一鸣的参与。他认为,交出公司日常运营之后,张一鸣亲自推动的这项技术,目标已经从生成视频延伸到能够随着用户移动和交谈而变化的数字环境。

据科技媒体The Next Web转引36氪此前的报道,字节跳动为2026年设定了四项AI优先事项,世界模型排在首位,另外三项是保持Seedance的视频生成优势、提升编码能力和推进豆包商业化。

同一报道还称,世界模型方向的数据预算达到八位数人民币,是其他中国竞争实验室的三到四倍;字节内部设定的目标,是在2026年底前至少推出一款世界模型。

02视频生成之后,还要接住用户的动作

Seedance为这项研发提供了现成的起点。它已经被用于CapCut、豆包等字节产品,也进入了创作者、独立电影工作室和AI初创公司的工作流程。

生成一段视频时,模型可以先把画面做好,再交给用户观看。字节这次想做的实时环境,得跟着用户一起动:向前走,眼前的视角推进;转过身,还能看到连贯的四周;说话或做出动作,系统跟着回应。

两种体验对创作者的要求也不一样。拍一段室内镜头,事先就能定好从哪里拍、最后停在哪里。但把同一间屋子交给用户探索,情况就复杂了:有人径直走向门口,有人可能突然回头,原本不在镜头里的部分也会进入视野。实时生成要处理的,恰恰是这些没有事先排好顺序的变化。

速度只是其中一部分。前后画面还得接得上,否则每次改变视角,用户面对的可能就是另一个场景。Seedance已有的视频生成能力可以作为基础,持续互动又增加了新的要求。

X用户@glitchtruth把字节的潜在优势放在视频数据上。他认为,抖音和TikTok积累的大量现实世界影像,与世界模型需要学习的视觉信息有关。此次报道未交代该项目具体使用哪些训练数据。

视频里记录着物体移动、人物行动和环境变化,这也是视频公司进入这一领域容易让人产生期待的原因。但素材多,并不直接等于模型强。哪些内容适合训练、怎样整理和使用、训练后能否稳定应对新的场景,仍要靠研发解决。

X用户@marpoleAI更看重用途的变化:相比生成更好的视频片段,能够实时生成连贯环境的模型,未来可能用于游戏、机器人和自动驾驶模拟。在他的理解中,模型要交付的不再只是一段内容,而是一个可互动的环境。

机器人训练和娱乐体验要的东西不一样。The Next Web转引的报道提到,字节同时推进两条路线:一条面向具身智能和机器人,结合视觉、语言和动作;另一条面向3D模拟、娱乐和游戏。当前披露的空间视频模型属于后者。

这也决定了该怎样看待它的进展。让观众在一个虚拟场景里转身、移动,与让机器人利用模拟环境学习动作,是不同的任务。前者如果做成,已经可以带来新的娱乐体验,不必同时承担证明机器人理解物理世界的任务。

李飞飞和杨立昆长期关注的,是机器怎样理解空间与现实环境。世界模型也因此与机器人、自动驾驶等方向联系紧密。字节这款项目选择的近期应用,是让人进入生成的环境里观看、互动和游玩。


03计算搬到云端,账也跟着变了

彭博社援引一位知情人士称,这款模型可以按需生成每秒20帧的视频,延迟约为50毫秒。报道没有说明延迟的测量范围和测试条件,这组数字还无法直接回答用户戴上Pico之后,互动究竟有多顺畅。

看一段已经生成好的视频,可以先等它加载,再从头播放。但交互环境很难把等待放在体验之外:用户转头以后画面还停在原处,就会直接打断参与感。生成速度、网络传输和设备显示得一起配合,用户戴上头显才能感觉到流畅。

按照报道描述的方案,大量空间内容生成计算将放在云端完成,再把结果传到设备上。字节希望借此降低头显对本地处理能力的要求,为更便宜、硬件配置更简单的设备创造条件。

如果这些计算都留在头显里,设备就需要更强的处理能力,耗电和成本都会跟着涨。云端方案想绕开这个问题,让用户不必仅仅为了生成更复杂的场景,就在头上戴一套更强的计算设备。

彭博社在报道中提到,Meta已经围绕Quest投入多年,苹果也把Vision Pro定位为高端空间计算平台,但两者都还没有真正走向大众市场。字节这条路线的吸引力,在于同时尝试两件事:降低设备的硬件门槛,并让设备里可体验的内容更容易生成。

设备可以少承担一些计算,服务器却仍要完成这些工作。尤其当用户持续与环境互动时,模型需要根据新的输入继续生成,计算开销也会随之增加。

不过,直播、短剧和游戏,并不能统一按观看分钟来算推理成本。

如果创作者先用模型做出一段素材,再让很多人观看,生成成本可以由后续播放分摊。但如果每位用户都在改变自己的视角和互动过程,平台就得为这些不同的操作持续生成。内容能复用多少、哪些部分需要重新计算,会直接影响后一种服务的开销。

用户规模也会改变这笔账。一段演示只需要让眼前这次互动顺利完成;面向大众的服务要同时接住许多人的操作,还得保证不同用户拿到的体验足够稳定。把模型做出来之后,服务器容量和运维效率还得跟上。

这里首先要算的是平台提供服务的成本,而不是用户一定要按分钟付费。字节尚未公布这款产品的收费方式。

X账号@DinoLeadingNews在讨论实时交互环境的未来用途时,把它看作AI智能体训练与测试的一种潜在基础设施,并将成本能否持续下降视为普及的重要条件。

字节正在扩大公司整体的AI基础设施投入。彭博社9月7日的报道提到,公司此前一周获得了约300亿美元贷款,用于扩充AI能力、数据中心和相关硬件。

更早的5月27日,彭博社报道,字节当时讨论的2026年资本支出为4000亿至5000亿元人民币,约合590亿至700亿美元;作为对照,报道给出的2025年资本支出约为250亿美元。新一年的规划上限,已经超过上一年的两倍。

这份预算仍是动态计划,会根据业务需求、硬件和电力供应情况按季度调整,最终金额可能不同。它覆盖公司整体的数据中心和其他AI基础设施,并非这款世界模型的专项预算。

在那篇报道中,DZT Research驻新加坡科技分析师柯岩认为,字节、腾讯和阿里巴巴正越来越多地把AI基础设施视为战略资产。他还提醒,考虑各地建设和运营成本后,中美科技公司的实际投入差距可能小于美元金额呈现的差距。

04字节的机会,藏在已有的内容业务里

在字节准备推出新模型时,其他公司也已经沿着不同路线接近用户。

今年1月,谷歌已向美国符合条件的Google AI Ultra订阅用户开放Project Genie,让他们创建和探索交互世界,官方将其定位为实验性研究原型。

就在9月1日,李飞飞创办的World Labs也公布了新一代世界模型Atlas,将镜头控制、空间重建和仿真等能力放进同一套模型。目前Atlas面向选定合作伙伴提供早期访问,尚未向普通用户全面开放。公司表示,它将为未来版本的Marble及其他产品提供能力。

World Labs已有的Marble则早在去年11月就向公众开放,用户可以生成和编辑3D世界。

X账号@aim_predict认为,字节加入实时交互式3D生成,会给谷歌Genie、World Labs等参与者带来更多竞争。

字节手中值得关注的,是已经存在的内容业务和创作工具。Seedance可以通过CapCut、豆包等产品接近创作者,Pico提供空间交互设备,抖音和TikTok拥有现成的内容分发渠道。如果新模型随后接入这些产品,就有机会进入用户原本已经在使用的工具和娱乐活动。

这种触达能力已经在字节的其他AI产品中出现。彭博社5月27日的报道提到,当时豆包月活跃用户已超过3亿,抖音则被用于推广公司的新产品。一项陌生技术能否在熟悉的入口里让人试上一次,会影响它从技术演示走向日常使用的距离。

其中,Pico以及直播、短剧、游戏是此次报道明确提到的方向;抖音和TikTok是否会接入、以什么形式接入,目前还没有公布。

X用户@ricci_nov关注的是分发与反馈。他认为,拥有内容平台的公司,可以把生成、使用和用户反馈接在一起,观察人们愿意参与什么,再据此调整产品。

这种条件能帮字节接近用户,却不能替它决定用户究竟想玩什么。创作者、观众和头显用户对同一个模型的期待,可能相差很大。

直播和短剧的制作者可能会先用它调整场景、改变视角,把从想法到画面的过程缩短。他们未必需要一整个随意漫游的虚拟世界,能否更方便地做出一个镜头,可能就足以决定工具有没有用。

观众是另一回事。即使场景可以随着声音和动作变化,也还需要设计参与的理由:改变画面之后能发生什么,自己的选择能否影响接下来的体验。游戏和互动短剧可以探索这些玩法,但不能把生成环境本身当成已经完成的游戏或剧情。

到了Pico上,用户直接在空间里移动和转头,连贯的画面与及时的回应会更加重要。这与在手机上使用一个内容创作功能,既不是同一种体验,也不是同一道产品题。

字节不必把所有用途装进同一种产品,也不用等每位用户都先买一台头显。创作工具可以先服务一批愿意使用新技术的人,互动内容需要找到值得反复参与的玩法,头显要让设备和环境配合起来。

把这款模型介绍给用户,对字节不算最难。真正难的是:第一次体验之后,人们还愿不愿意再进去玩一次。

相关推荐
热点推荐
“19999元非常有诚意”!余承东这句话,让华为新款手机冲上了热搜

“19999元非常有诚意”!余承东这句话,让华为新款手机冲上了热搜

听心堂
2026-09-07 18:45:52
2000年,歹徒长途客车起色心,3名女子被强奸5次,43人冷眼旁观!

2000年,歹徒长途客车起色心,3名女子被强奸5次,43人冷眼旁观!

法网恢恢
2026-09-06 23:15:14
工行仅半年就有819亿坏账,真实情况瞒不住了!

工行仅半年就有819亿坏账,真实情况瞒不住了!

袋鼠说说
2026-09-07 10:49:12
随着西班牙2-0,哥伦比亚3-1,U20女足世界杯最新积分榜出炉:中国继续领跑

随着西班牙2-0,哥伦比亚3-1,U20女足世界杯最新积分榜出炉:中国继续领跑

侧身凌空斩
2026-09-08 04:32:00
下轮取胜将登顶世界第1!27岁网坛冰美人宣战郑钦文:我会拼到底

下轮取胜将登顶世界第1!27岁网坛冰美人宣战郑钦文:我会拼到底

我爱英超
2026-09-08 06:17:31
米莱上台1000天:阿根廷月物价涨幅从25.5%降到2.1%,近600万人贷款逾期

米莱上台1000天:阿根廷月物价涨幅从25.5%降到2.1%,近600万人贷款逾期

桂系007
2026-09-07 16:52:37
特斯拉新车官宣:9月18日,国内亮相

特斯拉新车官宣:9月18日,国内亮相

科技堡垒
2026-09-07 11:39:20
西藏泥石流灾害致43人遇难519人失联,90后女警父母到了现场

西藏泥石流灾害致43人遇难519人失联,90后女警父母到了现场

九方鱼论
2026-09-08 06:44:40
95年我20岁,大我5岁的邻家嫂子,有天晚上抱着我说:咱俩私奔吧

95年我20岁,大我5岁的邻家嫂子,有天晚上抱着我说:咱俩私奔吧

千秋文化
2026-07-14 19:58:57
红利曼合围战打成空城计!重兵扑了个空,俄军早从10公里走廊跑了

红利曼合围战打成空城计!重兵扑了个空,俄军早从10公里走廊跑了

莫地方
2026-09-07 19:21:10
越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面

越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面

流萤叙情
2025-09-05 18:22:25
在深圳,人的戾气越来越重了

在深圳,人的戾气越来越重了

知肇分子
2026-09-07 20:36:06
走出转会阴霾:阿尔瓦雷斯态度大反转,马竞前锋欲在欧冠正名

走出转会阴霾:阿尔瓦雷斯态度大反转,马竞前锋欲在欧冠正名

星耀国际足坛
2026-09-07 22:12:13
187万人房贷断供:房子没了,债还在

187万人房贷断供:房子没了,债还在

谢晖说房
2026-09-05 22:40:44
马向东为儿子报仇被判死刑,行刑前对妻子说:我去陪孩子了

马向东为儿子报仇被判死刑,行刑前对妻子说:我去陪孩子了

纸鸢奇谭
2025-02-26 20:46:29
韩红风波升级!月捐人停捐被回访,律师:追回捐出的善款可能违法

韩红风波升级!月捐人停捐被回访,律师:追回捐出的善款可能违法

青梅侃史啊
2026-09-07 19:24:30
菲政坛决战升级?法院下令逮捕莎拉,罪名是威胁小马科斯及其家人

菲政坛决战升级?法院下令逮捕莎拉,罪名是威胁小马科斯及其家人

40度观察
2026-09-07 16:09:55
家属突发讣告!24岁女网红确认离世,出事三天前还在更新账号

家属突发讣告!24岁女网红确认离世,出事三天前还在更新账号

南方都市报
2026-09-08 08:00:08
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
热议中国女篮大胜意大利:加时战胜捷克缓过来 三分信心跟住来

热议中国女篮大胜意大利:加时战胜捷克缓过来 三分信心跟住来

狼叔评论
2026-09-08 08:56:03
2026-09-08 10:20:50

科技要闻

小米再次背水一战

头条要闻

女子称"停捐后遭机构催捐嗤笑" 联合国儿童基金会致歉

头条要闻

女子称"停捐后遭机构催捐嗤笑" 联合国儿童基金会致歉

体育要闻

郑钦文,奇迹只发生在相信奇迹的人身上

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

教育
时尚
本地
房产
军事航空

教育要闻

2026雅思托福日语备考,哪些语言学习app能根据水平和目标帮你精准提分?

白露食白——露从今夜白,味从此时鲜

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

军事要闻

伊朗锡里克婚礼遭袭现场发现美武器残骸

无障碍浏览 进入关怀版
×