网易首页 > 网易号 > 正文 申请入驻

MR设备普及是李飞飞世界模型的模拟器底座

0
分享至

最近李飞飞的一篇文章火了,长文介绍了世界模型的构成,以及所需要的部分。


介绍了真正的AI不应该只是文本,李飞飞当之无愧的成为现在世界模型的第一推行梯队。

现在我正在前往WWDC的飞机上,如果你对WWDC直播感兴趣可以点击直播预约

这篇文章是原文地址,我将其翻译为中文了

李飞飞在推崇世界模型之外,但是你去追寻她的所有相关公开发言,从来没有提及过vision Pro,以及MR设备。

而她提及多的就是世界模型与具身智能的关系,对于MR设备产业的上下游她几乎不清楚。

而今天我想提的是空间计算设备,也就是像Apple vision Pro以及AndroidXR、以及PICO swan这些MR设备才是世界模型的底座。

只有他们才能够提供人类现在没有的数据,空间、深度、以及人类互动数据。当MR设备普及、用户使用时长越来越多,空间照片、空间视频越来越多,我们才能够得训练与制作模拟器。

在李飞飞最新的文章提到:渲染器是比较成熟的,比如像现在的ChatGPT image2 、Gemini等这些都是渲染器,而模拟器要的是空间数据、深度数据

而这一切都要来自空间计算,谁能够拥有大量的空间数据,就可以更快的训练、生成世界模型。

现在其他公司采集人类第一数据,数据质量差:因为没有MR设备芯片与操作系统

比如有美国在印度公司开始抓取工人的第一视角数据用来训练机器人,但这些设备由于没有标准的空间技术操作系统,vision OS、AndroidXR,导致采集的数据精度都不够高。


现在Apple vision Pro的数据精度可以达到毫米级,而这些普通的设备由于传感器、摄像头,不管是在算法层面还是在硬件层面,都和空间操作系统相距甚远,所以自然采集的数据都是低质量physics 数据,在vision Pro上的数据质量,可以让机器人完成这个世界的物理操作。

也就是说,MR设备是机器人大模型没有出来的遥控器:至少3年内

像李飞飞说的,现在真实世界数据比互联网少几个数量级,这是非常正确的。

像现在拍摄空间照片、空间视频,很多人都没有看过,真的要看只能在MR设备里。即使是在苹果官方的宣传照片里,也很难让普通感受到3D的空间效果。


空间计算的App也几乎没有互联网的,更何谈数据了

我们在做空间计算开发的时候,就发现能够联网有互联网的空间计算APP在vision OS的AppStore就几乎没有,即使现在苹果官方宣称有几千款APP在vision OS上是native的。

抛开那些visionOS的单机版本、demo能够真正的持续使用的少之又少

MR设备的增长率还要等到2027年,远远没有到来

李飞飞是世界模型的创立者,也是推广者,但是她并不知道MR设备的行业发展是她世界模型的底座,也就是硬件设备底座。

她不清楚人机交互的本质,世界模型如果抛开硬件终端、人机交互,就会成为一个学术命题,而真的要把世界模型用起来,能够训练起来,这就离不开世界模型的运行终端,能够和空间进行交互的,则一定是基于眼镜第一视野的XR设备或者AR设备,这些设备不仅可以感知环境还能够感知空间深度、距离、以及时间。

要想加速世界模型,首先第一件事就是加入MR设备终端的普及,而这一点从现在我们内部知道的是,2026年MR设备从vision Pro开始,再到AndroidXR设备、以及project swan字节跳动等设备,都会大量增加空间视频、空间照片的拍摄数量。

空间视频是一种全新的数据格式,不仅有平面内容还有深度、以及环境mesh网格,这些数据都将成为世界模型模拟器的数据底座。

从现在来看几乎所有的带有空间操作系统的MR设备都可以支持拍摄空间视频与空间照片,比如AndroidXR最新系统版本已经支持将其YouTube变成为3D视频。

空间计算设备,通过空间操作系统将视频转化为空间视频、空间照片能力,是MR设备的标准能力,也是空间操作系统的标准能力。

即使是美国总部,苹果消费者店员也认为他是VR

在苹果总部,vision Pro仍然很多人搞不明白,即使是里面的店员也只会基本操作,当我知道我们团队在做空间计算的互联网,空间互联网的时候都是感叹震惊。

因为他们其实对于下一代计算平台以及vision Pro到底可以发挥多大作用,他们是不知道的,无非就是苹果店里的那几个默认App或教学App。


通过空间计算技术,我最后在苹果visitor center和美国团队的朋友空间聊天以及碰面相关的公司产品介绍。


可以这么说,通过空间计算技术,我们2个即使从没有碰面,也可以很好的进行互动,甚至是有在一起的感觉。

而这一点很遗憾是在苹果体验没有的,因为考虑到用户隐私,现在persona在线下体验店是没有开放的。

只有自己购买设备之后自己录制。

不过最后讽刺的是,在WWDC临近的酒店,中国大妈大叔还是占领了旧金山,与我们这些WWDC的科技从业者形成了鲜明的对比,一个是世界的科技中心当然也少不了中国的退休大妈大叔来旅游。


今天的分享就在这里

找我交流与合作 空间计算与脑机接口系统开发

题图来自 Unsplash ,基于 CC0 协议, 如有侵权,请联系pmtalk123删除

“分享产品经理改变世界的点滴”

产品顾问| 产品咨询|培训合作

请添加微信PMxiaowanzi

最近我的原创

每日案例拆解库,AI等产品打卡群

我创建的产品设计打卡社群,加入后365天,每天体验一款APP。提升产品设计能力,同时有1300份体验报告帮助你找到竞品

在这里你可以随时查询到你想找的各类竞品行业APP,无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。

从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度,体验一款应用。

平均1天1块钱,扫码购买即可加入

连续体验48款应用,通过后原路退回

报名后添加星球助理

PMTalk123

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
电车真实“8年斩杀线”曝光!所谓终身质保,其实全是套路

电车真实“8年斩杀线”曝光!所谓终身质保,其实全是套路

沙雕小琳琳
2026-09-05 04:29:41
61岁男演员全家美国享乐!住豪宅开快艇吃龙虾,一句回应点燃舆论

61岁男演员全家美国享乐!住豪宅开快艇吃龙虾,一句回应点燃舆论

娱说瑜悦
2026-09-07 18:32:08
保密期限终到期,中央首长透露:毛岸英真相,可以向外界公开!

保密期限终到期,中央首长透露:毛岸英真相,可以向外界公开!

铜臭的历史味
2026-06-30 03:23:17
3-4惜败,张安达不敌世界第2,止步斯诺克英格兰公开赛32强

3-4惜败,张安达不敌世界第2,止步斯诺克英格兰公开赛32强

侧身凌空斩
2026-09-09 22:52:49
给胖东来供货十七年的牟强说,这里一边是天堂,一边是地狱。天堂是账期短,货款七天左右就能到账,地狱则是...

给胖东来供货十七年的牟强说,这里一边是天堂,一边是地狱。天堂是账期短,货款七天左右就能到账,地狱则是...

背包旅行
2026-09-07 18:50:04
长江缺水、鄱阳湖见底!三峡水库20亿吨淤沙,为何不趁机清理?

长江缺水、鄱阳湖见底!三峡水库20亿吨淤沙,为何不趁机清理?

抽象派大师
2026-08-17 18:37:22
中国足协发布最新裁判评议结果:海港防守马德鲁加不犯规,马宁判罚正确

中国足协发布最新裁判评议结果:海港防守马德鲁加不犯规,马宁判罚正确

闪电新闻
2026-09-09 16:46:14
这就是赤裸裸的差距!实际上大多央国企正式员工退休后拿不到一万

这就是赤裸裸的差距!实际上大多央国企正式员工退休后拿不到一万

一些小事
2026-09-07 08:31:56
星宇事件登上华尔街日报!61岁退休元老被免职引背锅质疑,其人力资源总监身份至今成谜

星宇事件登上华尔街日报!61岁退休元老被免职引背锅质疑,其人力资源总监身份至今成谜

火山詩话
2026-09-09 05:10:51
“0公里”奔驰纯电GLC,已经有二手车商在便宜卖了

“0公里”奔驰纯电GLC,已经有二手车商在便宜卖了

源Auto
2026-09-08 18:37:42
欧冠10球5个在安菲尔德:利物浦最怕的“后卫”又来了

欧冠10球5个在安菲尔德:利物浦最怕的“后卫”又来了

晚风知我意21
2026-09-10 03:59:16
2026年全国两会,一位人大代表的话,精准戳中了养老金差距的痛点

2026年全国两会,一位人大代表的话,精准戳中了养老金差距的痛点

偷喝一口奶
2026-08-19 08:07:38
把多边银行当提款机,印度薅完亚投行又盯上合银行:8%股本撬30%贷款,烂尾工程全甩锅

把多边银行当提款机,印度薅完亚投行又盯上合银行:8%股本撬30%贷款,烂尾工程全甩锅

王新喜
2026-09-08 13:34:25
“身材高挑匀称就是不体面!”接娃宝妈被拍,网友:给自己贴个膜就出门了?

“身材高挑匀称就是不体面!”接娃宝妈被拍,网友:给自己贴个膜就出门了?

林林先生
2026-09-08 10:48:39
抖音回应“自称遭4岁男童摸臀女子账号被禁止关注”

抖音回应“自称遭4岁男童摸臀女子账号被禁止关注”

郑州新闻广播
2026-09-08 22:29:49
郭德纲因“紫禁城中静悄悄”一事被罚48.68万元,之后十场演出全部叫停,赵本山16年前的那句话如今终于应验了

郭德纲因“紫禁城中静悄悄”一事被罚48.68万元,之后十场演出全部叫停,赵本山16年前的那句话如今终于应验了

z千年历史老号
2026-09-09 18:39:11
毛主席最罕见的4字楷书!挺拔大气!与众不同!颠覆了我们的审美。书法的前景如何呢?

毛主席最罕见的4字楷书!挺拔大气!与众不同!颠覆了我们的审美。书法的前景如何呢?

书画相约
2026-08-01 09:13:39
第一集就上尺度,网飞成人新剧太生猛了

第一集就上尺度,网飞成人新剧太生猛了

来看美剧
2026-09-04 18:29:48
紧急送医才几天,38岁赵丽颖传来“喜讯”,原来冯绍峰真没说错

紧急送医才几天,38岁赵丽颖传来“喜讯”,原来冯绍峰真没说错

乡野小珥
2026-09-09 08:20:59
iPhone 18 Pro Max价格曝光 1万2起步顶配2万

iPhone 18 Pro Max价格曝光 1万2起步顶配2万

PChome电脑之家
2026-09-07 11:03:49
2026-09-10 04:28:49
Kevin改变世界的点滴 incentive-icons
Kevin改变世界的点滴
每周一次,产品案例与经验分享
389文章数 22关注度
往期回顾 全部

科技要闻

苹果首款折叠屏iPhone Duo发布,15999元起

头条要闻

苹果发布首款折叠屏iPhone Duo 起售价1999美元

头条要闻

苹果发布首款折叠屏iPhone Duo 起售价1999美元

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭德纲的商业版图,藏着不知道的真相

财经要闻

知情人士证实DeepSeek备战科创板IPO

汽车要闻

腾势Z9GT易三方闪充尊越型32.98万元上市

态度原创

教育
旅游
本地
手机
公开课

教育要闻

今年最惨的6个专业,平均月薪跌破4000元,就业率低得离谱!

旅游要闻

看过无数雪山,唯独卡瓦格博,藏着最动人的千年爱情与守护故事!

本地新闻

宁波,中国制造的隐藏大佬

手机要闻

iPhone 18 Pro配备4800万三摄:首次加入可变光圈 苹果史上最强大的影像系统

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版