网易首页 > 网易号 > 正文 申请入驻

OpenAI 5亿美金没买走的游戏数据,正在被拿来训练机器人

0
分享至

2024 年,OpenAI 曾开价 5 亿美元,想买一个游戏录屏产品。

它叫 Medal,在全球有 1700 万月活用户,覆盖上万款游戏。当玩家打游戏时按一下键,它就能帮助把前几秒的画面就自动剪成短片,保存、分享。

但 Medal 创始人皮姆·德·维特拒绝了 OpenAI 这笔交易,并在一年后自己下场基于 Medal 孵化出一家 AI 公司 General Intuition —— 专门拿这些游戏数据,训练能感知、预测,能在“虚拟与物理环境中行动的新一代模型”。


这个从游戏视频到世界模型的故事,有不少大佬买单。

就在前几天,General Intuition 官宣自己拿到了 3.2 亿美元的 A 轮融资,投资人有亚马逊创始人杰夫·贝索斯和前 Google CEO 埃里克·施密特的机构。

此时它的估值已经达到 23 亿美元,比一年多前 OpenAI 的收购价高了 4 倍。


不只是 General Intuition,最近新盯上游戏数据的公司不在少数。

今年 5 月,位于美国旧金山的 Origin Lab 宣布拿到了 Lightspeed 领投的 800 万美元,做的事也是把游戏里的数据整理出来喂给 AI。

这个月,英国剑桥又冒出一家 Worldmodeldata。它拿了 700 万英镑种子轮,同样是收集游戏数据训练 AI,尤其是世界模型。

OpenAI看上的不是视频,是你按了哪个键

这几家公司里最受关注的,是接连得到 OpenAI 和亚马逊创始人贝佐斯青睐的 General Intuition。

用游戏数据结合 AI,不算一件很特别的事情,像强化学习、数据合成、仿真这些场景,都有游戏的存在。


但基于 Medal 长出的 General Intuition 有着自己的特殊性 —— 它的数据看起来更适合训练世界模型,用在机器人场景。

想象一下,如果只拿一段普通的 YouTube 游戏直播数据喂给模型,只能让它学到这个世界长什么样,学不到玩家做了哪个动作、动作之后世界怎么变。而机器人大模型要学的精髓,恰恰是后面这半截。

Medal 的数据能留住这些关键信息。

它的录屏软件,在录画面的同时还以第一人称视角把玩家的操作记了下来(官方说做了隐私处理),像按键、鼠标移向哪里,都会带着时间和操作数据。

再加上,玩家爱上传的一般都是打得特别好或者翻车特别惨的精彩片段。这种极端案例,往往在现实生活中很难收集,也是 AI 训练最想要的。

这些年,Medal 的游戏视频数量已有每年 20 亿条,条条都带着这样的稀缺信息。攒到今天,Medal 已经成了最大的、带动作标签的视频数据集之一。


从Agent到机器人,都要“长脑子”

自立门户的 General Intuition 拿着这批数据,训了自己的模型。从公开信息看,它至少在做两类模型:决定动作的 action models 和预测动作结果的 world models。


CEO 皮姆形容自家的模型会在接收视频帧后,直接输出控制信号,不需要语言指令,机器人自己看了就知道下一步该做什么。也就是说,这个架构去掉了语言这一层,让机器人接收模型原生输出的操作信号。

General Intuition 模型的训练主要分为三步。

首先是用 Medal 的游戏数据做基础预训练。游戏里有精确的 action labels 做监督信号,模型学的是从“看到这个画面 + 做了这个操作”,到“世界变成了那样”的因果关系。

第二步是用世界模型生成仿真环境,充当"训练场"。世界模型能逐帧生成环境,具备初步交互能力的 agent 在里面自主探索、试错,不需要真实硬件。

第三步,用少量真实世界数据做微调,上真机。


今年 6 月底,TechCrunch 记者到 General Intuition 的办公室做了一次现场探访,报道里有两个场景引起了关注。

首先是在一台显示器上,有 Agent 在一个类似堡垒之夜的游戏里连续玩了 100 个小时。它背后没有真人玩家,是模型在自主操控。

第二个,是同一个办公室里的一台四足机器人正在来回走动。数据分析师抱着一台笔记本跟在机器人旁边,笔记本上实时显示机器人单目摄像头的画面。机器人被设置成"探索"模式,靠这只"独眼"自主导航,绕过人、绕过桌子,但偶尔撞上垃圾桶或者剐蹭椅子腿。

这两个场景背后,是同一个 General Intuition 的模型。 那台四足机器人的微调,据说只用了 8 分钟户外的真实数据。

另外,General Intuition 现在还在持续优化数据丰富度。由于游戏覆盖种类问题,Medal 的导航、瞄准、走位数据很丰富,但模拟驾驶、飞行控制、物理解谜之类的游戏还不够。


为补齐这些缺口,General Intuition 推出了一个叫 Nerve 的众包平台,让玩家用自己的游戏设备接任务赚钱。Nerve 可以按需采集特定类型的游戏数据,不用坐等现有用户覆盖所有场景。后续,他们还计划让玩家参与机器人远程操控。

这和现在很多具身公司如出一辙,从数据到模型,自己闭环。

还有,盯上游戏数据的它们

除了已经推出初步成果的 General Intuition,还有一批公司新盯上了游戏视频数据。

和传统数据标注类似,在游戏数据和世界模型公司之间,出现了数据服务商的生意。它们做的事,就是去跟游戏公司谈授权、把游戏世界里的数据合规地采下来整理好,再卖给有需求的世界模型公司。

美国公司 Origin Lab 和 英国企业 Worldmodeldata 做的就是这个,最近它们都拿到了融资。

Origin Lab,今年 5 月带着 800 万美元的种子轮出现在公众视野。


它的三位创始人兼具游戏和科技背景。

一位在 PlayStation 和 Xbox 工作过、后来开了家服务 EA、Riot、Epic 的游戏营销公司;一位是 Twitch 的早期高管、做到了首席战略官;还有一位是干了十年数据科学和机器学习的 CTO。

或许因为天生自带资源,Origin Lab 已经跟 20 多家发行商、50 多款游戏签了约。


位于英国的 Worldmodeldata 也在做差不多的事情。这家 base 剑桥的公司上周官宣融了 700 万英镑,团队不到 10 人。官网里,他们专门说自己的客户画像是世界模型和具身智能。


它的创始人 Rhea Loucas,厘清了自己和 Origin Lab 、General Intuition 的异同,说 General Intuition 是把数据留在自己手里、自己训模型,而 Worldmodeldata 只卖数据,给需要的实验室供货,定位和 Origin Lab 类似。

Worldmodeldata 的创始人也是游戏行业出身,董事长则是 Meta 前欧洲公共政策副总裁,是自带资源的创业者。

靠谱的和有疑问的

这个故事听起来很美,市场也在逐步火热。但看完这些信息,我的心里还是有点疑惑,拿游戏视频搞机器人大模型,在真实任务上到底有多靠谱?

我查了一些资料,发现这个事情已经有些验证。

比如一篇韩国团队和斯坦福大学的论文,今年被 ICLR 接收。这篇论文用游戏和桌面交互数据预训练视觉-动作模型,然后测试在真实机器人任务上的表现。


实验结果证明,这种方案在 LIBERO 操作基准上达到 96.6% 成功率,在 CANVAS 导航基准上 83.3%。他们还用一台 SO101 机械臂做了真实的抓取实验,发现预训练后成功率从基线 70% 提升到 80%。

论文的结论指出,数字交互中的感觉运动原语具有足够的不变性,可以有意义地迁移到物理具身任务。

但这个方向也有几道具体的坎。

第一个,是游戏操作是低维的,机器人关节是高维连续控制。

Medal 的 action labels 记录的是玩家的操作行为,像移动、瞄准、开火这些。键盘是几个离散按键,鼠标也只是二维的连续移动。但一台人形机器人走一步,可能就要同时协调几十个关节的角度、速度、力矩。

第二个问题也很严肃,就是游戏物理不等于真实物理。

让机器人学习到真实的物理世界,需要真实的感知。像游戏引擎里的碰撞检测和重力模拟都是简化版,这些到了有摩擦、有变形、有柔性物体的真实世界能管多少用,也很难说。

还有一个,是 Demo 和需求之间的鸿沟。

General Intuition 现场 demo 展示的是四足机器人走路。

走路,是四足运动里相对基础的能力,但具身智能的理想场景,是双足人形机器人可以在工厂、家庭环境中完成精细化操作。General Intuition 的 Demo 还不符合这些期待,只是先选了更适合游戏数据映射的四足机器人做试验。

至于更纯粹的送水人 Worldmodeldata 和 Origin Lab,能不能持续赚钱也得看下游需求的印证情况。

一个关键节点是,2026 年夏末,General Intuition 将向更多客户开放 API。到时候,第一批外部用户会有真实反馈。

在此之前,我们或许难以判断,游戏录屏里数十亿次按键操作,到底能不能教会机器在物理世界里可靠地干活。

资本此时给 General Intuition 的数亿美元,买的也不是答案,而是一张提问的入场券。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
天生丽质,我的白和美是天生的

天生丽质,我的白和美是天生的

疾跑的小蜗牛
2026-10-19 19:38:28
科兴疫苗又被翻出来了,当年打了三针的只想要个说法

科兴疫苗又被翻出来了,当年打了三针的只想要个说法

王二哥老搞笑
2026-10-19 07:11:36
高雄市长参选人财产曝光,柯志恩存款1354万,赖瑞隆有八笔土地四套房

高雄市长参选人财产曝光,柯志恩存款1354万,赖瑞隆有八笔土地四套房

海峡导报社
2026-10-19 12:02:07
张本智和父亲勇敢发声!入日籍没错,否则儿女在中国无出头之日

张本智和父亲勇敢发声!入日籍没错,否则儿女在中国无出头之日

小鋭有话说
2026-10-18 13:11:03
中央明令整顿国企:防止仅5%的中高层拿走80%工资总额!

中央明令整顿国企:防止仅5%的中高层拿走80%工资总额!

职场资深秘书
2026-10-19 14:10:25
麻烦大了!伊朗总统无意间泄露绝密:美以轰炸致上千名导弹兵死亡

麻烦大了!伊朗总统无意间泄露绝密:美以轰炸致上千名导弹兵死亡

井普独白
2026-10-17 15:29:22
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

张铁林聚餐照曝光!叼大烟斗,桌上摆满老北京铜锅涮肉

草莓解说体育
2026-10-19 06:44:09
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
领完证第7天妻子才回新房,还一脸得意以为我得哄着她,发现大门换了锁,她在楼道里拍门质问,我只隔着门缝回了一句:滚

领完证第7天妻子才回新房,还一脸得意以为我得哄着她,发现大门换了锁,她在楼道里拍门质问,我只隔着门缝回了一句:滚

晓艾故事汇
2026-10-19 14:06:12
傅作义刚宣布北平和平解放,妻子便在重庆机场遭特务劫持,地下党强攻无门,周恩来靠香港报上一则假消息把人救了

傅作义刚宣布北平和平解放,妻子便在重庆机场遭特务劫持,地下党强攻无门,周恩来靠香港报上一则假消息把人救了

唠叨说历史
2026-10-16 15:41:45
不给钱就掀桌子!匈牙利新总理放狠话:不给164亿就一票否决

不给钱就掀桌子!匈牙利新总理放狠话:不给164亿就一票否决

麓谷隐士
2026-10-19 00:05:04
五角大楼坐不住了,美国国会彻底慌神!

五角大楼坐不住了,美国国会彻底慌神!

果妈聊娱乐
2026-10-18 13:58:01
2026稳了!郑丽文出招,解决三根搅屎棍:侯友宜、卢秀燕、赵少康

2026稳了!郑丽文出招,解决三根搅屎棍:侯友宜、卢秀燕、赵少康

阿离家居
2026-10-19 10:11:31
郭士强看看吧!王俊杰狂轰31+6霸气怒吼 美媒盛赞最具NBA前景超星

郭士强看看吧!王俊杰狂轰31+6霸气怒吼 美媒盛赞最具NBA前景超星

颜小白的篮球梦
2026-10-19 08:59:37
有人预言:到2030年中国房价,很大可能是这样的,大家要有准备

有人预言:到2030年中国房价,很大可能是这样的,大家要有准备

说故事的阿袭
2026-10-06 11:58:49
暴跌93%,中国人的梦中神车,崩了!

暴跌93%,中国人的梦中神车,崩了!

i黑马
2026-10-16 20:26:14
“收手了,阿祖!”陆光祖宣布退出国家队:祝愿还在一线奋战的兄弟姐妹们,得到自己想要的答案

“收手了,阿祖!”陆光祖宣布退出国家队:祝愿还在一线奋战的兄弟姐妹们,得到自己想要的答案

南方都市报
2026-10-19 12:12:04
菲外交部称约见中国驻菲大使,外交部:坚决反对菲方个别人恶意炒作涉华议题

菲外交部称约见中国驻菲大使,外交部:坚决反对菲方个别人恶意炒作涉华议题

界面新闻
2026-10-19 16:24:04
建国后聂荣臻评价毛主席首席爱将:若他还在,十大元帅或将换座!

建国后聂荣臻评价毛主席首席爱将:若他还在,十大元帅或将换座!

海佑讲史
2026-10-19 19:20:15
2026-10-19 20:28:49
四木相对论 incentive-icons
四木相对论
唠唠科技,看看世界
196文章数 3关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

头条要闻

女子生龙凤胎起诉已婚董事长确认亲子关系 遭男方起诉

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

艺术
亲子
本地
房产
公开课

艺术要闻

428米、95亿,海南第一高楼开始“戴帽子”了!

亲子要闻

济南幼儿园萌娃升旗爆火出圈!一动一静反差感拉满,连央媒都转发了

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

房产要闻

最新房价:海口,三亚齐跌!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版