网易首页 > 网易号 > 正文 申请入驻

米哈游发了个VLA论文

0
分享至

henry 发自 凹非寺
量子位 | 公众号 QbitAI

米哈游,您是准备亲自下场研究“官方脚本”了?(doge)

就在米哈游崩坏AI研发团队最新发布的研究Gamer中——

你敢信,AI竟然自己玩起了《崩坏:星穹铁道》。

键盘鼠标交给AI,上来就能和可可利亚打上一架。



碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。



跟着NPC跑图同样可以,流萤在前面带路,AI就在后面跟着,上楼梯、拐弯,一路跑到广场。



我勒个乖乖,这打Boss、开机关、跟人跑图,都让AI学会了。

这以后充值页面里,会不会有个“AI代肝”选项?

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

VLA代肝,不烧心

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。



上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

换句话说,屏幕画面是它接收的视觉信号,任务指令告诉它要做什么,键鼠操作则是它输出的动作。

相较于以往的AI玩游戏,Gamer这次最大的亮点是把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。



实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。

随着任务推进,它还会动态记录“刚才完成了什么”、“下一步准备干什么”。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。



而为了实现这一效果,研究设计了一套三阶段训练流程:

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

这些操作被整理成统一的键鼠格式,让不同游戏的数据可以进入同一套训练流程。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

相当于看一眼,安排接下来一小段动作,再根据新画面继续调整。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

-稀疏思考”机制:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。
-记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

实验测试

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

比如在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍:



切到第一人称射击游戏ViZDoom,它又能迅速拉枪瞄准,连续点射逼近的敌人:



此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为 17.1%。



这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

游戏成为AI的练习场,练出来的AI,又能反过来帮助开发游戏。

团队介绍

最后,我们来认识一下这项研究背后的团队。

论文贡献者名单共列出了8位共同一作,其中5位在米哈游实习期间参与了该项目的研发:



Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。



张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

值得一提的是,他在个人主页中写道,他是英雄联盟的大师段位玩家。



Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang:中国科学院大学计算机专业博士生(本科毕业于同济大学),主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。



Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。

Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准(Benchmark)建设与评测。

Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

(其他论文贡献者可参考论文主页)

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接
[1]https://arxiv.org/html/2611.18397v1
[2]https://mihoyo-gamer.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
媒体人谈罗德里:才来几个月就对战术指手画脚,马拉多纳也不行啊

媒体人谈罗德里:才来几个月就对战术指手画脚,马拉多纳也不行啊

砚底沉香
2026-11-20 00:00:02
雷军、王兴兴、董明珠APEC押注同一方向 | 赌的不是机器人,是中国制造的下一张船票

雷军、王兴兴、董明珠APEC押注同一方向 | 赌的不是机器人,是中国制造的下一张船票

一刻talks丨硬科技新商业
2026-11-19 21:50:14
荔枝酒充电宝当土特产?AI眼镜卖断货,APEC伴手礼圈粉老外

荔枝酒充电宝当土特产?AI眼镜卖断货,APEC伴手礼圈粉老外

新金牌娱乐观察家
2026-11-20 11:39:41
秦曼云叛变导致上海地下党遭重创,毛主席晚年时常念叨:抓到她了吗?

秦曼云叛变导致上海地下党遭重创,毛主席晚年时常念叨:抓到她了吗?

凉州辞
2026-11-19 13:45:05
梅艳芳为何红颜薄命?白龙王揭秘:她本有长寿之相,错在关键一步

梅艳芳为何红颜薄命?白龙王揭秘:她本有长寿之相,错在关键一步

萧竹轻语
2025-11-14 17:10:43
上海退休教授进敬老院5个月后去世,护工挺着大肚子含泪:这是遗书

上海退休教授进敬老院5个月后去世,护工挺着大肚子含泪:这是遗书

罪案洞察者
2025-08-08 11:40:08
游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

上观新闻
2026-11-20 06:58:22
惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

惊掉下巴!广东女子把DeepSeek当作“老公”,限额后热线扬言自残,多方应急人员上门,当事人发帖直呼社死

火山詩话
2026-11-19 12:42:19
《GTA6》电台出现林子祥《敢爱敢做》引发玩家讨论

《GTA6》电台出现林子祥《敢爱敢做》引发玩家讨论

3DM游戏
2026-11-19 11:29:39
油价,暴跌!

油价,暴跌!

荆头条
2026-11-20 00:39:26
21岁迎娶赌王千金的哈佛学霸,如今怎样?

21岁迎娶赌王千金的哈佛学霸,如今怎样?

阿废冷眼观察所
2026-11-20 06:17:49
20岁时放羊吃了寡妇家的红薯,我和她在地里干架,后来我娶了她

20岁时放羊吃了寡妇家的红薯,我和她在地里干架,后来我娶了她

农村情感故事
2025-04-21 07:14:23
1986年,山东农妇效仿武则天在自家登基称帝,纳4名男妃充入后宫,最后栽在了一个打瞌睡的信徒手上

1986年,山东农妇效仿武则天在自家登基称帝,纳4名男妃充入后宫,最后栽在了一个打瞌睡的信徒手上

磊子讲史
2026-11-13 20:18:15
美股低开高走 道琼斯指数涨幅扩大至1%

美股低开高走 道琼斯指数涨幅扩大至1%

财联社
2026-11-20 23:25:02
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
“涨就一丢丢,跌就大几万”!A股超4800股下跌,205万基民半日浮亏4.2万,直言亏麻了欲哭无泪

“涨就一丢丢,跌就大几万”!A股超4800股下跌,205万基民半日浮亏4.2万,直言亏麻了欲哭无泪

王老师你还好吗
2026-11-20 18:26:09
要是朱标没死,朱棣敢不敢造反?这么说吧,朱标活着的话,能一个人晃晃悠悠走进燕王府,把朱棣拽出来,正手反手就是10个大巴掌

要是朱标没死,朱棣敢不敢造反?这么说吧,朱标活着的话,能一个人晃晃悠悠走进燕王府,把朱棣拽出来,正手反手就是10个大巴掌

磊子讲史
2026-11-17 12:10:42
同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

申消费
2026-11-20 11:22:12
2300万粉丝顶流博主体验理想L8后惊叹:让我坐过的其它车落后半个世纪

2300万粉丝顶流博主体验理想L8后惊叹:让我坐过的其它车落后半个世纪

快科技
2026-11-19 00:50:08
香港乐坛的菲律宾血统

香港乐坛的菲律宾血统

新民周刊
2026-11-06 16:22:57
2026-11-21 01:04:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

游戏要闻

不是哥们,什么叫二游圈子也流行矮人笑话?

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
手机
艺术
时尚
亲子

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

无障碍浏览 进入关怀版