网易首页 > 网易号 > 正文 申请入驻

米哈游发了个VLA论文

0
分享至

henry 发自 凹非寺
量子位 | 公众号 QbitAI

米哈游,您是准备亲自下场研究“官方脚本”了?(doge)

就在米哈游崩坏AI研发团队最新发布的研究Gamer中——

你敢信,AI竟然自己玩起了《崩坏:星穹铁道》。

键盘鼠标交给AI,上来就能和可可利亚打上一架。



碰上场景机关,也能自己上手。走到“气泡弹珠”前启动装置,把自己弹到另一片区域,落地接着跑。



跟着NPC跑图同样可以,流萤在前面带路,AI就在后面跟着,上楼梯、拐弯,一路跑到广场。



我勒个乖乖,这打Boss、开机关、跟人跑图,都让AI学会了。

这以后充值页面里,会不会有个“AI代肝”选项?

(注:《崩坏:星穹铁道》是米哈游开发的一款银河冒险题材的回合制角色扮演游戏。玩家乘坐星穹列车探索不同世界,通过跑图、对话和解谜推进剧情,并组建角色队伍进行回合制战斗。)

VLA代肝,不烧心

咱言归正传,米哈游给Gamer的定位,是面向长流程、实时交互的通用视觉—语言—动作(VLA)基础模型。



上面演示玩《崩铁》的主力版本,由团队基于参数量80亿的Qwen3-VL-8B进一步训练而来。

它能根据游戏画面和任务,决定按哪些键、鼠标往哪里移动、什么时候点击,再把这些操作真正执行出来。

换句话说,屏幕画面是它接收的视觉信号,任务指令告诉它要做什么,键鼠操作则是它输出的动作。

相较于以往的AI玩游戏,Gamer这次最大的亮点是把跨游戏的实时操作与长流程的记忆、规划,接进同一套VLA框架。



实战时,模型完全依靠屏幕画面、任务指令和已有记忆做判断,无需读取游戏内部接口或底层状态。

随着任务推进,它还会动态记录“刚才完成了什么”、“下一步准备干什么”。

在论文中,研究还给出了一组硬核的实测数据:在覆盖五个主线篇章、总计约50小时的《崩铁》长流程评估中,Gamer的自主运行时间占比超过了95%。



而为了实现这一效果,研究设计了一套三阶段训练流程:

先用跨游戏数据练操作,再用任务示范补上思考和记忆,最后让模型进入游戏,通过试错和反馈继续提升。

首先,是持续预训练(Continued Pre-Training,CPT),让已经具备图文理解能力的基座模型,进一步学会操作游戏。

具体来说,团队把不同游戏的录屏与玩家操作对齐,让模型学习画面和动作之间的关系:人物往前走,场景会怎样变化;鼠标往右移,镜头会转向哪里。

这些操作被整理成统一的键鼠格式,让不同游戏的数据可以进入同一套训练流程。

执行时,Gamer每隔200毫秒读取一次画面,一次安排随后六个动作块,每个约33毫秒,对应30Hz的控制节奏。

相当于看一眼,安排接下来一小段动作,再根据新画面继续调整。

其次,在微调阶段,团队整理了约1000小时高质量《崩铁》演示,把目标分成具体操作、阶段性小目标和完整任务,教模型将动作组织起来。

值得一提的是,这里有两个极其实用的工程设计,核心目的都是解决长流程中的推理延迟与上下文爆炸问题:

-稀疏思考”机制:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。
-记忆摘要机制:旧记录即将移出上下文时,模型先记下任务进度、失败尝试、重要地点和后续计划,让接下来的操作有据可循。

-“稀疏思考”:沿着确定的路线前进,可以直接操作;遇到路线失败、目标切换或者新的交互提示,再展开推理。

最后,在在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验的结果更新模型。

比如,有没有到达目标地点、有没有完成当前任务,都能成为训练反馈,训练后台则负责初始化和核验。

此外,配套的Streaming-vLLM推理引擎还能复用已处理的上下文,并提前吐出生成且核验完毕的动作块,让游戏画面先动起来,大幅压低操作延迟。

实验测试

在跨游戏实验中,团队测试了Gamer的CPT版本,涵盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等多个游戏环境。

比如在《我的世界》里,它能自己转视角锁定史莱姆,追上去挥剑劈砍:



切到第一人称射击游戏ViZDoom,它又能迅速拉枪瞄准,连续点射逼近的敌人:



此外,在上述四项公共基准上,Gamer-8B-CPT的平均得分为29.5,所列通用模型对照中,最高为仅17.6。

而在七类小游戏、共40个未参与训练的任务中,基座模型仅有 3.2%,经过CPT升至15.0%,SFT后提升至39.2%,加入强化学习后更是达到了49.7%——

作为对比,同场竞技的通用模型最高分(GPT-6.1-Sol)仅为 17.1%。



这些结果支持了团队的核心判断:通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并通过交互继续改进。

团队也在论文结尾指出,这类能力有望用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。

游戏成为AI的练习场,练出来的AI,又能反过来帮助开发游戏。

团队介绍

最后,我们来认识一下这项研究背后的团队。

论文贡献者名单共列出了8位共同一作,其中5位在米哈游实习期间参与了该项目的研发:



Run Luo:新加坡国立大学计算机科学博士生,曾参与GUI-R1、OpenOmni等项目,在Gamer中负责三阶段训练、数据、基础设施及评测建设。



张宽(Kuan Zhang):清华大学人工智能学院博士生,GameScaling与GameVerse共同一作,主要负责持续预训练、数据及评测建设。

值得一提的是,他在个人主页中写道,他是英雄联盟的大师段位玩家。



Qi Deng:米哈游崩坏AI研发团队成员,负责强化学习、训推基础设施,以及数据与评测建设。

Yukun Chen:中国科学院大学研究生,GameScaling共同一作、多模态推理研究RuCL一作,主要负责监督微调、数据及评测建设。

Zhihao Yang:中国科学院大学计算机专业博士生(本科毕业于同济大学),主攻游戏与智能体方向,在项目中负责强化学习、数据及评测建设。



Yufei Zhang:米哈游崩坏AI研发团队成员,主要负责训练与推理基础设施建设。

Renrong Hu:米哈游崩坏AI研发团队成员,主要负责基准(Benchmark)建设与评测。

Yi Zhang:来自中国科学技术大学,在米哈游实习期间参与项目,主要负责基准建设与评测。

(其他论文贡献者可参考论文主页)

而将视角拉远,这支米哈游崩坏AI研发团队的布局已覆盖AI NPC、游戏智能体与研发自动化三大方向,持续探索大模型在游戏体验革新与工业化管线中的落地。

论文指导者之一郑银河,正是《崩坏》系列AI NPC与Gameplay技术团队的负责人。

此前,郑银河曾在云栖大会上披露过《崩铁》的AI帕姆,以及赋能内部研发的Agent平台EchoX。

而在学术方面,该团队还联合高校推出了GameScaling和Video-Arena,分别探明跨游戏持续预训练的Scaling Law,以及模型对动态游戏画面的理解边界。

参考链接
[1]https://arxiv.org/html/2611.18397v1
[2]https://mihoyo-gamer.github.io/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
4女共侍1夫仅皮毛!送妻应酬、当众拖进厕所,圈内人再爆猛料

4女共侍1夫仅皮毛!送妻应酬、当众拖进厕所,圈内人再爆猛料

古事寻踪记
2026-10-26 11:34:59
会议结束继续逛! 泰国总理带夫人打卡古城吃夜宵

会议结束继续逛! 泰国总理带夫人打卡古城吃夜宵

看看新闻Knews
2026-11-20 10:47:53
机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

小蜜情感说
2026-11-20 06:38:20
黄仁勋要“再创业”? 预测:可能筹资500亿美元 创办新半导体公司

黄仁勋要“再创业”? 预测:可能筹资500亿美元 创办新半导体公司

每日经济新闻
2026-11-20 17:00:30
欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

念洲
2026-11-20 19:32:12
克里米亚大桥铁路桥多处受损,且拱桥偏移,已经进入倒计时!

克里米亚大桥铁路桥多处受损,且拱桥偏移,已经进入倒计时!

山河路口
2026-11-20 12:41:17
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

王新喜
2026-11-20 21:53:34
红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

红薯被发现!再次提醒:糖尿病患者常吃红薯,很快或迎来这 6 后果

王医生健康讲坛
2026-11-19 20:00:13
支付宝芝麻分,可以提车了?这操作是真的狂!

支付宝芝麻分,可以提车了?这操作是真的狂!

科技狐
2026-11-19 02:21:44
文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

极目新闻
2026-11-20 16:54:29
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
脑梗住院的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

脑梗住院的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

路医生健康科普
2026-11-11 23:20:03
王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

每日经济新闻
2026-11-20 09:59:35
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
放松限韩令的风声一出,很快就有影响了

放松限韩令的风声一出,很快就有影响了

清晖有墨
2026-11-19 20:30:22
中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

中金公司首席经济学家缪延亮:稳市政策持续加力,中国资产重估有长期支撑

每日经济新闻
2026-11-20 13:57:06
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
深圳APEC晚宴的主桌座次,很有深意

深圳APEC晚宴的主桌座次,很有深意

煮酒杂谈
2026-11-20 20:40:05
2年1326万美金!联盟第1!36岁神射手愈老愈妖

2年1326万美金!联盟第1!36岁神射手愈老愈妖

微评体育圈
2026-11-21 00:20:05
2026-11-21 00:52:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

游戏要闻

《GTA6》玩家被外星人绑架 还被大脚怪击晕

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
艺术
教育
手机
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

2026 研究与超越——中国小幅油画作品双年展 油画选(二)

教育要闻

全网点赞班主任!孩子三次不交作业,家长群内怒斥老师,老师公开致歉:“孩子将来好坏和我们无关”

手机要闻

荣耀新品大爆发:X系列、Power、阔折叠屏,均有新消息传出!

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版