网易首页 > 网易号 > 正文 申请入驻

世界引擎:Post-Training开启Physical AGI新纪元

0
分享至



一年前,DeepSeek R1 横空出世,人们才意识到,真正让模型产生推理能力质变的,不必是更大的预训练规模 —— 后训练,用强化学习、过程奖励、闭环反馈,以极低的代价解锁了原本需要数倍算力才能触达的能力边界。
这场范式革命,正在物理世界重演。
自动驾驶系统已经在海量驾驶数据上完成了预训练,但距离真正的 Physical AGI,仍有一道鸿沟:模型知道 "该怎么开",却不知道「为什么这样开更好」。真正的进化,需要闭环、需要反馈、需要在与世界的交互中不断修正。
香港大学李弘扬团队联合华为、上海创智学院给出了他们的答案 —— 世界引擎:以后训练为核心范式,以闭环仿真为训练环境,驱动自动驾驶系统在海量真实与合成场景的交互中,涌现出真正的决策能力。



  • 代码地址:https://github.com/OpenDriveLab/WorldEngine
  • 主页:https://opendrivelab.com/WorldEngine/

作为自动驾驶领域的重要学术力量,2022 年底,OpenDriveLab 推出UniAD—— 第一个将感知、预测、规划统一在单一框架下的端到端系统,以「规划为中心」重新定义了自动驾驶的建模范式,成为学术界公认的里程碑。

但 UniAD 之后,一个更深的问题浮出水面:端到端系统在学术 benchmark 上表现优异,真实世界却是另一回事。

雨夜里逆行的电动车,施工路段突然倒下的锥桶,大客车后方的鬼探头 —— 这些长尾场景,在训练数据里几乎不存在。靠更大的数据集、更深的网络,无法根本性地解决。

OpenDriveLab 开始从两个方向同时推进。一方面,MTGS 通过多次遍历的 3D 高斯泼溅技术,构建出高保真的可渲染驾驶场景 —— 这是闭环仿真的物理基础。另一方面,Nexus、Omega 等世界模型工作聚焦于反事实难例高动态交互模拟,突破真实数据对长尾场景覆盖的天然局限。

至此,一个核心问题自然浮现:有了高保真仿真环境,有了能生成难例的世界模型,如何让端到端系统真正在其中安全进化?

答案,就是后训练

2025 年 4 月,华为发布 ADS 4.0,正式披露了全新技术架构 WEWA。其中云端核心World Engine,正是华为与 OpenDriveLab 联合开发的成果。(https://auto.huawei.com/cn/ads)华为将这套架构的目标定义为:面向自动驾驶,从类人到超人。

World Engine,由此登场。

World Engine:迈向物理 AI 的后训练时代

如果说预训练让自动驾驶系统学会了「模仿」,那后训练要解决的,是如何让系统学会「判断」。

World Engine 的设计哲学,正是围绕这一目标展开。它不是一个单一模型,而是一套完整的后训练 pipeline,由三个核心能力构成:

  • 3DGS 仿真环境—— 基于 3DGS 构建的高保真视觉输入,为后训练提供了真正意义上的闭环反馈。系统的每一个决策,都能在环境中得到即时响应,而不是停留在数据回放。
  • 难例挖掘 & 扩散生成—— 真实世界的长尾场景稀缺且难以复现。World Engine 首先从海量真实驾驶数据中主动挖掘难例,再以世界模型为工具,对这些难例进行扩散生成后,依托仿真环境进行渲染,放大长尾场景的密度与多样性,让系统在训练中「见过」它在路上可能遇到的一切。
  • 基于强化学习的后训练——World Engine 在仿真生成的大规模难例场景上,以强化学习驱动系统优化,将安全价值规范内化为奖励信号,让系统不只是「开得快」,更是「开得对」。

三者协同,构成了一个完整的飞轮:仿真生成难例,难例驱动后训练,后训练强化决策能力。



图 1 World Engine 架构总览

从暴露弱点到超越弱点

三个模块,一套飞轮。

难例挖掘与扩散生成

World Engine 首先让模型「自己暴露弱点」。将预训练好的端到端模型在训练集上做开环推理,以 PDMS 作为评判标准,自动筛选出模型表现差的场景 —— 碰撞、偏离道路、自车停滞不前。这些场景,就是模型的能力边界所在。

挖掘出难例之后,World Engine 并不止步于此。行为世界模型(Behaviour World Model) 以解耦扩散的方式,对这些难例场景进行变体生成 —— 在保持真实地图拓扑与场景布局的前提下,引入对抗性交通行为,批量合成高密度的安全关键场景。真实数据的长尾,由此被系统性地放大。



图 2 难例扩散生成典型 case

高保真闭环仿真

难例场景需要一个足够真实的舞台。World Engine 内置了基于3DGS 的场景重建 pipeline—— 融合同一路段的多次真实驾驶记录,构建出扎根于真实世界的高保真三维场景。这不是凭空生成的虚拟沙盒,而是闭环训练的真实物理基础。



图 3 高保真闭环仿真效果图

基于强化学习的后训练

有了大规模难例数据,World Engine 以离线强化学习驱动端到端模型持续优化。奖励信号将舒适性、避障、道路合规等安全价值直接内化为训练目标。模型不再只是模仿人类驾驶员,而是在与难例的反复博弈中,学会真正的安全决策。



图 4 navsim 测试难例集对比

World Engine 发现了什么?

数据量上做加法,不如在训练范式上做乘法



图 5 验证 Data Scaling: 将预训练数据集场景数量从 12k 增广至 103k 进行对比

自动驾驶行业有一个长期信仰:数据越多,模型越安全。World Engine 给出了一个更复杂的答案。

将预训练数据从 1.3 万个场景一路扩大到 10.3 万个,在日常驾驶场景上,scaling law 如期生效 —— 数据越多,表现越好。但在安全关键的长尾场景上,曲线很快躺平。原因并不意外:真实路测中危险场景本就极度稀缺,堆再多常规数据,模型在关键时刻依然束手无策。

数据 scaling,在长尾场景这件事上,撞上了天花板。

World Engine 的后训练给出了另一条路径:在仿真环境中以强化学习反复博弈难例场景,将避障、合规、舒适性直接编码为优化目标,同时确保系统不丢失预训练阶段习得的基础驾驶能力。从同一个基础模型出发,后训练直接跨越了 scaling 曲线,实现了等效于将预训练数据扩大约 14 倍的闭环性能增益。

一块都不能少

后训练有效,但增益从何而来?World Engine 对自身的三个核心模块做逐一拆解。



图 6 navsim 数据集上不同训练后范式对比

光喂数据没用。拿到稀有场景数据,模仿学习几乎不改善闭环表现。模型学会了「照做」,没学会「判断」。强化学习才是那个开关。

练什么比怎么练更重要。同样是强化学习,在普通场景上练,闭环成功率反而下降 —— 就像一个学生只刷简单题,考试遇到难题反而更慌。只有聚焦难例,能力才真正提升。

仿真不是有就行,得「活」起来。当仿真里的其他车辆只是录像回放,收益有限;当它们开始对自车行为做出反应、甚至主动制造对抗,闭环成功率从 76% 一路拉到 89% 。World Engine 的行为世界模型,补上的正是这最后一环。

从仿真到路测:World Engine 的工业级答卷

学术 benchmark 之外,World Engine 接受了一次更严苛的考验 —— 华为 ADS 系统的工业级验证。

基础模型在超过 8 万小时真实驾驶数据上完成预训练,覆盖全国 100 余座城市、逾千万条驾驶片段。这已经是一个极强的起点。World Engine 后训练在此基础上继续发力。

工业闭环仿真



图 7 ADS 工业级闭环仿真结果对比

团队利用华为 ADS 的工业级闭环仿真平台对后训练模型进行了全面评估 —— 超过1 万个测试场景,累计模拟驾驶里程逾3000 公里,全部为高密度交互的事件性场景,而非平淡的常规巡航。结果横跨六项安全指标,全面改善,其中切入碰撞更是下降 45.5%。

实车路测

仿真之后,World Engine 走上了上海真实路面。测试路线涵盖城市快速路与城区道路,总计约200 公里,重复测试三次完成。



图 8 上海市内高架测试路线



图 9 上海市城区测试路线

测试覆盖的场景,是城市驾驶中真正让人惊出冷汗的时刻:夜间施工区的临时改道、行人从视觉盲区横穿、无保护左转后的施工区。这些场景的共同特征是 —— 即便是经验丰富的人类驾驶员,也需要高度集中注意力,稍有迟疑就可能出事。



典型实车场景 1



典型实车场景 2



典型实车场景 3

而 World Engine 后训练模型全程无需人工介入。

Post Training,不止于自动驾驶

World Engine 的故事,从自动驾驶出发。但它真正想回答的问题,远不止于此。

回到最核心的洞见:当真实世界无法为你提供足够的关键失败场景时,就主动去创造它们。在这些失败中反复博弈,在这些边界上持续进化。这个逻辑,和驾驶无关 —— 它是所有 Physical AI 系统共同面临的根本困境。

Physical AI 与数字 AI 最本质的区别,在于不可逆性。语言模型说错一句话,刷新重来;推荐系统给错一个结果,下一次纠正。但物理世界里,机器人打碎了一个杯子,手术机器人划错了一刀,自动驾驶追尾了一辆车 —— 错误已经发生,无法撤销。这意味着,Physical AI 必须在真正上线之前,就已经 "见过" 那些最危险的时刻。

但现实是,这些最危险的时刻,恰恰是最难收集的数据。

这些领域,和自动驾驶面对的是同一个结构性困境:最需要学习的场景,天然地缺席于训练数据。

World Engine 提供的范式正是针对这一困境的系统性回答。具体的技术实现会因领域而异:3DGS 渲染可以换成物理引擎或视频世界模型,行为世界模型可以换成机械臂动力学仿真或人体运动生成 —— 但核心逻辑不变:不被动等待数据,主动生成经验;不只模仿人类,在与世界的博弈中涌现能力。

OpenDriveLab 正在将这条路延伸到更广阔的具身智能领域。从端到端自动驾驶出发,走向能在物理世界中感知、推理、行动、进化的通用智能体 —— 这是具身智能研究的终极命题,也是 Physical AGI 真正的意涵所在。

自动驾驶,是这场旅程的第一个战场。

而 Post-Training,将是 Physical AGI 时代最重要的基础设施之一。

项目作者简介

World Engine 由香港大学助理教授、上海创智学院全时导师李弘扬博士与华为苏鹏博士共同担任项目负责人,李天羽(上海创智学院)、陈立(香港大学)、王曹俊(上海创智学院)、刘浩晨(南洋理工大学)为项目核心贡献者,共同主导新范式的研究与实现;苏鹏博士团队从产业视角出发,推动技术的量产落地与应用部署。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
侯耀文前妻袁茵与戴志诚同框合影

侯耀文前妻袁茵与戴志诚同框合影

娱你同欢
2026-08-09 21:54:40
54岁港姐谭小环近照曝光,素颜庆生身材暴瘦,已移民加拿大开餐厅

54岁港姐谭小环近照曝光,素颜庆生身材暴瘦,已移民加拿大开餐厅

临云史策
2026-09-07 11:27:06
宋佳张柏芝同框看秀不装高冷,发现鞋子同款后反应太可爱了

宋佳张柏芝同框看秀不装高冷,发现鞋子同款后反应太可爱了

小武侃风云
2026-09-06 16:40:30
他是西路军领袖,失踪23年,宁可沿街乞讨,饿死也不找组织,为何

他是西路军领袖,失踪23年,宁可沿街乞讨,饿死也不找组织,为何

云霄纪史观
2026-09-08 01:14:18
终于破案!李月汝护照为啥非得寄递?隐情披露,宫鲁鸣错失抢救期

终于破案!李月汝护照为啥非得寄递?隐情披露,宫鲁鸣错失抢救期

动物奇奇怪怪
2026-09-06 08:38:20
袁腾飞移民美国的几个细节问题

袁腾飞移民美国的几个细节问题

十柱
2026-09-05 10:15:57
在美生活30年、持有合法绿卡!76岁癌症晚期亚裔老人去入籍,当场被ICE带走

在美生活30年、持有合法绿卡!76岁癌症晚期亚裔老人去入籍,当场被ICE带走

纽约时间
2026-09-08 02:02:13
美国护士母亲杀三子案审判无效!丈夫已再婚笑对镜头,全网吵翻了

美国护士母亲杀三子案审判无效!丈夫已再婚笑对镜头,全网吵翻了

阿尺量世界
2026-09-07 19:05:03
多人死伤!波音767飞机冲出跑道坠毁! 撞上多辆汽车后起火!

多人死伤!波音767飞机冲出跑道坠毁! 撞上多辆汽车后起火!

北国向锡安
2026-09-07 10:35:21
日本一场11人同学会惨变血腥火海!70岁大爷杀人后泼汽油纵火,致3死2伤!

日本一场11人同学会惨变血腥火海!70岁大爷杀人后泼汽油纵火,致3死2伤!

东京新青年
2026-09-07 18:55:24
请不要对星宇喊打喊杀了!昨天,企业给出第二弹内部处理决定,人力资源总监浮出水面,被直接免职

请不要对星宇喊打喊杀了!昨天,企业给出第二弹内部处理决定,人力资源总监浮出水面,被直接免职

火山詩话
2026-09-07 10:20:59
小县城的工资开始崩塌了。

小县城的工资开始崩塌了。

老陆不老
2026-08-26 08:38:49
《交锋》蒋在珍飞机毒杀根本不是意外,全是为偷导弹机密铺路

《交锋》蒋在珍飞机毒杀根本不是意外,全是为偷导弹机密铺路

草莓解说体育
2026-09-07 12:11:54
丰田第六代混动,续航突破1450km,普通车主能跑出来吗?差距多大

丰田第六代混动,续航突破1450km,普通车主能跑出来吗?差距多大

周哥一影视
2026-09-06 03:16:43
他到西安休养后,兰空领导对他“不冷不热”,生活上有些困难,主要靠接济

他到西安休养后,兰空领导对他“不冷不热”,生活上有些困难,主要靠接济

春秋砚
2026-09-03 17:55:07
中国三大长寿食物,南瓜排第3!第一名我们天天见,很多人不爱吃

中国三大长寿食物,南瓜排第3!第一名我们天天见,很多人不爱吃

江江食研社
2026-09-05 15:30:12
相隔30年,中国士兵装备仍然追不上奥匈帝国士兵!

相隔30年,中国士兵装备仍然追不上奥匈帝国士兵!

弹痕驿站
2026-09-07 16:07:43
2013年,只因 40 块停车费,停车管理员被年仅28岁的杨雪鸥驾驶牧马人越野车撞死

2013年,只因 40 块停车费,停车管理员被年仅28岁的杨雪鸥驾驶牧马人越野车撞死

民生故事会
2026-09-04 20:30:00
30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

30万斤堆积如山,树上6万斤无人问津,低价卖不动,农民满心无奈

三农雷哥
2026-09-05 12:16:13
中国出入境新规即将生效!在澳华人被公安排查,父母催促早日回国

中国出入境新规即将生效!在澳华人被公安排查,父母催促早日回国

澳洲红领巾
2026-09-07 16:19:01
2026-09-08 04:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13940文章数 142729关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

压哨避开CBA选秀规则?NBL香港金牛队已为男篮国手王俊杰报备合同

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

时尚
游戏
家居
亲子
军事航空

内娱女星,纷纷“去父留子”

鸣潮费大劲捏出来的清冷师尊,咋就变成了哦齁剑仙?

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

小女孩第一次学做蛋糕,就被妈妈无情的嘲讽影视解说

军事要闻

媒体:中美战区司令会晤释放的信号 台湾要听懂

无障碍浏览 进入关怀版