网易首页 > 网易号 > 正文 申请入驻

世界引擎:Post-Training开启Physical AGI新纪元

0
分享至



一年前,DeepSeek R1 横空出世,人们才意识到,真正让模型产生推理能力质变的,不必是更大的预训练规模 —— 后训练,用强化学习、过程奖励、闭环反馈,以极低的代价解锁了原本需要数倍算力才能触达的能力边界。
这场范式革命,正在物理世界重演。
自动驾驶系统已经在海量驾驶数据上完成了预训练,但距离真正的 Physical AGI,仍有一道鸿沟:模型知道 "该怎么开",却不知道「为什么这样开更好」。真正的进化,需要闭环、需要反馈、需要在与世界的交互中不断修正。
香港大学李弘扬团队联合华为、上海创智学院给出了他们的答案 —— 世界引擎:以后训练为核心范式,以闭环仿真为训练环境,驱动自动驾驶系统在海量真实与合成场景的交互中,涌现出真正的决策能力。



  • 代码地址:https://github.com/OpenDriveLab/WorldEngine
  • 主页:https://opendrivelab.com/WorldEngine/

作为自动驾驶领域的重要学术力量,2022 年底,OpenDriveLab 推出UniAD—— 第一个将感知、预测、规划统一在单一框架下的端到端系统,以「规划为中心」重新定义了自动驾驶的建模范式,成为学术界公认的里程碑。

但 UniAD 之后,一个更深的问题浮出水面:端到端系统在学术 benchmark 上表现优异,真实世界却是另一回事。

雨夜里逆行的电动车,施工路段突然倒下的锥桶,大客车后方的鬼探头 —— 这些长尾场景,在训练数据里几乎不存在。靠更大的数据集、更深的网络,无法根本性地解决。

OpenDriveLab 开始从两个方向同时推进。一方面,MTGS 通过多次遍历的 3D 高斯泼溅技术,构建出高保真的可渲染驾驶场景 —— 这是闭环仿真的物理基础。另一方面,Nexus、Omega 等世界模型工作聚焦于反事实难例高动态交互模拟,突破真实数据对长尾场景覆盖的天然局限。

至此,一个核心问题自然浮现:有了高保真仿真环境,有了能生成难例的世界模型,如何让端到端系统真正在其中安全进化?

答案,就是后训练

2025 年 4 月,华为发布 ADS 4.0,正式披露了全新技术架构 WEWA。其中云端核心World Engine,正是华为与 OpenDriveLab 联合开发的成果。(https://auto.huawei.com/cn/ads)华为将这套架构的目标定义为:面向自动驾驶,从类人到超人。

World Engine,由此登场。

World Engine:迈向物理 AI 的后训练时代

如果说预训练让自动驾驶系统学会了「模仿」,那后训练要解决的,是如何让系统学会「判断」。

World Engine 的设计哲学,正是围绕这一目标展开。它不是一个单一模型,而是一套完整的后训练 pipeline,由三个核心能力构成:

  • 3DGS 仿真环境—— 基于 3DGS 构建的高保真视觉输入,为后训练提供了真正意义上的闭环反馈。系统的每一个决策,都能在环境中得到即时响应,而不是停留在数据回放。
  • 难例挖掘 & 扩散生成—— 真实世界的长尾场景稀缺且难以复现。World Engine 首先从海量真实驾驶数据中主动挖掘难例,再以世界模型为工具,对这些难例进行扩散生成后,依托仿真环境进行渲染,放大长尾场景的密度与多样性,让系统在训练中「见过」它在路上可能遇到的一切。
  • 基于强化学习的后训练——World Engine 在仿真生成的大规模难例场景上,以强化学习驱动系统优化,将安全价值规范内化为奖励信号,让系统不只是「开得快」,更是「开得对」。

三者协同,构成了一个完整的飞轮:仿真生成难例,难例驱动后训练,后训练强化决策能力。



图 1 World Engine 架构总览

从暴露弱点到超越弱点

三个模块,一套飞轮。

难例挖掘与扩散生成

World Engine 首先让模型「自己暴露弱点」。将预训练好的端到端模型在训练集上做开环推理,以 PDMS 作为评判标准,自动筛选出模型表现差的场景 —— 碰撞、偏离道路、自车停滞不前。这些场景,就是模型的能力边界所在。

挖掘出难例之后,World Engine 并不止步于此。行为世界模型(Behaviour World Model) 以解耦扩散的方式,对这些难例场景进行变体生成 —— 在保持真实地图拓扑与场景布局的前提下,引入对抗性交通行为,批量合成高密度的安全关键场景。真实数据的长尾,由此被系统性地放大。



图 2 难例扩散生成典型 case

高保真闭环仿真

难例场景需要一个足够真实的舞台。World Engine 内置了基于3DGS 的场景重建 pipeline—— 融合同一路段的多次真实驾驶记录,构建出扎根于真实世界的高保真三维场景。这不是凭空生成的虚拟沙盒,而是闭环训练的真实物理基础。



图 3 高保真闭环仿真效果图

基于强化学习的后训练

有了大规模难例数据,World Engine 以离线强化学习驱动端到端模型持续优化。奖励信号将舒适性、避障、道路合规等安全价值直接内化为训练目标。模型不再只是模仿人类驾驶员,而是在与难例的反复博弈中,学会真正的安全决策。



图 4 navsim 测试难例集对比

World Engine 发现了什么?

数据量上做加法,不如在训练范式上做乘法



图 5 验证 Data Scaling: 将预训练数据集场景数量从 12k 增广至 103k 进行对比

自动驾驶行业有一个长期信仰:数据越多,模型越安全。World Engine 给出了一个更复杂的答案。

将预训练数据从 1.3 万个场景一路扩大到 10.3 万个,在日常驾驶场景上,scaling law 如期生效 —— 数据越多,表现越好。但在安全关键的长尾场景上,曲线很快躺平。原因并不意外:真实路测中危险场景本就极度稀缺,堆再多常规数据,模型在关键时刻依然束手无策。

数据 scaling,在长尾场景这件事上,撞上了天花板。

World Engine 的后训练给出了另一条路径:在仿真环境中以强化学习反复博弈难例场景,将避障、合规、舒适性直接编码为优化目标,同时确保系统不丢失预训练阶段习得的基础驾驶能力。从同一个基础模型出发,后训练直接跨越了 scaling 曲线,实现了等效于将预训练数据扩大约 14 倍的闭环性能增益。

一块都不能少

后训练有效,但增益从何而来?World Engine 对自身的三个核心模块做逐一拆解。



图 6 navsim 数据集上不同训练后范式对比

光喂数据没用。拿到稀有场景数据,模仿学习几乎不改善闭环表现。模型学会了「照做」,没学会「判断」。强化学习才是那个开关。

练什么比怎么练更重要。同样是强化学习,在普通场景上练,闭环成功率反而下降 —— 就像一个学生只刷简单题,考试遇到难题反而更慌。只有聚焦难例,能力才真正提升。

仿真不是有就行,得「活」起来。当仿真里的其他车辆只是录像回放,收益有限;当它们开始对自车行为做出反应、甚至主动制造对抗,闭环成功率从 76% 一路拉到 89% 。World Engine 的行为世界模型,补上的正是这最后一环。

从仿真到路测:World Engine 的工业级答卷

学术 benchmark 之外,World Engine 接受了一次更严苛的考验 —— 华为 ADS 系统的工业级验证。

基础模型在超过 8 万小时真实驾驶数据上完成预训练,覆盖全国 100 余座城市、逾千万条驾驶片段。这已经是一个极强的起点。World Engine 后训练在此基础上继续发力。

工业闭环仿真



图 7 ADS 工业级闭环仿真结果对比

团队利用华为 ADS 的工业级闭环仿真平台对后训练模型进行了全面评估 —— 超过1 万个测试场景,累计模拟驾驶里程逾3000 公里,全部为高密度交互的事件性场景,而非平淡的常规巡航。结果横跨六项安全指标,全面改善,其中切入碰撞更是下降 45.5%。

实车路测

仿真之后,World Engine 走上了上海真实路面。测试路线涵盖城市快速路与城区道路,总计约200 公里,重复测试三次完成。



图 8 上海市内高架测试路线



图 9 上海市城区测试路线

测试覆盖的场景,是城市驾驶中真正让人惊出冷汗的时刻:夜间施工区的临时改道、行人从视觉盲区横穿、无保护左转后的施工区。这些场景的共同特征是 —— 即便是经验丰富的人类驾驶员,也需要高度集中注意力,稍有迟疑就可能出事。



典型实车场景 1



典型实车场景 2



典型实车场景 3

而 World Engine 后训练模型全程无需人工介入。

Post Training,不止于自动驾驶

World Engine 的故事,从自动驾驶出发。但它真正想回答的问题,远不止于此。

回到最核心的洞见:当真实世界无法为你提供足够的关键失败场景时,就主动去创造它们。在这些失败中反复博弈,在这些边界上持续进化。这个逻辑,和驾驶无关 —— 它是所有 Physical AI 系统共同面临的根本困境。

Physical AI 与数字 AI 最本质的区别,在于不可逆性。语言模型说错一句话,刷新重来;推荐系统给错一个结果,下一次纠正。但物理世界里,机器人打碎了一个杯子,手术机器人划错了一刀,自动驾驶追尾了一辆车 —— 错误已经发生,无法撤销。这意味着,Physical AI 必须在真正上线之前,就已经 "见过" 那些最危险的时刻。

但现实是,这些最危险的时刻,恰恰是最难收集的数据。

这些领域,和自动驾驶面对的是同一个结构性困境:最需要学习的场景,天然地缺席于训练数据。

World Engine 提供的范式正是针对这一困境的系统性回答。具体的技术实现会因领域而异:3DGS 渲染可以换成物理引擎或视频世界模型,行为世界模型可以换成机械臂动力学仿真或人体运动生成 —— 但核心逻辑不变:不被动等待数据,主动生成经验;不只模仿人类,在与世界的博弈中涌现能力。

OpenDriveLab 正在将这条路延伸到更广阔的具身智能领域。从端到端自动驾驶出发,走向能在物理世界中感知、推理、行动、进化的通用智能体 —— 这是具身智能研究的终极命题,也是 Physical AGI 真正的意涵所在。

自动驾驶,是这场旅程的第一个战场。

而 Post-Training,将是 Physical AGI 时代最重要的基础设施之一。

项目作者简介

World Engine 由香港大学助理教授、上海创智学院全时导师李弘扬博士与华为苏鹏博士共同担任项目负责人,李天羽(上海创智学院)、陈立(香港大学)、王曹俊(上海创智学院)、刘浩晨(南洋理工大学)为项目核心贡献者,共同主导新范式的研究与实现;苏鹏博士团队从产业视角出发,推动技术的量产落地与应用部署。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一半天堂一半地狱:被胖东来虐到崩溃,供应商为何不敢断供

一半天堂一半地狱:被胖东来虐到崩溃,供应商为何不敢断供

流苏晚晴
2026-09-07 11:51:30
生涯仅4次打进季后赛,姚明当时表现如何?2次抢7落败 09年最可惜

生涯仅4次打进季后赛,姚明当时表现如何?2次抢7落败 09年最可惜

兵哥篮球故事
2026-09-08 00:25:06
特斯拉中国宣布:9月30日前下单并提走现车,Model 3全系降5000元,Model Y全系降10000元

特斯拉中国宣布:9月30日前下单并提走现车,Model 3全系降5000元,Model Y全系降10000元

中国能源网
2026-09-07 13:28:12
马斯克的妹妹从小就坚信,跟着哥哥有肉吃,瞒着妈妈把南非家里的房和车都卖了去加拿大投奔哥哥!妈妈哭笑不得的承认是事实!

马斯克的妹妹从小就坚信,跟着哥哥有肉吃,瞒着妈妈把南非家里的房和车都卖了去加拿大投奔哥哥!妈妈哭笑不得的承认是事实!

大白聊IT
2026-08-14 01:29:05
林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

林徽因落选的国徽方案,网友看后感叹:审美确实一绝,但真不合适

兴趣知识
2026-07-04 01:34:41
著名演员李立群含泪发视频!表示家被儿子给抄,82年百万级珍藏茅台被喝精光,评论区炸锅

著名演员李立群含泪发视频!表示家被儿子给抄,82年百万级珍藏茅台被喝精光,评论区炸锅

火山詩话
2026-08-10 17:01:43
我刚提正处,省委书记看完我写的报告,直接打电话给组织部长要人

我刚提正处,省委书记看完我写的报告,直接打电话给组织部长要人

千秋文化
2026-09-01 19:47:10
中方是否愿意加强与德国选择党的交流?外交部回应

中方是否愿意加强与德国选择党的交流?外交部回应

澎湃新闻
2026-09-07 16:31:24
48年潍县战役司令指挥16天未果,一位文官在众人震惊中登上观察哨

48年潍县战役司令指挥16天未果,一位文官在众人震惊中登上观察哨

纪实文录
2025-06-11 17:11:27
不出意外,接下来,这3样东西要大涨价,老百姓要早做准备

不出意外,接下来,这3样东西要大涨价,老百姓要早做准备

三农雷哥
2026-09-04 11:17:11
王思聪度假结束回东京,晒出一桌子高端日料!女友懒懒被其宠上天

王思聪度假结束回东京,晒出一桌子高端日料!女友懒懒被其宠上天

娱乐团长
2026-09-06 21:00:57
浙江大面积降温时间定了

浙江大面积降温时间定了

鲁中晨报
2026-09-07 13:51:05
陈年回应没去小米发布会:去现场蹭不上雷军流量 已预订澎程N90 Max

陈年回应没去小米发布会:去现场蹭不上雷军流量 已预订澎程N90 Max

快科技
2026-09-07 23:42:06
1999年,毛主席的女婿赴广州参加活动,不幸遭遇意外,令人深感惋惜

1999年,毛主席的女婿赴广州参加活动,不幸遭遇意外,令人深感惋惜

历史龙元阁
2026-09-07 17:55:09
历史不会重演,但会极其相像:中国房地产会再走2015 年老路吗?

历史不会重演,但会极其相像:中国房地产会再走2015 年老路吗?

混沌录
2026-09-07 23:08:07
我在尼泊尔,见识到了当地的一妻多夫制,那里的女性毫无地位可言

我在尼泊尔,见识到了当地的一妻多夫制,那里的女性毫无地位可言

千秋文化
2026-07-11 19:25:54
187万人房贷断供:房子没了,债还在

187万人房贷断供:房子没了,债还在

谢晖说房
2026-09-05 22:40:44
“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

江山挥笔
2026-08-25 16:40:36
历届奥斯卡影帝封神之作(2000-2006):27种人生,27种活法

历届奥斯卡影帝封神之作(2000-2006):27种人生,27种活法

可乐谈情感
2026-09-07 00:32:05
42岁文章带32岁新女友看话剧,素颜似32岁时的姚笛?网友:还是50岁马伊琍最漂亮

42岁文章带32岁新女友看话剧,素颜似32岁时的姚笛?网友:还是50岁马伊琍最漂亮

奴染
2026-09-02 23:58:15
2026-09-08 00:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13940文章数 142729关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

头条要闻

伊朗试验特殊武器爆炸场面如同地狱 美军舰直接跑了

体育要闻

压哨避开CBA选秀规则?NBL香港金牛队已为男篮国手王俊杰报备合同

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

数码
时尚
旅游
本地
房产

数码要闻

Xiaomi 18 Fold发布:10999元起 首发玄戒O3芯片

内娱女星,纷纷“去父留子”

旅游要闻

走进合川涞滩古镇 探寻三江之畔的人文底蕴

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

无障碍浏览 进入关怀版