北京
分享至
9月18日消息，千里智驾近日联合电子科技大学、东南大学、北京邮电大学、天津大学发布并开源世界—动作模型WA-JEPA，面向自动驾驶场景探索通过隐空间预测未来环境变化，并将未来预测与驾驶规划联合建模的新路径。
据了解，当前，部分自动驾驶世界模型通过生成未来视频学习环境变化，需要同时还原纹理、光影等视觉细节。WA-JEPA基于V-JEPA的视频语义表征能力，不以生成未来画面为目标，而是在高维隐空间中预测道路结构、交通参与者关系及运动趋势等与驾驶规划相关的信息。
针对原始V-JEPA并非面向自动驾驶规划设计的问题，WA-JEPA进行了三项改造：首先引入未来掩码预训练，根据历史画面预测未来场景变化；其次采用条件流匹配，学习未来表征从噪声到目标状态的变化过程；同时将未来场景表征与自车动作放入同一预测器中联合生成，使环境预测直接参与车辆轨迹规划。
据介绍，WA-JEPA整体包含约4.81亿个可训练参数。第一阶段训练只需要连续驾驶视频，不依赖目标检测、语义分割等额外人工感知标注。
评测方面，在论文采用的统一评测协议下，WA-JEPA在NAVSIM-v2开环规划基准中取得91.7 EPDMS，较对比实验中的最强端到端基线和最强世界—动作模型基线分别提升1.6和1.3。在HUGSIM的436个闭环场景中，模型未经针对性训练或微调取得0.4462 HD-Score，为同一复现协议下的最佳结果。
目前，千里智驾已经同步开放WA-JEPA论文、代码、模型权重及评测流程，为世界—动作模型在自动驾驶领域的复现和后续研究提供公开基线。（定西）
