文献调研：视频生成模型真的理解物理世界吗？｜世界模型读书会第九期

导语

视频生成模型能够创造越来越逼真的画面，但这是否意味着它们真正学会了物理规律？自2024年OpenAI将Sora称为“世界模拟器”以来，围绕“预测是否等于理解”的争论持续至今。本期读书会为世界模型读书会读书会第9期，将从近年来的物理评测研究出发，梳理视频生成模型在物理一致性、因果推理与泛化能力方面的真实表现，探讨模型为何能够生成逼真的世界，却未必理解世界的运行规律，以及如何从“生成得像”进一步走向“预测得对”。

集智俱乐部联合认知科学、具身智能、AI Agent、复杂系统与高阶网络等领域的研究者发起，围绕世界模型的思想源流、理论基础、技术路线与应用边界展开专题分享和讨论。读书会自2026年8月7日起，每周五晚19:30-21:30，将以“世界如何被表征、其动力学如何被建模、内部模型如何服务于智能体”为主线，尝试讨论整理世界模型统一框架。

报告简介

世界模型能否仅通过观察视频、学习预测下一帧，就掌握真实世界的物理规律？这一问题既关系到生成式人工智能的能力边界，也涉及世界模型究竟应该学习什么。2024年，OpenAI将Sora描述为“世界模拟器”，引发了关于视频预测与物理理解之间关系的广泛讨论。一种观点认为，大规模视频预测可能促使模型逐渐形成对物理世界的内部表征；另一种观点则强调，逼真的视觉生成并不等于理解物体运动、相互作用及其背后的因果规律。

本次分享将把这一争论转化为可检验的科学问题，系统梳理2018—2026年间世界模型物理能力评测的发展脉络。首先区分强化学习中的潜状态世界模型、生成式视频世界模型与JEPA预测表征模型三类研究路线，并借鉴认知科学中的违反预期（Violation of Expectation）范式，建立从视觉生成到物理理解的分层评估框架。在此基础上，结合IntPhys、Physion、CLEVRER、Physics-IQ、VideoPhy及WorldModelBench等代表性基准，讨论评测标准如何从视觉保真度逐渐转向物理一致性、长程因果推理与交互可执行性。

分享将进一步从生成行为、内部表征、受控泛化与推理能力四个层面分析现有模型的物理理解能力。已有研究表明，视频模型能够生成高度逼真的视觉内容，却仍可能违反物体恒存、运动规律与守恒约束；其内部表征中虽然存在可解码的物理信息，但这些信息未必能够有效参与生成过程。此外，模型在新情境下的表现可能更多依赖对已有模式的匹配，而非对普遍物理规律的掌握。这些现象揭示了一个重要问题：模型内部“知道”某些物理信息，并不意味着它能够在预测和行动中正确使用这些信息。

最后，分享将讨论提升世界模型物理能力的可能路径，包括数据构建、预测目标与模型架构改进、物理约束后训练、推理时对齐，以及利用内部物理表征进行因果干预等方向。重点探讨生成式模型与表征式模型的互补关系：能否通过结合像素空间中的视觉生成与潜在表征空间中的物理校验，缩小视觉逼真度与物理正确性之间的差距？

从Sora引发的概念争论，到物理能力的系统评测与可干预研究，世界模型是否“理解物理”正在逐渐成为一个可以量化、诊断和改进的工程问题。本次分享也将由此追问：世界模型究竟需要怎样的学习目标与内部表征，才能从模仿世界的表象，走向掌握世界的运行规律？

分享大纲

1. 问题与概念：什么叫「懂物理」

2. 评测基准全景：两年造出十几套「物理考试」

3. 证据：四个层面的事实

4. 共识 · 开放问题 · 方法路线

核心概念

世界模型、视频生成模型、物理理解、物理一致性、预测表征、因果推理、泛化能力、世界模型评测、JEPA

主讲人介绍

主讲人：王佳音，山东大学数学硕士研究生。研究方向是数据对模型内部表征与行为的塑造作用，因果表征与行为对齐。

参考文献

1. Exploring the Evolution of Physics Cognition in Video Generation: A Survey（Lin et al., 2025）— https://arxiv.org/abs/2503.21765

2. Is Sora a World Simulator? A Comprehensive Survey on General World Models and Beyond（Zhu et al., 2024）— https://arxiv.org/abs/2405.03520

3. Generative Physical AI in Vision: A Survey（Liu et al., 2025）— https://arxiv.org/abs/2501.10928

4. Understanding World or Predicting Future? A Comprehensive Survey of World Models（Ding et al., 2024）— https://arxiv.org/abs/2411.14499

5. World Models（Ha & Schmidhuber, 2018）— https://arxiv.org/abs/1803.10122

6. IntPhys: A Framework and Benchmark for Visual Intuitive Physics Reasoning（Riochet et al., 2018）— https://arxiv.org/abs/1803.07616

7. IntPhys 2: Benchmarking Intuitive Physics Understanding in Complex Synthetic Environments（Bordes et al., 2025）— https://arxiv.org/abs/2506.09849

8. Physion: Evaluating Physical Prediction from Vision in Humans and Machines（Bear et al., 2021）— https://arxiv.org/abs/2105.13966

9. Physion++（Tung et al., 2023）— https://arxiv.org/abs/2305.18938

10. CLEVRER: Collision Events for Video Representation and Reasoning（Yi et al., 2020）— https://arxiv.org/abs/1910.01442

11. PHYRE: A New Benchmark for Physical Reasoning（Bakhtin et al., 2019）— https://arxiv.org/abs/1908.05656

12. Physics-IQ: Do generative video models understand physical principles?（Motamed et al., 2025）— https://arxiv.org/abs/2501.09038

13. VideoPhy: Evaluating Physical Commonsense for Video Generation（Bansal et al., 2024）— https://arxiv.org/abs/2406.03520

14. VideoPhy-2: Action-Centric Physical Commonsense Evaluation（Bansal et al., 2025）— https://arxiv.org/abs/2503.06800

15. PhyGenBench: Towards World Simulator（Meng et al., 2024）— https://arxiv.org/abs/2410.05363

16. WorldModelBench: Judging Video Generation Models as World Models（Li et al., 2025）— https://arxiv.org/abs/2502.20694

17. WorldScore: A Unified Evaluation Benchmark for World Generation（Duan et al., 2025）— https://arxiv.org/abs/2504.00983

18. VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness（Zheng et al., 2025）— https://arxiv.org/abs/2503.21755

19. PhyWorldBench: A Comprehensive Evaluation of Physical Realism in Text-to-Video Models（Gu et al., 2025, ICLR 2026）— https://arxiv.org/abs/2507.13428

20. T2VPhysBench: A First-Principles Benchmark for Physical Consistency（Guo et al., 2025）— https://arxiv.org/abs/2505.00337

21. MME-CoF: Are Video Models Ready as Zero-Shot Reasoners?（Guo et al., 2025）— https://arxiv.org/abs/2510.26802

22. Physics-IQ Verified（Jaini et al., 2026）— https://arxiv.org/abs/2606.18943

23. PhysicsMind: Sim and Real Mechanics Benchmarking（Vu et al., 2026）— https://arxiv.org/abs/2601.16007

24. WorldBench: Benchmarking Physical Understanding of World Models（Upadhyay et al., 2026）— https://arxiv.org/abs/2601.21282

25. Dream.exe: Physical Executability Benchmark（Zhao et al., 2026）— https://arxiv.org/abs/2606.04811

26. HarnessEval-W: Agentifying the Evaluation of Visual Worlds（Chen et al., 2026）— https://arxiv.org/abs/2608.16859

27. Intuitive Physics Understanding Emerges from Self-Supervised Pretraining on Natural Videos（Garrido et al., 2025）— https://arxiv.org/abs/2502.11831

28. V-JEPA: Revisiting Feature Prediction for Learning Visual Representations from Video（Bardes et al., 2024）— https://arxiv.org/abs/2404.08471

29. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning（Assran et al., 2025）— https://arxiv.org/abs/2506.09985

30. The Invisible Hand of Physics: When Video Diffusion Models Know More Than They Show（2026）— https://arxiv.org/abs/2606.05328

31. A Shortcut-aware Video-QA Benchmark for Physical Understanding via Minimal Video Pairs（Krojer et al., 2025）— https://arxiv.org/abs/2506.09987

32. How Far is Video Generation from World Model: A Physical Law Perspective（Kang et al., ICML 2025）— https://arxiv.org/abs/2411.02385

33. PISA Experiments: Physics Post-Training for Video Diffusion Models by Watching Stuff Drop（Li et al., ICML 2025）— https://arxiv.org/abs/2503.09595

34. Interpreting Physics in Video World Models（Joseph et al., ICML 2026）— https://arxiv.org/abs/2602.07050

35. Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach（Chen et al., 2025）— https://arxiv.org/abs/2502.03639

36. Inference-time Physics Alignment of Video Generative Models with Latent World Models（WMReward, 2026）— https://arxiv.org/abs/2601.10553

37. PhysMaster: Mastering Physical Representation for Video Generation via Reinforcement Learning（2025）— https://arxiv.org/abs/2510.13809

38. Cosmos World Foundation Model Platform for Physical AI（NVIDIA, 2025）— https://arxiv.org/abs/2501.03575

39. Causal Physics Steering in Video World Models via Concept Activation Vectors（Alam et al., 2026）— https://arxiv.org/abs/2605.24322

40. Physical Simulator In-the-Loop Video Generation（Foo et al., CVPR 2026）— https://arxiv.org/abs/2603.06408

41. PhysRAG: Enhancing Physics-Awareness in Video Generation via Retrieval-Augmented Generation（Cheng et al., 2026）— https://arxiv.org/abs/2606.26916

42. PhyCo: Learning Controllable Physical Priors for Generative Motion（Narayanan et al., CVPR 2026）— https://arxiv.org/abs/2604.28169

43. PlayerOne: Egocentric World Simulator（Tu et al., NeurIPS 2025）— https://arxiv.org/abs/2506.09995

44. InterDyn: Controllable Interactive Dynamics with Video Diffusion Models（Akkerman et al., CVPR 2025）— https://arxiv.org/abs/2412.11785

45. One Video, One World: Turning Monocular Video into Physical 4D Scenes（Chen et al., ECCV 2026）— https://arxiv.org/abs/2606.31388

46. OpenAI, Video generation models as world simulators（2024-02 技术报告）— https://openai.com/index/video-generation-models-as-world-simulators/

47. LeCun, A Path Towards Autonomous Machine Intelligence（2022）— https://openreview.net/forum?id=BZ5a1r-kVsf

48. Piloto et al., Intuitive physics learning in a deep-learning model inspired by developmental psychology（Nature Human Behaviour, 2022，PLATO）— https://www.nature.com/articles/s41562-022-01394-8

49. LeWM（2026）— https://arxiv.org/abs/2603.19312

时间信息

2026年10月16日（周五）晚上19:30-21:30，腾讯会议线上进行。

感兴趣的朋友扫码报名加入世界模型读书会后，可进入学员群进行交流。

报名读书会：「世界模型」

集智俱乐部联合北京通用人工智能研究院高级研究工程师牟牧云、北脑和协和医学院研究生胡洁雯共同发起，围绕世界模型的思想源流、理论基础、技术路线与应用边界展开专题分享和讨论。

读书会自2026年8月7日起，每周五晚19:30-21:30线上开展，持续8-10周，包含主讲分享与讨论交流，并提供会后视频回放，诚邀相关领域研究者及跨学科兴趣者参与。

扫描海报中二维码报名参加读书会

报名方式

第一步：微信扫码填写报名信息。

第二步：填写信息后，付费报名。如需用支付宝支付，请在PC端进入读书会页面报名支付：

第三步：添加运营助理微信，拉入对应主题的读书会社区（微信群）。

PS：

我们鼓励围绕复杂系统、人工智能及相关具体问题的深入探讨。为保证讨论质量，请避免发表脱离本期读书会主题、缺乏实证基础或过于空泛的哲学思辨类内容。

若讨论内容明显偏离主题，经主持人提醒后仍未调整，为维护整体学习环境，我们将不得不将该成员请出讨论群，并根据其实际参与进度，对未参与部分按比例办理退费。

感谢您的理解与配合，让我们共同营造一个专注、深入、有收获的共学空间。

加入社区可享核心资源

成为会员即可解锁完整学习生态，包括：线上实时问答、全部课程录播回看、独家资料共享、高质量社群交流、第一手信息同步，以及通过参与共创任务获取积分等权益。

特色退费与激励机制

我们提供以下两种途径，让您的投入获得实际回馈：

1. 任务达标退费路径
   

   认领并合格完成任意两期字幕任务，即可退还全额报名费，并额外获得集智专属周边奖励。

2. 运营成长激励路径
   

   合格完成一个字幕任务后，可申请成为运营助理。在读书会项目顺利结项后，将退还学费。表现优异者，还有机会获得额外的奖学金。

相关内容推荐

1. 「世界模型」读书会推荐阅读材料

扫描下方二维码可跳转至集智斑图网站阅读文章：《世界模型》读书会推荐阅读材料。

1. 往期公众号相关内容推荐