从「预测未来」到「理解世界」：Tadpole与一种新的科学基础模型思路

过去几年，“基础模型” 已经彻底改变了自然语言处理和计算机视觉。一个很自然的问题随之出现：

物理世界是否也能拥有类似的基础模型？

天气变化、空气流动、材料变形乃至电磁现象，背后都存在复杂的物理规律。传统科学机器学习往往针对一个问题训练一个模型：换一种物理系统、换一个空间尺度，甚至换几个变量，模型可能都需要重新训练。基础模型则试图改变这种模式：先从大量不同的物理数据中学习通用表示，再快速迁移到新的问题。

但当研究对象来到真正的三维物理世界时，事情就没有那么简单了。三维模拟产生的数据通常极其庞大。一次高分辨率流体模拟就可能占据大量存储空间，而训练基础模型需要的数据规模更是惊人。与此同时，不同物理系统拥有不同数量的变量、空间分辨率和演化规律，让同一个模型学习真正可迁移的知识并不容易。

Tadpole 正是在这样的背景下提出的。

• 论文标题：Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning
• 论文连接：https://arxiv.org/abs/2605.15284
• Github 代码：https://github.com/tum-pbs/tadpole

不先学 “未来”，而是先学 “世界长什么样”

很多物理基础模型采用一种直观的训练方式：给定过去的状态，让模型预测未来。 这很像语言模型中的 “预测下一个词”。模型如果能够见过足够多的物理演化过程，或许就能逐渐掌握其中共同的规律。

Tadpole 却选择了一条不同的路线。它首先被训练成一个自编码器：看到某一时刻的三维物理场之后，先将数据压缩到一个更紧凑的潜在空间，再尝试恢复原始数据。换句话说，Tadpole 在预训练阶段首先学习的不是：“下一秒会发生什么？”

而是：“这些复杂的三维物理状态，本质上长什么样？”

这种区别非常重要。

一个物理状态未来如何变化，往往取决于具体的方程、边界条件和物理参数。同样的当前状态，在不同系统中可能走向完全不同的未来，因此直接学习动力学本身是一个高度复杂的任务。而重建关注的是物理场自身的空间结构。由于物理系统通常具有较强的空间相关性和连续性，自编码器可以先学习这些更加通用的特征，再把这些知识迁移到具体任务。从这个角度看，Tadpole 的思路有些像教一个模型认识世界：与其一开始就要求它预测世界下一秒会发生什么，不如先让它理解这个世界由哪些结构组成。

202 TB 数据，却不需要 202 TB 硬盘

三维物理基础模型还有一个现实得多的问题：数据实在太大了。传统方式通常需要提前运行大量数值模拟，把结果保存到磁盘，再在训练时反复读取。但到了三维高分辨率问题，这种方式很快就会遇到两个瓶颈：一是存储空间，二是数据读取速度。

Tadpole 并没有把所有训练数据提前保存下来，而是采用了在线学习（online learning, 图 1a）。训练过程中，GPU 上的数值求解器不断实时产生新的物理数据，这些数据随后直接被送入模型训练，而不是先形成一个巨大的静态数据集。为了避免模拟速度拖慢神经网络训练，作者还设计了多级缓存机制，让数据生成、通信和模型训练能够并行进行。最终，Tadpole 的预训练过程累计使用了相当于约202 TB的训练数据，却无需在本地保存这样一个庞大的数据集。更有意思的是，这样做并不仅仅是在节省硬盘。在作者使用的高速 SSD 环境中，在线训练相比预先生成数据的离线方案仍然获得了约1.8 倍的整体速度提升；而在数据读取带宽更受限制的高性能计算环境中，这种优势会更加明显。这意味着，数据不再一定是一个 “提前准备好的固定资源”，而可以变成训练过程中源源不断生成的东西。

图 1：Tadpole 的整体框架。左侧展示在线预训练流程：GPU 求解器持续生成三维物理数据，经过预处理和缓存后用于自编码训练；右侧展示预训练模型如何迁移到重建、动力学预测和生成建模等不同任务。

同一个模型，面对完全不同的三维世界

现实中的三维物理数据并没有统一尺寸。有的系统只有几个变量，有的可能包含十几个变量；有的数据只有几十个网格点，有的空间分辨率却可能达到 10243。

Tadpole 的解决办法，是把复杂的三维数据拆成一个个局部区域进行学习。预训练时，不同的物理变量首先被拆开，然后从三维空间中随机裁剪局部区域作为训练样本。这样，不同变量数量、不同空间尺寸的数据就可以被统一到同一个训练框架中。而到了推理阶段，模型又可以根据实际数据调整处理区域的大小，因此能够适应明显不同于预训练阶段的空间尺度。

图 2：Tadpole-B 在多种未参与预训练的三维物理系统上的零样本重建结果，包括各向同性湍流、湍流通道流、过渡边界层以及磁流体力学等，其中最高空间分辨率达到 10243。

在实验中，Tadpole 的测试数据不仅来自不同的物理问题，而且很多分辨率远高于模型预训练时所看到的数据。实验还呈现出两个很清楚的趋势：模型越大，零样本重建能力越好；预训练过程中接触的物理系统越丰富，面对新问题时的泛化能力也越强。换句话说，Tadpole 学到的并不仅仅是某一个模拟任务的技巧，而更接近于一种可以迁移的三维物理表示。

一个只学过 “重建” 的模型，为什么还能预测未来？

这里自然会出现一个问题：既然 Tadpole 在预训练时只学习如何重建当前状态，它怎么预测物理系统未来的变化？为了解决这个问题，作者进一步提出了Tadpole-DFT(图 1b)。它并不会把已经训练好的模型推倒重来，而是在已有表示之上增加少量新的学习能力。首先，一个轻量级子网络会在潜在空间中学习不同物理变量之间的相互作用和时间变化；其次，模型重新引入 skip connection，把精细的空间信息直接传递给解码器；最后，通过 LoRA 只微调少量参数，而不是重新训练整个网络。这种设计的目标很明确：尽可能保留模型在预训练阶段已经学到的知识，再逐步教会它理解 “时间”。

图 3：Tadpole 在三维动力学预测任务上的表现。通过 Tadpole-DFT，预训练模型可以用较少的可训练参数适配复杂的三维湍流预测任务，并与多种现有物理基础模型进行比较。

在多个三维湍流预测实验中，Tadpole 展现出了有竞争力的性能。特别是在湍流边界层任务上，一些 Tadpole 模型在可训练参数远少于大型基线的情况下仍取得了较低的预测误差。实验同时显示，相比简单地对整个预训练模型进行全参数微调，专门设计的 Tadpole-DFT 能更有效地利用已经学习到的表示。

不只是预测，它甚至还能 “创造” 新的物理场

Tadpole 学到的潜在空间还有另一个用途：生成新的三维物理数据。作者在这个压缩后的潜在空间中进一步训练了一个生成模型，让模型首先生成新的潜在表示，再通过 Tadpole 的解码器将其还原成完整的三维流场。这样做最大的好处，是不必直接在极其庞大的三维网格上进行生成建模，而是在紧凑得多的表示空间中完成主要计算。在三维湍流生成实验中，基于微调后 Tadpole 构建的生成模型在多项统计指标上取得了很好的结果。于是，同一个预训练模型开始表现出一种很有意思的 “多功能性”：它可以压缩和重建物理世界，可以学习物理世界如何演化，也可以生成新的物理样本。这正是基础模型真正有吸引力的地方 ——预训练本身不再绑定某一个具体任务。

从规则网格走向真实的复杂几何

Tadpole 最初主要研究规则三维网格上的物理数据，但其中两个核心设计 ——以重构作为预训练目标，以及在训练过程中在线生成合成物理数据—— 并没有停留在这一场景。在来自同一课题组的另一项同样被NeurIPS 2026接收的后续工作 Geometry Meets Physics: Data-Efficient Pre-Training For Unstructured Neural PDE Solvers 中，这套思想被进一步扩展到了非结构网格和复杂三维几何。

图 4：Tadpole 的后续工作 “GMP” 在车辆与飞机外流问题上的预测表现。预训练模型（PT）显著降低了模型在复杂几何上的预测误差。

这类问题更加接近真实工程场景：汽车、飞机、涡轮机械等几何外形很难整齐地排列在规则网格上，通常需要使用不规则的计算网格。这项后续工作分别从几何和物理两个角度进行预训练：对于稳态问题，通过几何形状本身学习复杂三维区域的表示；对于瞬态问题，则延续 Tadpole 的在线学习思想，在训练过程中实时生成合成物理数据，从而减少对昂贵预计算数据集的依赖。实验表明，这种预训练方式能够在数据有限的场景下带来更快的收敛、更高的数据效率以及更好的微调精度。

从 “预测未来” 到 “理解世界”

Tadpole 探索的是一条与传统物理基础模型略有不同的道路。它没有要求预训练模型一开始就掌握所有物理系统复杂的时间演化，而是首先通过重构学习一个通用的物理表示；数据也不必全部提前生成并保存在磁盘上，而可以随着训练实时产生。随后，这个表示可以被用于重建、动力学预测和生成建模，并进一步延伸到非结构网格和复杂三维几何。从这个角度看，Tadpole 所提出的问题或许比 “如何训练一个更好的 PDE 模型” 更普遍：

如果希望 AI 真正成为理解物理世界的基础模型，它是否一定要先学会预测未来？

也许还有另一种可能：先让它学会如何表示这个世界，再教它这个世界如何变化。

作者简介

第一作者： 刘强，慕尼黑工业大学四年级博士生，主要研究方向为物理基础模型与物理约束的生成模型， 目前正积极寻找国内工业界职位。

通讯作者： Nils Thuerey, 慕尼黑工业大学教授 （Professor for Physics-based Simulation），主要研究方向为面向 PDE 模拟的 AI 与深度学习方法，奥斯卡科学技术奖获得者。