计算所、ETH研究者提出WorldCache，视频世界模型近无损提速3.7倍

如果说扩散世界模型的瓶颈，是每一步去噪都要把同一个大 Transformer 再跑一遍，那么WorldCache的思路就是：不要再把所有 Token、所有时间步都当成同一件事。这篇工作把 “哪些内容适合缓存”和“哪些时刻必须重算” 拆开处理，在不重新训练模型、几乎不增加额外显存的前提下，把缓存真正做成了一套更贴合世界模型结构的推理策略。

• 论文标题：WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching
• arXiv 地址：https://arxiv.org/abs/2603.06331
• 代码地址：https://github.com/FofGofx/WorldCache

世界模型为什么难以被直接缓存

世界模型之所以比普通图像或视频生成更难加速，首先在于它生成的不是单一模态内容。以论文关注的扩散世界模型为例，模型在去噪过程中同时处理RGB、Depth以及与相机轨迹相关的多模态状态，不同模态、不同空间位置上的 Token，变化速度和变化方式都不一样。有的 Token 在连续时间步之间几乎静止，有的 Token 大致线性变化，还有一小部分 Token 会出现明显的非线性转向。如果继续沿用单一缓存规则，要么会为了照顾困难 Token 而对大多数容易预测的 Token 过于保守，要么会因为策略太激进，在少量关键 Token 上迅速累积误差。

第二个问题出现在时间维度上。世界模型的去噪过程并不是均匀平滑地推进，真正决定结果是否失稳的，往往不是所有 Token 的平均变化，而是那一小撮最难缓存、最容易漂移的 “瓶颈 Token”。这意味着，固定间隔跳步也好，基于全局平均差值触发重算也好，都会错过真正危险的时刻：该重算时不够敏感，不该重算时又容易浪费一次完整前向。WorldCache 的切入点，正是把这两个世界模型特有的失效机理拆出来分别处理。

把缓存做成 Token 级策略

WorldCache 的第一步，是用曲率去估计 Token 轨迹到底 “好不好预测”。论文使用最近三次 FULL 计算得到的真实输出，构造离散速度和加速度，再由此计算每个 Token 的曲率分数。直观地看，曲率越小，说明该 Token 的轨迹越接近平滑、线性，可预测性更强；曲率越大，则意味着它在当前阶段更可能发生突变或转向。基于这一分数，WorldCache 将 Token 划分为 Stable、Linear 和 Chaotic 三组，分别对应直接复用、线性外推和阻尼更新三种缓存方式。

这一步的关键，不是简单地把缓存做细，而是把计算真正分配给需要它的地方。对 Stable Token，直接复用上一次输出就足够；对 Linear Token，用一阶外推在成本和精度之间取得平衡；而对最难处理的 Chaotic Token，WorldCache 进一步引入基于 Hermite 平滑权重的阻尼更新，避免模型只依赖最近一步的切线方向做冒进预测。换句话说，WorldCache 不是用一把尺子衡量所有 Token，而是承认世界模型内部存在难度分布的长尾，并围绕这件事重新设计缓存规则。

只盯住最难缓存的那一小撮 Token

如果说前半部分解决的是 “缓存时如何预测”，那么 WorldCache 的第二步处理的是 “什么时候该停下缓存、恢复完整计算”。论文提出了Chaotic-prioritized Adaptive Skipping，也就是混沌优先的自适应跳步机制。它不再对全部 Token 做平均监控，而是只跟踪那部分最难缓存的 Chaotic Token，并利用曲率对特征差值进行归一化，构造一个无量纲的漂移指标。这样一来，系统关心的就不再是 “整体看起来有没有变化”，而是 “关键 Token 是否已经开始失稳”。

这套调度逻辑带来的好处很直接。一方面，WorldCache 能在大量平稳时间步上放心地延长缓存链条，把昂贵的骨干网络前向让给真正必要的时刻；另一方面，当瓶颈 Token 出现漂移苗头时，累计误差又会足够快地触发 FULL 计算，避免局部误差扩散成整段 rollout 的质量坍塌。从方法设计上看，WorldCache 把 “缓存策略” 和 “重算触发” 做成了一套相互配合的系统，而不是孤立地改一个预测器或一个阈值。

结果不是靠堆显存换来的

在 HunyuanVoyager-13B 的 image-to-world 生成任务上，WorldCache 将端到端延迟从 1053.7 秒降到 288.6 秒，对应 3.65 倍加速；与此同时，Dynamic WorldScore 仍达到 45.43，接近无缓存基线的 46.40，PSNR 为 23.49，LPIPS 为 0.176。更重要的是，它的显存占用为 50.58GB，和基线 50.44GB 几乎一致。相比之下，部分层内缓存基线虽然尝试提速，但显存开销已经超过 100GB，单卡部署并不轻松。

在 Aether-5B 的世界生成任务上，WorldCache 依然保持了最强的一组质量 - 效率折中：Dynamic WorldScore 为 44.72，高于 EasyCache 的 44.02；PSNR 为 31.87，SSIM 为 0.924，LPIPS 为 0.066；端到端延迟降到 107.2 秒，对应 1.68 倍加速，而显存仍维持在 46.59GB。如果把视角进一步转到几何相关能力，WorldCache 在 Aether 的 3D 重建设置中把延迟从 55.42 秒压到 21.20 秒，实现 2.61 倍加速，同时保持 Abs Rel 0.341、RPE trans 0.068，并在加速方法中取得最低的旋转误差 0.796。

这件事对世界模型意味着什么

WorldCache 给出的不只是一次更快的采样过程，更是一种面向世界模型内部异质性的缓存思路。

世界模型并不是普通视频扩散模型的简单延伸，面向世界模型的推理优化，必须尊重多模态耦合、空间差异和时间动态非均匀这些结构性事实。在这个前提下，无需额外训练，不引入大规模额外显存，却能把本来昂贵的世界模型推理推到更接近交互式使用的区间，这为更长时间跨度的世界模拟、可交互场景生成乃至具身智能相关应用，提供一种有潜力的路径。

作者简介

本文共同第一作者为中国科学院计算所博士生冯伟伦、硕士生范国鑫，以及苏黎世联邦理工学院博后秦浩桐。通讯作者为中国科学院计算所杨传广和安竹林副研究员。核心成员来自计算所智能算法安全全国重点实验室智能优化课题组，隶属于徐勇军研究员团队，课题组长期从事高效人工智能的研究，重点关注视觉、多模态等领域的理解与生成高效性方面的研究。