MirrorWorld：利用场景镜面关系实现视频反射的时空一致性生成

当前，视频扩散模型（Video Diffusion Models, VDMs）已经能够生成真实感较强的视频内容，但镜面反射仍然是一个容易暴露模型理解缺陷的场景。镜子里的内容不是普通的缺失区域，它必须与镜外可见场景保持语义对应、空间布局和时间运动的一致性。现有图像级镜面反射生成方法主要面向单帧或物体中心场景，逐帧应用到视频时容易出现反射内容漂移，通用视频修复模型也缺少显式的场景到镜面的关系建模。

本文介绍一项来自香港城市大学与 Swansea University 的工作 MirrorWorld，MirrorWorld把视频镜面反射系统性拆解为“反射何种内容”与“这些内容应该如何排布在镜面区域”这两个互补问题。具体地，MirrorWorld 通过语义关系蒸馏（SRD）借助冻结的视觉基础模型引导模型判别需反射的可见元素。然后设计了几何变换对齐（GTA）方法，利用局部时序上下文学习特征空间变换，用来约束反射结构的布局与运动平滑性。实验表明，MirrorWorld 在镜面区域 PSNR、SSIM、LPIPS 及视频级 FVD 上均显著优于图像式反射生成基线方法。

论文题目：
MirrorWorld: Taming Video Diffusion Models for Mirror Reflection Generation
文章链接：
https://arxiv.org/abs/2608.07463
项目主页：
https://youjunzhao.github.io/MirrorWorld/

一、研究背景

镜面反射生成在任务形式上虽与视频修复高度相似，即基于掩码区域进行内容填补，但其补全结果无法仅依赖局部纹理统计或生成模型的先验分布，必须由镜外可见场景的内容和结构来约束。也就是说，镜面区域中所呈现的物体、几何边界、空间布局以及时序运动，都需要与镜外可见区域建立可解释的语义与几何对应关系。

如上图所示，即使是目前的SOTA视频生成模型，在被要求生成“真实镜面反射”时也可能出现错误。图中 Veo 3.1 方法 [1] 可以生成视觉上自然的视频，但红框中的镜面内容并不总是与真实场景一致，例如反射了不存在或位置不合理的物体。这个现象说明，镜面反射不是单纯提高画质就能解决的问题，而是需要模型理解镜外场景与镜内区域之间的约束。

二、本文方法

上图展示了 MirrorWorld 的整体框架。本文方法的核心目标，是在保持镜外可见内容不变的前提下，重建与场景一致的镜面反射。输入包含目标视频、镜面掩码、被遮挡视频和统一文本提示。给定镜面区域被遮挡的视频 、二值镜面掩码 和文本提示 ，MirrorWorld 生成视频：

其中， 是条件视频扩散模型。作者使用 Wan2.1-VACE-14B 作为视频生成骨干，并在训练阶段引入两个辅助监督分支：语义关系蒸馏（SRD） 负责建模反射何种内容，几何变换对齐（GTA） 负责约束如何排布该内容。在推理阶段，将这两个辅助分支完整移除，因此不会带来额外的计算开销。

2.1 用语义关系蒸馏学习镜内外的语义关系

合理的镜面内容应在语义层面与镜外可见场景存在对应关系。为此，作者采用冻结的 VideoMAEv2 [2] 作为视觉基础模型，从目标视频 中提取参考语义特征 。同时，对于扩散时间步 下的含噪潜变量 ，从视频扩散模型中获取隐层特征：

之后，采用轻量级 MLP 投影层得到扩散特征：

对于每个有效时间切片 ，令 与 分别表示镜面内部与外部区域的采样 token 集合。SRD 利用余弦相似度构建两组场景到镜面的关系矩阵：

随后，训练目标为最小化参考关系与扩散关系之间的差异：

语义关系蒸馏关键并不在于直接复制目标视频的特征值，而是对镜面区域与可见区域之间的关系结构进行蒸馏。由于视觉基础模型保持冻结，梯度仅经由扩散模型的表示进行回传，从而促使其学习将镜面 token 与镜外具有反射相关性的 token 建立语义关联。

2.2 用几何变换学习场景到镜面的空间映射

仅确定反射内容仍然不足以生成合理的镜面效果，模型还需掌握这些内容在镜面区域中的空间位置与几何形态。为此，作者引入几何变换对齐在扩散模型的隐特征上构造几何特征 ，并为每个时间步 构建包含可见场景信息的源特征图：

其中， 和 分别是镜内与镜外位置。对镜内位置使用镜外均值，是为了防止变换估计器直接读取目标镜面特征，从而形成信息泄漏。随后，GTA 聚合长度为 的局部时间窗口：

几何变换对齐的损失在镜面区域内映射后，计算可见特征与真实镜面特征之间的余弦距离：

该设计的核心在于学习场景依赖的反射几何关系。相较于直接对可见区域进行水平翻转等固定变换，几何变换对齐允许模型依据当前视频内容、镜面形状及时间上下文，自适应地学习更灵活的空间映射。

2.3 训练目标

MirrorWorld 保留视频扩散模型原有的去噪训练目标。给定目标视频的干净潜变量 ，采样扩散时间步 和高斯噪声 ，构造含噪潜变量 。基础扩散损失可以写为：

其中， 表示条件输入， 是调度器定义的训练目标。最终损失为：

三、实验结果

本文基于四个现有的视频镜面检测与分割数据集（VMD-D、ZOOM、MMD 及 DVMD-D），构建了一个统一的反射重建评测benchmark，共计包含 1,242 个视频片段与 45,373 帧图像。为确保训练与测试划分的独立性，作者依照源视频层级进行分割，避免同一原始视频的不同片段跨划分出现。模型方面，采用 Wan2.1-VACE-14B 作为骨干网络，并引入LoRA进行微调。

其中，语义反射分解（SRD）模块使用冻结的 VideoMAEv2-Base 作为视觉基础模型。全局时序对齐（GTA）模块则采用局部时间窗口（窗口大小 K=5）来估计仿射变换。所有训练过程在 4 张 NVIDIA A100 80GB GPU 上完成，批量大小设为 4，优化器选用 AdamW。对比方法涵盖 MirrorFusion、MirrorVerse、VideoPainter 及 VACE，所有基线均基于官方实现，并在相同的训练划分上进行微调，以保证比较的公平性。在评估阶段，PSNR、SSIM 和 LPIPS 指标仅针对镜面区域计算，而 FVD 则在整个视频帧上计算，以同时衡量镜面重建质量、结构一致性以及整体视频分布质量。

3.1 定量实验结果

上表展示了MirrorWorld方法与其他对比方法的定量对比结果。MirrorWorld在所有评价指标上均显著优于图像级反射生成方法（MirrorFusion、MirrorVerse）和视频修复方法（VideoPainter、VACE）。在镜面区域重建质量上，图像级方法因缺乏时序约束，PSNR仅约9.5、SSIM低于0.32。视频方法VACE将PSNR提升至13.54、SSIM至0.489。MirrorWorld的效果最优，验证了SRD与GTA联合监督的有效性。视频级FVD指标方面，MirrorWorld取得184.9，优于VACE的191.6与图像方法的500+，表明其整体视频真实感分布更优，且GTA的时序设计对帧间一致性具有积极作用。

3.2 定性实验结果

上图展示了MirrorWorld方法与其他对比方法的定性对比结果。图像级方法容易在镜面中生成无关人物、架子或暗色区域，VideoPainter 虽然局部更连续，但镜面内容仍与可见场景弱相关。VACE 可以较好保持整体场景结构，却仍会重复墙上画框或在不该出现的位置生成衣物反射。MirrorWorld 在这些案例中避免了重复和错位反射。这说明它的优势不是单纯来自更强的视频修复骨干网络，而是来自对镜外内容与镜内反射之间关系的显式约束。

3.3 消融实验结果

上表对SRD和GTA两个关键模块进行了消融实验分析。实验结果表明，只加入 SRD 或只加入 GTA 都只能带来有限提升。SRD 单独使用时，PSNR 仅从 13.537 提升到 13.551，说明语义关联本身不能保证反射内容排布正确。GTA 单独使用时，FVD 达到 174.444，是该表中最低值，但 PSNR、SSIM 和 LPIPS 仍不如完整模型，说明它对视频级空间稳定性有帮助，却缺少明确的反射内容监督。

上图进一步通过可视化结果展示了两个模块的互补作用。去掉 SRD 后，模型会在镜面中生成两个相邻的画框，导致反射内容错误。去掉 GTA 后，模型只复制可见的半个金属环，无法推断其在镜面中的完整空间排布。

3.4 失败案例分析

上图也对本文方法的失败案例进行了分析。镜子反射的人物完全处于摄像机视野之外，在输入视频的可见非镜面区域中未曾出现。此时，尽管模型生成的反射在时序上保持连贯，但其具体内容已无法从观测数据中唯一确定。该案例揭示了视频镜面反射生成任务固有的病态性（ill-posed nature），即镜面可能反射视场外的内容。

四、总结

MirrorWorld 将视频镜面反射生成从普通视频修复中单独抽象出来，把镜面反射是否合理转化为一个可以被训练和评估的跨区域一致性问题。本文没有依赖更复杂的提示词或后处理规则，而是在扩散模型内部引入关系蒸馏和特征变换监督，使模型在生成过程中可以主动利用镜外可见证据进行学习。SRD 通过冻结视觉基础模型蒸馏镜内外语义关系，GTA 通过局部时间上下文学习可见场景到镜面区域的特征空间变换。实验也表明，仅靠通用视频修复能力并不足以稳定处理镜面区域，反射生成需要面向语义对应、空间映射和时间一致性的专门约束。

参考

[1] Veo Team. 2025. Veo: A Text-to-Video Generation System. Technical report, Google DeepMind.

[2] Wang L, Huang B, Zhao Z, et al. Videomae v2: Scaling video masked autoencoders with dual masking[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2023: 14549-14560.