噪声并非都一样重要，Stanford联合UNSW等提出NoiseRater提升扩散模型训练效率

当前，扩散模型训练通常默认从高斯分布中随机采样噪声，并把每一个噪声实例都视为同等价值的监督信号。但实际情况是，即使在同一个时间步上，不同的噪声样本也可能给模型带来完全不同的学习信号，有些噪声更清晰、更有信息量，有些则可能冗余甚至会干扰优化过程。

为了解决这一问题，本文介绍一篇来自 Stanford、UNSW、UCL、University of Chicago、CUHK 等机构联合完成的工作：NoiseRater。本文提出了基于元学习的噪声估值框架，设计了一个参数化的评分器来根据图像、时间步和噪声实例本身，对训练中的噪声分配重要性。实验结果表明，在 ImageNet 256×256 无条件生成任务上，NoiseRater 可以将 DiT-S/2 训练 80k 步后的 FID 从 61.56 降到 59.95，有效的提升了扩散模型训练的效率。

论文题目： NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training 文章链接： https://arxiv.org/abs/2605.08144

扩散模型的训练过程可以理解为一个加噪和去噪的监督学习问题。给定干净样本 ，模型在某个时间步 采样噪声 ，构造含噪状态 ，再训练网络预测加入的噪声。DDPM[1]、DDIM[2] 和后续的 DiT[3]、Latent Diffusion[4] 等方法都建立在这一基本训练范式之上。

如上图所示，本文提出的 NoiseRater 关注的并不是推理阶段如何调节噪声轨迹，而是分析在训练阶段每一次采样到的噪声对当前训练状态的重要性。先前的很多扩散训练优化方法主要在时间步层面调整权重。但这类方法通常基于一个假设，即在同一个时间步内，所有噪声实例的价值相同。这表明在训练期间，所有的噪声都被均匀对待。标准扩散训练直接从固定高斯分布采样噪声，并用同一个均方误差目标优化所有样本。这种做法忽略了实例级噪声之间的差异，可能让模型把计算预算花在低价值监督信号上。

此外，静态规则很难判断噪声的价值，本文通过实验表明，简单地选择最大范数或最小范数噪声并不能稳定提升训练效果，有时甚至会反过来影响最终的 FID。本文作者认为，噪声价值应当由模型实际的训练结果来定义。某个噪声是否有用，不只取决于它自身的统计属性，还取决于当前模型、图像内容、条件信息和时间步。因此，作者将噪声估值转变为一个元学习问题，让评分器直接学习哪些噪声会带来更好的验证性能。

二、本文方法

本文方法的核心目标，是在不修改扩散模型架构和推理过程的前提下，为训练阶段的噪声实例学习一个评分函数。NoiseRater 首先训练噪声评分器，再在正式扩散训练中固定评分器，从候选噪声中选择最高分数的样本参与训练。

上图展示了 NoiseRater 的整体流程。第一阶段主要进行元学习，评分器会在同一图像、同一时间步下比较多个候选噪声。第二阶段直接进行高效选择，每个图像只保留评分最高的噪声用于标准扩散训练。

2.1 对同一图像进行噪声估值

在标准扩散模型训练时，通常会最小化噪声预测损失来进行优化：

其中 是扩散模型， 表示条件信息。NoiseRater 在这一目标上加入了一个评分器 ，它接收噪声 、时间步 、干净样本 和条件 ，直接输出一个标量分数：

为了避免评分器被不同难度的图像混淆，作者采用了基于组的噪声采样方法。即对于同一个 ，采样一组 个独立噪声 ，再在组内进行 softmax 归一化：

这样得到的权重只会比较同一图像、同一时间步下不同噪声之间的相对价值。随后，扩散模型的内层训练目标可以改写为一个加权损失：

该损失可以理解为，NoiseRater 不再让每个噪声样本均匀贡献梯度，而是让更有助于训练的噪声获得更高的权重。

2.2 基于双层优化训练噪声评分器

NoiseRater 的关键在于，噪声评分并不是由规则确定，而是通过双层优化从真实的验证性能中学习得到。对于固定的评分器参数 ，扩散模型参数 会先在内层进行若干步训练迭代：

经过 步内层更新后，得到 。随后，外层目标使用验证集损失来进一步更新评分器的参数：

这意味着，如果某类噪声在内层训练中能让扩散模型在验证集上表现更好，评分器就会在外层更新中提高这类噪声的分数。论文进一步用梯度对齐机制解释了这一机制。对于单步内层更新，有如下情况：

其中 是第 个噪声实例对应的扩散损失。这个不等式说明，NoiseRater 实际上会偏好那些训练梯度与验证梯度更一致的噪声样本。也可以理解为，噪声价值不是由范数或随机性决定，而是由它能否推动模型朝泛化更好的方向更新来决定。

2.3 从软加权切换到硬选择训练

上一小节中介绍的双层优化机制非常适合训练评分器，但如果在完整扩散训练中一直保留多个候选噪声和元梯度，计算成本会很高。因此，NoiseRater 在元训练完成后会直接固定评分器的参数，并进入第二阶段的硬选择训练。对于每个训练样本，系统采样 个候选噪声，并选择得分最高的一个：

随后，扩散模型只使用 进行常规训练。这一步保留了实例级噪声估值带来的收益，同时把训练过程重新拉回到标准扩散训练形式上。在具体实现上，作者使用了一个双流 DiT 形式的评分器，其中一条流处理图像 latent 特征，另一条流处理噪声 latent 特征，并通过联合注意力融合图像、类别和时间步信息，最终输出噪声分数。

三、实验结果

本文的实验主要在 FFHQ 和 ImageNet 256×256 数据集上进行，任务包括无条件生成和 ImageNet 类条件生成。实验使用基于 VAE latent 的 DiT 作为主干模型，评价指标使用 FID-50K。实验的默认设置为，先用标准高斯噪声训练 DiT-S/2 到 400k 步，再训练 NoiseRater 2k 步，之后使用评分器继续训练扩散模型 80k 步。

3.1 NoiseRater 相比随机噪声和范数选择更加有效

作者首先对比了标准随机噪声、基于噪声范数的简单选择策略，以及 NoiseRater的性能。其中范数基线包括从候选噪声中选择最小范数或最大范数样本。

实验结果如上表所示，可以看出，简单范数选择并不能稳定改善训练过程。在 ImageNet 无条件生成任务中，继续训练 80k 步后，标准训练的 FID 为 61.56，选择最小范数噪声反而退化到 63.31，选择最大范数噪声为 60.82，而 NoiseRater 可以达到 59.95。这说明 NoiseRater 训练得到的并不是静态规则，而是更依赖图像、时间步和模型状态的实例级价值判断。

3.2 噪声价值严重依赖图像内容和扩散时间步

为了验证评分器输入中各个条件的必要性，作者对 NoiseRater 进行了一系列消融实验，分别移除了时间步、图像、类别标签等信息。

详细的实验结果如上表所示，完整 NoiseRater 方法在 ImageNet 无条件生成上继续训练 80k 步后的 FID 为 59.95。移除时间步后，FID 退化到了 61.40，几乎接近不使用评分器的结果。这说明噪声价值并不是一个固定的属性，而是强烈依赖当前扩散时间步，也会受到具体图像内容和条件信息影响。此外，作者也发现，候选噪声数量 也存在效率和效果之间的折中。当 时，80k 步后 FID 为 60.38。当 时，FID 进一步下降，这说明候选范围过大可能会让训练噪声分布过窄，适度选择比直接筛选更有效。

3.3 小模型训练出的评分器可以迁移到更大的 DiT 模型上

除了噪声价值外，另一个重要的问题是，NoiseRater 是否只能服务于训练它时使用的扩散模型。如果每个主干都要重新训练评分器，那么该方法在大模型上会变得非常昂贵。因此，作者尝试将在 DiT-S/2 模型上训练得到的评分器冻结，并直接迁移到更大的 DiT-B/2 和 DiT-L/2 模型上。

上表结果表明，小模型训练出的评分器在更大模型上仍然有效。对于 DiT-B/2 模型，继续训练 80k 步后，不使用评分器的 FID 为 48.65，使用 NoiseRater 后降到 47.80。对于 DiT-L/2模型，NoiseRater 在前 20k、40k、60k 步都取得了更低的 FID，80k 步时与基线基本持平。这说明评分器学到的并不只是某个小模型的局部偏好，而包含了更通用的噪声质量信号。此外，作者还测试了在不同训练阶段使用 NoiseRater 的效果。在 DiT-S/2 的 100k、400k 和 500k 训练阶段，评分器都能带来 FID 指标的改善，但在 400k 阶段上的收益最大。

3.4 NoiseRater 学到的不是简单的范数过滤

最后，作者也对评分器的能力进行了直观分析。一个直接检验是观察评分器分数和噪声 范数之间的相关性。

上图结果显示，在扩散模型随机初始化时，评分器分数和噪声范数高度相关，Spearman 相关系数接近 0.9。但当扩散模型训练到 20k 步以后，这种相关性就会迅速消失，并在训练收敛阶段接近 0。这说明，当扩散模型还没有学到有效去噪能力时，评分器只能依赖噪声本身的统计量。一旦模型开始形成有意义的训练动态后，评分器就会转向更复杂的价值判断。

另一个现象是，评分器在中等噪声水平上区分度最明显。论文统计显示，评分分布的标准差在 附近达到峰值。这与扩散训练中间噪声区间通常更难学习的经验相吻合，说明 NoiseRater 更容易在模型不确定、训练信号最复杂的位置发现有价值的噪声。

四、总结

本文提出的 NoiseRater，将扩散模型训练中的噪声实例从均匀随机变量转化为一种可学习、可估值的训练资源。它通过成组噪声采样和双层优化训练评分器，并在正式训练中使用 Top-1 噪声选择，以较低的额外成本引导扩散模型关注更有价值的噪声。实验结果表明，NoiseRater 在 FFHQ 和 ImageNet 上都能有效的改善 FID 指标，并且小模型训练出的评分器可以迁移到更大的 DiT 主干上。整体来看，本文工作验证了一个观点，扩散训练的优化空间可以不仅仅停留在数据、模型结构和时间步调度上，实例级噪声本身也可以成为提升训练效率和生成质量的重要对象。

参考

[1] Ho J, Jain A, Abbeel P. Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems, 2020.

[2] Song J, Meng C, Ermon S. Denoising Diffusion Implicit Models. International Conference on Learning Representations, 2021.

[3] Peebles W, Xie S. Scalable Diffusion Models with Transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023.

[4] Rombach R, Blattmann A, Lorenz D, Esser P, Ommer B. High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022.

Illustration From IconScout By IconScout Store

载誉重返讲坛，以工程实践反哺理论之林，五位青年教授的线上闭门交流

北京时间7月28日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈