Google DeepMind提出AsyncPatch Diffusion，支持异步生成、原生补全与自适应采样

目前常见的扩散模型通常需要把整张图像放在同一个噪声时间步上处理，所有像素和latent token 都共享一条去噪轨迹。但图像生成有时需要从各个局部区域开始按照不同的节奏进行腐蚀、去噪和补全。本文介绍一篇来自 Google DeepMind 的工作：AsyncPatch Diffusion。作者团队将联合扩散范式扩展到图像空间和 latent token 空间，让不同区域遵循各自的噪声水平，并证明了这一异步过程仍然可以形成有效的生成模型和证据下界（ELBO）。实验结果表明，AsyncPatch 在 ImageNet 256 和 LSUN Bedroom 上都能接近常规 latent diffusion 方法的生成质量，同时天然支持无需任务特定微调的 inpainting、texture synthesis、autoregressive sampling 和不确定性引导加速等扩散特性。整体来看，这篇工作把扩散模型中的时间步从全局标量改写为空间可控的时间场，为统一生成、补全和自适应采样提供了一个新的建模视角。

论文题目： AsyncPatch Diffusion: spatially-flexible image generation 文章链接： https://arxiv.org/abs/2606.07079

标准的扩散模型通常从一个干净样本开始，在全局时间步 上加入噪声，再训练模型沿着反向轨迹逐步恢复数据分布。DDPM[1] 和 Latent Diffusion[2] 等方法都建立在这一同步时间步的设定上。它的好处是形式简单、训练稳定，也便于把同一噪声应用到整张图像上。但这一设定同时也带来一个隐含限制：图像中所有空间位置必须共享相同的生成进度。

如上图所示，AsyncPatch 的核心创新在于不再把图像生成限制为一条全局同步路径。在传统扩散中，所有区域都需要从全噪声状态开始生成干净图像。自回归生成则可以先生成一部分，再用已生成区域作为上下文继续生成后续区域。Inpainting 则要求已知区域保持干净，未知区域从噪声中恢复。这些行为在标准扩散里往往需要额外的任务设计，而在 AsyncPatch 中可以统一转换为对不同区域设置不同的噪声时间表。

二、本文方法

本文方法的核心目标，是把扩散模型中的单一时间步扩展为空间可变的时间步向量，使每个图像 token 都能维护独立的噪声水平，同时通过受控采样避免训练分布偏离推理需求。AsyncPatch的设计可以分成三个层面：先给出 joint diffusion 的空间化形式，再设计匹配推理路径的训练时间步采样，最后利用空间噪声调度实现 inpainting、input guidance 等高阶特性。

2.1 将全局噪声改写为 token 级噪声

AsyncPatch 遵循 joint diffusion[3] 设定，数据被拆分为 个 token，记作 。AsyncPatch 给每个 token 分配独立的时间步 ，因此前向加噪过程可以写成：

其中 可以表示像素、latent token 或其他空间单元， 是第 个 token 在时间步 下的含噪状态。网络会同时接收所有含噪 token 和对应的时间步，并预测联合分布。训练目标是将传统扩散的分布扩展到多时间步设置上，具体可以形式化为：

上式可以理解为，模型既要知道某个局部区域自身的噪声水平，也要利用其他区域的状态作为上下文。

2.2 基于受控时间步采样来修正训练分布

仅将时间步改写为 token 级别仍然不足以优化扩散性能。进一步的优化方案是给每个像素或 patch 独立采样 ，但这样会产生训练分布偏差。由于大量局部时间步是相互独立的，模型缺乏对全噪声、近似全干净，或者大块干净区域与噪声区域相邻数据的学习。然而这些状态正是无条件采样、inpainting 和 outpainting 操作中非常常见的样本。

上图从左到右展示了论文比较的三类训练时间步采样方法。其中，Perlin sampling 使用 Perlin mask 构造类似 inpainting 的干净/噪声区域划分，Patchwise sampling 则让不同 patch 独立采样时间步。AsyncPatch sampling 则先采样一个全局平均腐蚀水平 ，再围绕该平均值为各个 patch 采样局部时间步：

本文提出的采样方式可以避免模型只在高度混杂的局部噪声状态上训练，也让模型在训练时学习更接近真实采样路径的状态分布。在实现上，作者使用类似 Latent Diffusion 的 U-Net 架构，通过 FiLM modulation 注入时间步条件。由于特征图本身具有二维空间结构，时间步以二维张量的形式进行输入，并在网络内部随特征图分辨率进行下采样。

2.3 将 inpainting 转换为空间噪声调度任务

在推理阶段，AsyncPatch 可以自由指定每个 token 的反向时间表。设空间噪声调度为 ，其中 表示反向采样的进度。在这种视角下，传统扩散只是一个特例，即所有 token 都共享相同的时间表：

对于 inpainting 任务，设 表示第 个 token 已知， 表示缺失区域。AsyncPatch 会限制已知区域始终保持干净，让缺失区域从噪声开始逐步去噪：

上式指明，已知区域始终处于 ，未知区域则从 开始采样到 。采样时，模型仍然会对所有 token 进行联合分布预测，但反向更新只作用在 mask 以外的未知区域。因此，inpainting 不再是对标准扩散模型增加的额外流程，而是一个基于空间时间步调度的条件生成问题。

2.4 使用 input guidance 来强化上下文一致性

AsyncPatch 还提出了 input guidance，用于让未知区域更贴合已知区域的纹理和局部细节。作者认为，同一个输入在更干净时间步和更嘈杂时间步下会给出不同的分布估计。如果将这两者进行对比，就可以强化模型对已知上下文的依赖。在不考虑类别条件时，input guidance 可以写成：

其中 表示更干净的时间步， 表示更嘈杂的时间步， 用来控制 input guidance 强度。在类条件生成中，本文先对两个时间步分别做 classifier-free guidance，再对得到的类条件分布施加 input guidance，具体操作流程如下：

这里 用来控制类别条件强度， 控制已知输入对生成区域的约束强度。

三、实验结果

本文的实验主要在ImageNet 64、ImageNet 256 和 LSUN Bedroom三个数据集上进行，目的是评估 AsyncPatch 是否会损害常规的扩散生成质量，并且能否在不专门微调 inpainting 模型的情况下完成补全任务。以及是否支持输入引导、纹理合成和自适应采样等高阶扩散特性。评估指标主要包括无条件生成的 FID、inpainting 的 FID 和 LPIPS。

3.1 AsyncPatch可以在生成和补全任务之间取得较好的平衡

作者首先在 ImageNet 64 上比较了不同训练时间步的采样策略。这里的评估主要是为了判断AsyncPatch能否保持常规的生成能力和空间补全能力。

上表结果显示，标准 baseline 的无条件生成 FID 为 1.74，AsyncPatch 为 1.77，几乎保持一致。Perlin sampling 和 Patchwise sampling 的生成 FID 出现了明显退化，这说明过度偏向局部异步状态会损害常规的生成路径。在 Inpainting 方面，AsyncPatch的性能显著优于 baseline 方法。作者还在 latent diffusion 设置下比较了 ImageNet 256 和 LSUN Bedroom 的无条件生成质量。

3.2 AsyncPatch 可以在无需任务微调的情况下执行 inpainting

随后作者在 LSUN Bedroom 和 ImageNet 256 上评估 inpainting 任务，并与 Supervised、Score-SDE、DDRM、MCG、DDNM、DeqIR、RAD、RePaint等方法进行对比。

具体实验结果如上表显示，AsyncPatch 在多个 mask 类型上的性能优于对应的 latent RePaint方法。这说明 AsyncPatch 的补全能力并不是来自特定 mask 微调，而是来自模型本身对空间异步噪声状态的建模。

上图进一步展示了定性结果。对于鸟类和其他动物场景，AsyncPatch 能够在 wide mask 条件下生成与上下文连贯的补全部分。与 RePaint 方法相比，AsyncPatch更容易保持物体结构和背景纹理的一致性。

3.3 Input guidance可以进一步提升局部一致性和纹理合成能力

为了验证 input guidance 的作用，作者在右侧区域补全任务中消融了 guidance strength 分别为 0 和 2 时的结果，并对每个样例展示多随机种子的结果。

上图显示，在加入 input guidance 后，不同种子生成的未知区域更能贴合已知区域的纹理和局部样式。例如书脊、动物毛色等细节更容易与左侧上下文一致。这说明 input guidance 可以将已知输入信号转换为未知区域的局部约束信号。

论文进一步把 input guidance 用于基于文本的生成任务上，并与StyLit、Adobe Firefly 3 和 Runway Gen-3 等生成式方法进行了对比，可视化对比如下。

上图中，只输入给模型纹理的上半部分，需要合成下半部分。传统 patch-based 方法可以复制局部像素纹理，但在整体的结构上容易受限。通用生成式方法更擅长保持语义结构，却常常难以复现纹理的细节。AsyncPatch 借助 input guidance 可以更紧密的跟随给定纹理，同时保持较高层次的结构一致性。

3.4 空间时间表支持自回归和不确定性引导采样

最后，作者也展示了 AsyncPatch 的高阶扩散特性。由于在AsyncPatch中，每个区域都可以指定独立的时间表，模型可以进行自回归生成，也可以根据区域不确定性动态分配采样步数。

如上图所示，自回归采样会按 patch 顺序从噪声逐步生成图像。上图示例中每个 patch 使用 16 个采样步，总计 1024 步。虽然生成质量有所下降，但没有出现明显的拼接伪影，主体仍然清晰可见。另一方面，作者也在预训练 ImageNet 64 AsyncPatch 模型上增加了不确定性预测头，用它来估计局部生成难度，并在低不确定性区域上加速采样。上图中间部分展示了不同区域分配到的采样步数，右侧展示了随时间变化的不确定性估计和 预测。

四、总结

本文提出的 AsyncPatch Diffusion方法，将扩散模型中的全局同步时间步扩展为空间可变的噪声时间场，使不同像素、patch 或 latent token 可以沿着不同的轨迹进行去噪。AsyncPatch在训练时通过受控时间步采样修正了独立采样造成的分布偏差，在推理时将 inpainting、input guidance、自回归生成和不确定性引导采样统一到同一个空间调度框架中。实验表明，AsyncPatch 在保持标准生成质量的同时，在纹理合成和自适应采样中展现出了较好的灵活性。

参考

[1] Ho J, Jain A, Abbeel P. Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems, 2020.

[2] Rombach R, Blattmann A, Lorenz D, Esser P, Ommer B. High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022.

[3] Rojas K, Zhu Y, Zhu S, Ye F X-F, Tao M. Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces. arXiv, 2025.

Illustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈