ECCV 2026 | Through Van Gogh’s Eyes：基于全局风格迁移的 Many-to-One 艺术风格迁移框架

艺术风格迁移旨在使同一内容图像融入特定艺术家的身份风格。然而，传统方法通常仅从单幅或少量参考作品中提取颜色、纹理与特征，非常容易将艺术家的整体风格简化为某一件作品的局部特征。例如，在T2I模型中直接输入“Van Gogh style”虽然更具灵活性，却可能受文本条件偏差的影响，倾向于反复生成《星夜》式的旋涡与构图，难以充分表征艺术家风格的真实多样性。

本文介绍一项发表于 ECCV 2026 的工作，作者团队提出了一种全局风格迁移 (Global Style Transfer，GST）框架，将风格迁移从“单幅作品到单张内容图像”的 One-to-One 范式重构为“同一艺术家的多幅作品到单张内容图像”的 Many-to-One 范式。GST 通过全局风格引导（Global Style Guidance, GSG）在扩散模型的隐空间中学习风格偏移，并利用 training-free 的内容对齐引导（Content Alignment Guidance, CAG）来保持内容语义。实验表明，GST 在增强艺术家风格多样性并缓解样本记忆化的同时，仍能维持较好的内容结构与整体视觉一致性。

论文题目：
Through Van Gogh’s Eyes: Global Style Transfer with Diffusion Model
文章链接：
https://arxiv.org/abs/2608.11546

一、研究背景

艺术图像合成不仅仅需要颜色重绘，更需让模型理解艺术家跨题材、构图与媒介中经常出现的视觉规律。传统的风格迁移方法以单张内容图与单张风格图为输入，通过特征统计匹配或注意力注入来完成迁移。这种方法能复现单幅作品的局部特征，却难以从数百幅作品中总结稳定的色彩组织、构图偏好与形变方式，因而仅停留在实例级风格迁移，无法刻画艺术家的全局风格分布。

如上图所示，同一内容图可被迁移为梵高、莫奈、达利、雷诺阿等不同艺术家的风格。右侧 Artist Style Book 并非直接复制的参考图，而是从目标艺术家作品集中检索出的与生成结果最相近的多幅作品，用以表明生成结果受艺术家整体作品分布影响，而非模仿单一标志性样本。

二、本文方法

本文旨在固定且语义弱化的文本条件下，从同一艺术家的多幅作品中学习稳定的全局风格表征，并在扩散采样阶段将其注入到内容图像的生成轨迹中。为此，全局风格迁移由两部分构成：（1）全局风格引导（Global Style Guidance, GSG）负责学习并执行风格迁移，（2）内容对齐引导（Content Alignment Guidance, CAG）则在每一个时间步对内容语义实施感知对齐。

上图展示了 GST 的完整流程。左侧 GSG 在多幅艺术作品上训练一个轻量级的风格提取函数，用来获取随扩散时间步变化的全局特征；右侧 CAG 则先经过 DDIM 将内容图映射到噪声空间，并且在反向扩散的每一步比较内容语义与当前生成结果，从而校正隐藏特征来更新方向。其中，风格信息来自作品集，内容约束来自输入图，两条引导路径在同一扩散轨迹上协同工作。

2.1 在扩散模型的隐空间中表示生成过程

GST 以潜空间扩散模型（Latent Diffusion Model, LDM）[1]为基础。编码器将图像 映射为潜变量 ，其前向加噪过程可表示为：

其中，去噪网络 以含噪潜变量、时间步及文本条件作为输入来预测噪声，逐步将 还原为 ，并经解码器重建图像。已有的研究表明，扩散 U-Net 的中间激活层可以构成相对稳定的语义潜空间，即 h-space[3]。与直接修改输出像素相比，在 h-space 中设置残差能够在改变生成语义的同时，减轻对原始去噪方向的破坏。

如上图所示，基于500幅作品的t-SNE可视化表明，即便噪声水平逐步升高，不同艺术家的h-space激活仍保持可分离的状态。在 等时间步上，梵高与莫奈作品的激活簇均清晰可辨。这表明h-space不仅编码风格信息，且具备足够的稳定性，能够在整个反向扩散过程中持续提供艺术家风格的引导。

2.2 用 GSG 从多幅作品中学习全局风格迁移

GSG的核心思想在于为目标艺术风格训练一个轻量级风格提取函数（SEF），将当前 U-Net 特征映射为可注入采样过程的残差。对于时间步，记 SEF 为，则全局风格迁移与调制后的特征分别定义为:

其中， 为原始U-net激活特征， 为全局风格迁移量， 用来控制风格调制的强度。SEF 采用仅含单隐藏层的轻量级 MLP，并引入零初始化策略，使训练初始阶段不改变原始的模型状态，以避免随机参数在早期引入不稳定的风格偏差。训练时，从目标艺术家作品集中采样多幅图像，并统一指定简单提示词“A painting”。每幅作品先经扩散加噪，再在注入 的条件下优化标准噪声重建损失：

其中， 固定为 “A painting”， 为图像编码器， 为文本编码器。由于所有作品共享完全相同的文本条件，SEF 难以借助艺术家名称或描述性词汇进行hacking，只能从颜色、笔触、构图与形变等视觉统计中学习风格特征。

2.3 用 CAG 保持内容语义

仅施加全局风格迁移可能导致图像内容过度改变，为此 GST 引入了一个 training-free 的内容对齐引导（Content Alignment Guidance, CAG）模块。首先对内容图 执行 DDIM 解码 [2] 来获得潜变量。在每个反向的扩散时间步，利用 Tweedie 公式近似得到，解码为当前生成图像。CAG 采用 CLIP ViT-L/14 图像编码器[4]，比较与在第 层的高层语义特征：

并沿降低感知损失的方向修正潜变量：

其中， 为内容引导强度。该更新约束语义和空间结构而非像素级一致性，从而可以在保留主体、场景与布局的同时，允许风格驱动的比例、轮廓与构图变形。

三、实验结果

本文使用 WikiArt 数据集[5]中同一艺术家的作品作为风格参考集，该数据集包含超过8万幅作品，覆盖1000余位艺术家。内容图像则取自 VanGogh2Photo 数据集，其中包含真实场景照片。默认生成backbone为 Stable Diffusion v1.4，CAG 采用 CLIP ViT-L/14。评估指标包括 FID 与 ArtFID，用于衡量生成结果与艺术家作品分布的接近程度，CFSD 用于评估内容结构，CLIP-Div 用于衡量风格多样性，1-Precision 用于衡量对训练作品的记忆程度。作者将 GST 与 StyleInjection、StyTR2、CAST、S2WAT、StyleSSP 等传统风格迁移方法，以及 StyleAligned、Textual Inversion、DreamBooth、Custom Diffusion 等个性化方法进行比较。

3.1 定性实验结果

上图展示了 GST 与代表性风格迁移及风格个性化baseline方法在全局风格迁移上的定性对比，分别以梵高和雷诺阿为例。传统方法通常只保留每幅参考作品的主色调或粗粒度纹理，不同参考图得到的结果风格并不一致。把这些输出平均也无法恢复真实的作品分布，反而容易让结果变得模糊。GST 直接在多幅作品上学习统一的艺术家风格，因此同一张内容图在梵高和雷诺阿风格下会呈现稳定且可区分的视觉特征。

3.2 定量实验结果

上表展示了 GST 与 Textual Inversion、DreamBooth/LoRA、Custom Diffusion 等风格个性化方法在三种艺术家风格上的定量对比。GST 在三种艺术家风格上都取得了较高的 CLIP-Div。Van Gogh、Chagall 和 Renoir 的 CLIP-Div 分别为 0.297、0.311 和 0.318，真实作品集对应值为 0.335、0.293 和 0.313，说明生成结果的风格覆盖范围与真实作品分布非常接近，而不是集中到少数模板。在代表综合风格与内容的 ArtFID 指标上，GST 在 Van Gogh、Chagall 和 Renoir 也表现良好。实验结果结果说明 GST 的主要优势并不是让某一个单项指标绝对最优，而是在风格分布覆盖、内容保持和避免记忆之间取得一个trade-off效果。

3.3 消融实验

上表展示了Content Alignment Guidance (CAG)的消融结果，对比完整 GST 与去除 CAG 后的变体。去除 CAG 后，FID 由 9.46 升至 11.05，ArtFID 由 19.25 升至 22.45，表明内容保真，整体风格和内容平衡均明显退化；这说明在强全局风格调制下，CAG 对维持内容结构具有关键作用。

消融实验的定性结果也表明，强风格化会让房屋、道路和地平线等内容结构明显退化。加入 CAG 后，模型仍然可以产生艺术家特有的笔触与几何变形，但主体关系和场景语义更加稳定。

上图展示了 GST 在 Stable Diffusion v1.4、v2.1 与 SDXL 三种T2I backbone模型上的泛化结果。由于不同骨干的 U-Net 中间层特征的维度不同，作者分别为各backbone的 h 空间训练对应的 SEF 函数。对同一内容图像，三种backbone均能生成具有一致艺术家级风格的输出。

四、总结

本文提出了GST框架，将艺术风格迁移由以单幅参考图驱动的 One-to-One 范式升级到以多幅作品共同定义风格分布的 Many-to-One 范式。该方法包含两条协同路径：GSG 在扩散 U-Net 的 h 空间中学习与文本无关的艺术家级风格迁移，以捕捉跨作品的稳定风格特征。CAG 则借助 DDIM inversion 与 CLIP 感知梯度共同约束内容语义，同时在生成过程中允许一定程度上的几何内容变形。实验表明，GST 能够减轻文本到图像模型对少数标志性作品的偏置，在风格多样性与避免记忆方面保持稳定，并维持较好的内容结构。

参考

[1] Rombach R, Blattmann A, Lorenz D, et al. High-resolution image synthesis with latent diffusion models[C]//2022 IEEE/CVF conference on computer vision and pattern recognition (CVPR). ieee, 2022: 10674-10685.

[2] Song J, Meng C, Ermon S. Denoising diffusion implicit models[J]. arXiv preprint arXiv:2010.02502, 2020.

[3] Kwon M, Jeong J, Uh Y. Diffusion models already have a semantic latent space[J]. arXiv preprint arXiv:2210.10960, 2022.

[4] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]//International conference on machine learning. PmLR, 2021: 8748-8763.

[5] Tan W R, Chan C S, Aguirre H E, et al. Improved artgan for conditional synthesis of natural image and artwork[J]. IEEE Transactions on Image Processing, 2018, 28(1): 394-409.

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈