从视频先验到统一图像生成：FrameForge 建模“变多远”与“怎么变”

近年来，视频基础模型在学习物体运动、场景变化和跨帧关系方面取得持续进展。这些能力也为条件图像生成提供了新的基础：当模型需要根据参考图、边缘图或编辑指令生成目标图像时，如何调用与当前输入相匹配的变化先验？

中国科学技术大学与形界智能（FrameX.AI）研究团队提出 FrameForge，通过输入自适应的虚拟时间关系，将视频模型的先验用于主体定制、边缘图生图和图像编辑。方法分别建模条件与目标之间的变化幅度，以及从条件到目标的中间变化路径。

实验中，FrameForge 在 DreamBench 上取得0.739的综合得分，在 COCO2017 上取得0.447的 SSIM；在 GEdit-Bench 英文子集上，整体编辑得分达到6.12，高于论文中所比较的其他开源方法。三类任务共用同一套 LoRA 适配参数。

论文题目：
FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation

论文链接：
https://arxiv.org/abs/2610.36545

项目主页：
https://framex-ai.github.io/FrameForge/

代码：
https://github.com/FrameX-AI/FrameForge

模型权重：
https://huggingface.co/FrameX-AI/FrameForge

一、研究动机：
不同输入需要不同的变化幅度

条件图像生成要求模型同时处理“保留什么”和“改变什么”。例如，将猫的动作改为睡觉，需要调整姿态并保留原有场景；将一只狗放到新的环境中，需要保持主体身份，同时允许背景和构图变化；根据边缘图生成图像，则需要沿着轮廓补充颜色、纹理和外观。

这些任务共享根据条件预测目标图像的形式，但条件与目标之间的关系具有明显差异。同一任务内部也存在变化幅度不同的样本，因此，仅用任务名称来决定如何使用模型先验仍不充分。

图 1｜不同条件图像生成任务与自然视频的感知差异分布。LPIPS 衡量图像间的感知差异，虚线表示各任务分布的中位数。

论文通过 LPIPS 统计发现，三类任务的条件—目标差异分布与自然视频中的帧间差异存在重叠；同时，不同任务以及同一任务内的不同样本，又呈现出较宽的变化范围。

这一观察支持了 FrameForge 的研究思路：视频模型在不同时间尺度下学到的视觉变化规律，可以为图像任务提供先验；具体采用哪一种先验，应由当前输入决定。已有将条件与目标放在固定时间位置的适配方式，难以充分反映这种差异。

二、多任务联合生成建模：
将图像关系映射到虚拟时间轴

FrameForge 将条件图像和目标图像视为虚拟视频中的不同帧，利用视频骨干学习到的跨帧关系完成目标图像预测。这里的虚拟时间间隔用于设置模型内部的相对位置，并不要求输入图像真实地来自同一段视频。

图 2｜FrameForge 整体框架。MoTE 选择时间位置先验，CoTR 引入中间隐状态；二者与共享 LoRA 共同适配视频骨干。

在多任务联合生成框架中，文本、条件图像、中间隐状态以及带噪目标表示共同参与计算。MoTE 负责选择变化先验，CoTR 负责学习中间变化路径，分别对应“变多远”和“怎么变”两个互补问题。

为了供开源社区研究与复现，我们开源版本的模型基于 HunyuanVideo1.5-T2V-720P，冻结预训练视频骨干和 VAE，通过路由器与一套共享 LoRA进行适配。三类任务各使用 17 万条训练样本，总计 51 万条，图像分辨率统一为 512 × 512。

训练分为三个阶段：首先只训练路由器，学习条件—目标之间的时间先验选择；随后加入中间隐状态，结合随机注意力掩码联合训练；最后恢复完整注意力继续优化，使训练后期的注意力配置与推理阶段一致。

三、核心方法：
选择变化先验并学习变化路径 1. 混合时间专家 MoTE：自适应决定“变多远”

视频骨干使用三维旋转位置编码（3D-RoPE）表达视觉信息的时空位置。MoTE（Mixture of Temporal Experts）构造短、中、长三类时间 RoPE 专家，通过调整条件与目标的虚拟间隔，为它们指定不同的时间位置关系。

轻量路由器结合文本、条件图像和带噪目标表示，在每个去噪步为每个样本选择一个专家。同一任务中的样本可以选择不同专家，同一样本也可以随去噪过程改变选择。默认配置对应 17、69、121 的等效视频帧跨度，这些数字定义的是位置编码范围，无需生成相应数量的实际视频帧。

2. 时序推理链 CoTR：建模条件到目标“怎么变”

CoTR（Chain of Temporal Reasoning）在条件与目标之间加入一个由噪声初始化的中间隐状态。它通过注意力与文本、条件和目标交互，逐步聚合目标预测所需的信息。这个中间状态无需解码为图像，也无需额外的中间帧标注。

为促使模型使用这条路径，FrameForge 在中间训练阶段采用注意力屏蔽机制：以一定概率阻断文本、条件图像与目标之间的直接注意力连接，引导条件信息经由中间隐状态传递。最终训练阶段与推理阶段恢复完整注意力，保留中间路径与直接交互。

图 3｜MoTE 的专家使用比例。曲线为 500 个案例在各去噪步上的平均结果；Gate 0、1、2 分别对应短、中、长间隔专家。

路由分析显示，边缘图生图在去噪早期主要使用长间隔专家；主体定制和编辑则由中间隔逐步转向短间隔，编辑的转变更早、更明显。这说明，专家选择同时响应任务需求与去噪阶段，具有样本自适应设计所需要的灵活性。

四、实验结果：三类任务共用一个模型

论文分别使用 DreamBench、COCO2017 和 GEdit-Bench，考察主体一致性、结构保持及指令编辑能力。下图展示三类任务的输入与输出。

图 4｜三类任务案例。上排为条件或参考图，下排为 FrameForge 输出；左、中、右分别为图像编辑、主体定制和边缘图生图。

主体定制：VIE-Score 得分 0.739。DreamBench 评估包含 30 个主体，每个主体使用 1 张参考图和 25 条提示词。FrameForge 的 VIEScore 综合得分高于论文中所比较的方法，优于 ChronoEdit 的 0.729。在图中案例中，模型保留柯基的辨识特征，同时满足了“位于粉色布料上方”的空间关系。

边缘图生图：SSIM 相对提升 7.2%。在 COCO2017 的 5,000 张验证图像上，FrameForge 的 SSIM 为 0.447，高于次优 EasyControl 的 0.417；FID 为 23.47，CLIP-T 为 0.323。图中示例较好保持了猫的姿态，以及猫与椅子之间的几何关系。

图像编辑：整体与动作修改得分均领先所比较的其他开源方法。在 GEdit-Bench 英文子集的 606 个样本、11 类编辑任务上，FrameForge 整体 G-O 为 6.12，动作修改 G-O 为 6.84；ChronoEdit 对应得分为 5.08 和 5.76。

五、消融分析：两项设计具有互补作用

单独选择合适的时间先验，或单独引入中间隐状态，是否已经足够？论文在相同的统一训练设置下比较了两项设计的独立贡献与联合效果。

统一共享 LoRA 基线的编辑得分为 4.94。加入 MoTE 后提升至5.77，加入 CoTR 后提升至5.56，两者结合达到6.12。完整模型同时取得该组消融中最高的主体定制得分和最低的边缘图生图 FID。

表 1｜核心组件消融（论文 Table 4）。Subject 与 Editing 为综合得分（↑）；Canny 为 FID（↓）。

任务专用 LoRA 的编辑得分为 5.99。单独引入任一模块尚未恢复这一水平，而两项设计结合后达到 6.12。这一结果支持了时间先验选择与中间变化建模相互补充的判断。

在 HunyuanVideo1.0 上，FrameForge 也优于统一共享 LoRA 基线：主体定制得分由 0.699 提升至 0.736，编辑得分由 4.38 提升至 5.00，边缘图生图 FID 由 24.52 降至 23.07，为该适配思路的跨骨干应用提供了进一步证据。

六、研究意义：
将视频变化先验用于图像任务

FrameForge 关注统一条件图像生成中的一个核心问题：模型如何适应不同输入所要求的保留程度与变化幅度。它将视频模型学到的多尺度变化规律与图像任务建立联系，通过虚拟时间关系和中间隐状态，为条件到目标的生成过程提供更灵活的建模方式。

对于主体定制、结构控制和图像编辑，这种思路使任务能够共享同一套适配参数，同时根据当前输入调整所用先验。研究结果也表明，视频基础模型积累的时序知识，可以为静态图像生成与编辑提供有效的迁移基础。

现有实验主要覆盖三类任务、512 × 512 分辨率及两种视频骨干。面向更多条件类型、更高分辨率和更复杂的组合约束，如何进一步扩展这种自适应关系建模，仍值得后续研究。

论文全文、项目展示、代码与模型权重可通过文首链接访问。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈