Dense 改 MoE、剪枝再提速：Agnes 开源 287 亿参数音视频生成模型

作者｜辛峰
邮箱｜ xf@pingwest.com

AI 视频越来越逼真，生成它的算力却并不便宜。复杂的动作、连贯的镜头和细腻的画面，背后都需要大量计算。一旦进入批量制作，反复生成、修改和重试的开销便会累积，成为创作者与视频平台必须考虑的成本。

Agnes 开源的音视频生成模型 Agnes-Video-2.0-MoE 正是一次针对推理效率的技术探索：单张 H200 GPU 约 30 秒生成 5 秒视频，推理速度较稠密（Dense）模型提升约 20%，较同类 MoE 模型快 2 倍以上。

其做法是把 Dense 模型改造成 MoE 将容量做大，再以专家剪枝把实际计算做小。这为视频生成走向规模化生产趟出了一条降本的新路。

MoE 模型案例

1

已有 Dense 模型的 MoE 化改造

要让视频表现更复杂的场景、动作和时序关系，模型需要更大的学习与表达容量。但如果只是把原有模型做大，通常也会增加每次生成视频所需的计算量。Agnes 选择从已有模型入手，通过 MoE 改造，探索扩大容量与控制计算规模的另一种路径。

MoE，也就是混合专家架构。可以把其中的“专家”理解为模型内部可供选择的处理网络：由路由机制将待处理的信息分配给不同专家，让模型在扩大容量的同时，控制实际计算规模。

在 Agnes 的研究中，团队以约 153 亿参数的 DaVinci-MagiHuman 预训练音视频生成模型为基础。这是一个 Dense 模型。改造前，模型中的相关计算模块各只有一个网络，负责处理分配给它的信息。

研究团队保留模型的大部分结构，把 40 层网络中间 32 层的部分计算模块，各自扩展成包含三个专家网络的模块。三个专家各有自己的参数，可以在训练中形成不同的处理方式，为学习场景、运动规律和时序关系提供更大的空间。处理信息时，路由机制只从三个专家中选择一个参与计算。这就像一家诊所把一位全科医生扩充成三位各有所长的专科医生，诊所整体的“潜力”由此变大。

对比来看，改造后的模型每次计算实际调用的激活参数量，仍与改造前的约 153 亿相当，而总参数量达到约 287 亿。

MoE 模型案例

这为已有 Dense 模型的架构转换与后续优化提供了参考路径。

想要开发视频创作工具和平台的团队，可以参考 Agnes 的做法，利用已经训练好的网络建立专家，保留原有模型基础，再通过训练适配完成改造，而不必从头训练一套新模型。之后随着专家分工与路由机制进一步优化，类似的 MoE 改造，还有潜力支持更长、更复杂、更多样的视频生成。

Agnes 技术人员给出的一组性能数据，直观说明了这一思路的价值：基于这一路线打造的 Agnes-Video-2.0-MoE，在单张 H200 GPU 上，仅需约 30 秒即可生成一段 5 秒视频；相比 Dense 模型，其推理速度提升约 20%，相比同类 MoE 视频模型，则快两倍以上。

不过这种效果并非单靠 MoE 改造。改造后，每个专家仍与原来的网络一样大，路由选择还会带来额外开销。Agnes 的下一步，是通过 EENP 精简专家内部的计算，由此带来生成质量、计算效率与推理成本之间更好的平衡。

1

用“剪枝”继续削减计算开销

所谓 EENP，即弹性专家神经元剪枝方法。

“剪枝”借用了修剪树枝的比喻，可以把它理解为对专家网络做一次精简：评估内部神经元对模型输出的贡献，保留重要的部分，移除贡献较小的部分，从而缩小实际参与运算的网络。

这里的难点在于，音视频模型同时处理画面、声音和文字。这些信息的数量和特征差别很大，视频信息的量往往远多于音频和文字。如果混在一起判断、处理，声音和文字的需求就可能被忽略。就像一场投票里某个群体人数占绝对多数，结果几乎只反映这个群体的意见。

EENP 先分别评估专家内部计算通道对视频、音频和文字处理的贡献，再统一尺度、按权重合并结果，据此选择保留哪些通道。被删掉的通道及相关参数会从网络结构中实际移除，专家内部的矩阵运算规模随之缩小。

（MoE 模型案例）

更进一步，Agnes 调整了视频生成中不同去噪步骤的计算安排。

去噪是生成画面最主要的计算环节。视频生成需要经过多轮去噪，逐渐形成画面。Agnes 在剪枝基础上提供 Quality 和 Fast 两种计算配置：Quality 保留更多重要计算通道，侧重生成质量；Fast 则从这些通道中选用贡献较高的一部分，以更少的计算加快处理。根据事先评估，模型在更关键的去噪步骤使用 Quality，在其余步骤使用 Fast。如此，便减少了整个生成过程的开销。

并且，两种配置共用一份权重，无需分别准备或加载两套模型，就能在不同步骤切换计算规模。这既为推理提效提供了手段，也让开发者调整计算安排时有了更灵活的选择。

论文：

https://github.com/AgnesAI-Labs/CROWN-Audio-Video-Diffusion

开源链接：

https://huggingface.co/Agnes-AI/Agnes-Video-2.0-MoE

1

从底层提升 AI 视频生产力

总的来看，MoE 解决的是扩展容量与按需调用的问题，EENP 则进一步解决专家内部如何减少计算的问题。两者协作，形成了一种连续的优化路径。这些优化，为视频生成带来了相当明显的改善。

相关实验中，在 EENP“60%剪枝”配置下，模型的平均激活参数量降至约 117 亿，去噪耗时从未剪枝版本的 26.83 秒降至 20.92 秒，减少约 22%。相比原 Dense 模型，去噪耗时也减少了约 13%。

不过，效率提升也伴随着一定的质量取舍。

在涵盖人物表现、可控性、物理合理性等维度的 VBench-2.0 评测中，剪枝后的模型得分约为未剪枝 MoE 的 92.4%。从对照案例来看，在女性说话的低运动场景中，中等程度剪枝后，人物身份与构图仍较稳定；在手持工具操作的高运动场景中，随着剪枝加深，手部、工具边缘等细节更容易退化。

这提示开发者，在探索推理配置时，需要结合内容类型来定。但整体而言，Agnes 的探索在保证较高生成质量的同时，让视频创作可以更快完成。

对于持续生成视频的工具和平台，这已经是值得期待的成果——随着视频生成进入广告、电商和内容制作流程，计算效率会进一步影响服务的供给能力，以及持续使用的成本。一次生成节省的时间，在批量任务中会逐渐累积；在硬件与任务条件相近时，缩短处理时间还让同一套算力可以承接更多需求，完成更多任务。

换言之，Agnes 对视频模型的 MoE 改造，换来了实实在在的生产力提升。而在 Agnes-Video-2.0-MoE 开源后，创作者都有机会从中受益。

1

瞄准“性价比”的 Agnes

有意思的是，Agnes-Video-2.0-MoE 的开源，不是一次孤立动作。

实际上，Agnes 近期还拿到另一项成果：在 Artificial Analysis 视频综合榜中，其视频模型 Agnes Video 2.5 进入全球前十。而这两项成果，都对这家 AI 公司官网首页的一句话做出回应：“让世界级 AI 属于每一个人”。

在底层技术上，MoE 模型探索了一条着眼于降低推理开销的技术路径；在过往的模型产品上，性价比本就是 Agnes 的突出标签。

以 Agnes Video 2.5 为例，其 720p 视频的 API 基础价格为每秒 0.025 美元，1080p 默认配置下的 API 参考价格为每分钟 2.4 美元，为反复尝试镜头提供了一个更友好的选择。

此外，Agnes 旗下视频创作平台 Pavo，直接提供了一个低门槛的创作入口。平台每天赠送 200 积分，可用于体验 Agnes Video 2.5；平台上的 Agnes Video 2.5 Flash，还可以免费使用，让创作者无负担地验证创作思路。

而把以上汇总起来，可以看到，Agnes 在技术实力上有依据，在视频质量上有成绩，在创作成本上有诚意。

最后一项尤为重要。因为对 AI 创作者来说，“性价比”是一种刚需。头部 AI 视频工具或平台，常依靠免费积分或主动降价拉拢用户。Agnes 自身的情况，也说明了创作者们对性价比的渴望。

综合 API 接入和 Pavo 平台内部使用情况，Agnes 视频模型日均调用生成时长已经达到 560 万秒，约合 1556 小时。与此同时，抖音视频平台中 Pavo 相关话题量超过 3 亿。

其中缘由不难理解。好作品需要反复打磨，但每次视频生成的费用、抽卡带来的精神消耗，都让创作热情降温。而一个高性价比的平台，大大减少了人们的创作负担。

从这个视角来看，Agnes 的种种探索，本质上是对 AI 创作边界的延展。市场需要更多类似的探索，AI 创作也需要更自由一点。

点个“爱心”，再走 吧