网易首页 > 网易号 > 正文 申请入驻

提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法

0
分享至

允中 发自 凹非寺
量子位 | 公众号QbitAI

AI视频生成中,推理速度提升与生成质量下降,可能同时发生。

减少计算步骤可以缩短生成时间,但也可能引入误差累积;保留完整计算过程能够维持生成质量,却需要承担更高的算力与显存开销。

当视频生成从单次体验进入批量生产,问题不再只是模型能否生成视频,而是如何在生成质量、推理时延与资源成本之间取得平衡

针对这一需求,是石科技正式发布新品「多模态模型服务」,将优化重点放在视频生成推理加速、缓存与显存管理、多模态Token压缩,以及素材理解与生成链路衔接上。

其中:

  • 基于历史缓存残差的自适应加速技术负责减少视频生成过程中的冗余计算;
  • 结合SGLang的缓存管理机制优化资源使用;
  • 模态自适应Token压缩降低多模态理解开销;
  • 基于全模态模型的Context Engine则将素材理解结果转化为可供视频生成模型执行的结构化信息。

这些技术分别作用于不同环节,最终指向同一个目标:

在保障生成质量与服务稳定性的前提下,提高多模态模型的推理效率与算力利用率。

视频生成加速:减少冗余计算,同时控制误差累积

视频生成模型通常需要经过多轮迭代计算,逐步完成从初始信息到视频内容的生成。在这一过程中,相邻计算步骤之间存在可复用的信息。

如果每一步都执行完整计算,会产生较高的推理开销;但如果直接跳过部分步骤或复用历史结果,缓存误差又可能随迭代不断累积,最终影响生成质量。

因此,视频推理加速的关键,并不是简单减少计算次数,而是判断哪些计算可以安全复用,以及何时需要重新计算来控制误差

是石科技采用基于历史缓存残差的自适应加速技术,通过历史计算信息评估缓存复用风险,并动态调整计算与刷新策略。

对于变化较小的计算部分,系统复用历史结果,减少重复计算;对于误差风险较高的关键部分,则触发重新计算与校准,降低缓存误差对后续生成过程的影响。通过动态刷新与误差校准机制,系统在减少计算开销的同时,尽可能维持视频生成轨迹的一致性。

△相同实验设置下,是石科技缓存复用方案相对Dense端到端加速的可视化样例





在发布方案展示的测试条件下,相比Dense基线方案,该技术实现端到端平均2.48倍的加速,同时保持生成质量。

这意味着,推理加速不再完全依赖减少生成步骤,而是通过更精细的计算复用策略,在效率与质量之间建立动态平衡。

缓存与显存协同优化:提高单位算力的任务处理能力

视频生成的资源开销不仅来自计算量,也来自推理过程中的显存占用。

当多个视频任务并发执行时,缓存数据的存储、读取和更新都会影响显存使用效率。即使单个任务获得加速,如果缓存管理带来额外资源负担,仍可能限制整体任务处理能力。



因此,单任务推理加速与多任务资源利用,需要协同优化

是石科技将智能缓存决策与SGLang推理框架结合,通过缓存复用、分块处理、压缩及智能调度等机制,减少重复计算与不必要的显存开销。

同时,系统引入风险感知机制,根据实际计算反馈动态调整缓存策略,在提高复用效率的同时控制误差风险。这一设计将优化范围从单次推理计算扩展到资源管理层面。

对于企业级视频生产而言,生成速度、显存占用与任务并发能力共同决定算力资源的实际产出。通过降低冗余计算和缓存开销,可以为更高并发和更灵活的任务部署提供空间。

模态自适应Token压缩:降低音视频的理解开销

视频生成之外,多模态理解同样面临计算效率问题。

与文本相比,视频和音频包含更高密度的时序信息。模型在处理连续视频帧、声音片段等输入时,需要将这些内容转化为大量Token,进而增加计算与存储负担。但不同模态、不同片段的信息密度并不相同。部分Token包含关键语义信息,部分则存在较高冗余。

如果对所有Token采用相同处理方式,容易产生不必要的计算开销;如果直接进行统一压缩,又可能丢失影响理解结果的重要信息。

是石科技提出基于模态自适应的免训练Token压缩方法,利用基于AudioCLIP的模态感知技术,识别不同模态中的有效信息,并据此调整Token保留与压缩策略。

其核心思路是:根据模态特征与信息价值分配计算资源,而不是对所有输入进行等比例处理。

该方法无需额外训练,通过减少冗余Token,降低多模态理解阶段的计算负担,同时尽可能保留关键语义信息。



在WorldSense评测中,该方法实现1.33倍加速。在VideoMME、DailyOmni等多模态理解基准测试中,也展现出良好的性能表现。这使多模态推理优化从视频生成端进一步延伸至素材理解端,为处理复杂视听输入提供更高效的技术路径。

基于全模态模型的Context Engine解决方案

推理效率之外,多模态视频创作还需要解决理解结果如何进入生成流程的问题。

实际业务中的视频生成请求,往往同时包含人物图片、参考视频、音频及文字要求。

这些输入不仅具有不同的数据形式,还包含人物身份、动作、声音、镜头与时间顺序等约束。

如果直接将复杂素材与自然语言指令交给生成模型,素材之间的关联关系和执行要求可能难以得到一致表达。

为此,是石科技构建了基于全模态模型的Context Engine解决方案,在多模态理解与视频生成之间建立结构化的信息衔接机制。

系统首先理解输入素材及创作需求,提取人物、声音和相关约束,再将其组织为包含镜头、动作、对白等内容的结构化信息,供后续视频生成模型执行。例如,用户提供人物图片和参考音频,并要求生成一段人物对白视频时,系统需要将人物信息、声音内容与镜头安排进行关联,而不只是生成一段文字提示词。

这一解决方案通过素材绑定、结构化分镜、时轴校验及错误修正等机制,使不同模态的信息能够在生成流程中形成相对明确的对应关系。

其优化重点,是将复杂的多模态输入转化为更清晰、可校验、可执行的生成上下文。



在服务层面,是石科技进一步构建覆盖API接入、任务编排、模型路由、推理执行与结果交付的多模态推理架构,并通过任务状态管理、并发控制、超时重试与恢复机制,支撑实际业务中的任务运行与交付。

从模型推理效率到完整生产链路

多模态模型进入生产环境后,生成质量、推理时延、显存成本与任务稳定性不再是彼此独立的指标。

视频生成端需要控制冗余计算与误差累积,多模态理解端需要减少无效Token处理,生成链路则需要保证素材信息和创作约束能够有效传递。

此次是石科技发布的多模态模型服务,将这些优化能力放在同一条生产链路中考虑。

从自适应缓存加速、显存资源管理,到模态感知Token压缩、基于全模态模型的Context Engine解决方案的结构化衔接,再到推理服务架构,优化对象逐步从单个模型的计算过程延伸至多模态任务的执行与交付。

AI视频规模化应用的关键,不只是缩短一次生成的等待时间,而是在既定算力资源下,持续完成更多满足质量要求的生成任务。

从“能生成”到“好生产”,未来是石科技将持续围绕多模态推理效率、资源利用与服务稳定性等方面展开技术优化,为AI视频从模型能力走向实际生产提供基础支撑。

*本文系量子位获授权刊载,观点仅为原作者所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三方交易流言再更新!网传杨瀚森奔赴老鹰,交易框架曝光

三方交易流言再更新!网传杨瀚森奔赴老鹰,交易框架曝光

体育见习官
2026-11-15 20:07:41
54岁陶虹近照流出,常年吃素身材又胖又壮,这大肥裤200斤都能穿

54岁陶虹近照流出,常年吃素身材又胖又壮,这大肥裤200斤都能穿

八怪娱
2026-11-13 14:55:02
取消特权,全民赞成!郑秉文被骂上了热搜,到底发生什么事?

取消特权,全民赞成!郑秉文被骂上了热搜,到底发生什么事?

大鱼简科
2026-08-18 16:44:54
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我会棒打鸳鸯。因为我觉得门当户对很重要,而且婚姻要得到双方父母的祝福,才会幸福”

背包旅行
2026-11-16 09:55:48
说出来你可能不信,委内瑞拉有20万中国人。但最邪门的是,其中有足足18万,竟都来自同一个地方——广东恩平。

说出来你可能不信,委内瑞拉有20万中国人。但最邪门的是,其中有足足18万,竟都来自同一个地方——广东恩平。

回京历史梦
2026-10-27 13:43:20
中年人破产三件套:觉得房子不够大去换新房,觉得一个娃太少生二胎,觉得工资不高去创业

中年人破产三件套:觉得房子不够大去换新房,觉得一个娃太少生二胎,觉得工资不高去创业

舒山有鹿
2026-10-17 23:31:18
上海这一夜,妖艳四射的唐嫣和刘诗诗,却败给了全裹出镜的李沁

上海这一夜,妖艳四射的唐嫣和刘诗诗,却败给了全裹出镜的李沁

萧狡科普解说
2026-11-12 12:12:19
真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

派大星纪录片
2025-07-15 13:28:11
江西夫妻负责一百多万:2000元拍短剧,年产值2000万,利润呢?

江西夫妻负责一百多万:2000元拍短剧,年产值2000万,利润呢?

手工制作阿歼
2026-11-16 08:05:01
看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

怪味历史连连看
2026-07-01 14:49:12
1999美元的iPhone Duo,被一次iPad更新追平了

1999美元的iPhone Duo,被一次iPad更新追平了

算力游侠
2026-11-15 03:58:17
中国香港最大成人展紧急取消!网传波多野结衣,河北彩花近30名女优被拒入境,全员遣返回日本

中国香港最大成人展紧急取消!网传波多野结衣,河北彩花近30名女优被拒入境,全员遣返回日本

东京在线
2026-11-14 02:20:58
8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

扶苏聊历史
2026-10-22 14:37:54
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
天津这个老小区将于今年年底前开始拆除?!

天津这个老小区将于今年年底前开始拆除?!

天津族
2026-11-16 07:32:50
节省了一辈子的母亲,看短剧花了22万

节省了一辈子的母亲,看短剧花了22万

中国新闻周刊
2026-11-05 16:50:14
中美关系的底牌摊开了:要么一方交出产业,要么一方放弃霸权

中美关系的底牌摊开了:要么一方交出产业,要么一方放弃霸权

素颜为谁倾城人
2026-11-15 22:18:30
11月 16日提醒所有退休人员十一月份养老金到账,一定要核对三样内容

11月 16日提醒所有退休人员十一月份养老金到账,一定要核对三样内容

白昼说故事
2026-11-16 09:39:12
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-16 00:05:11
41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

桑葚爱动画
2026-11-03 14:18:57
2026-11-16 12:03:00
量子位 incentive-icons
量子位
追踪人工智能动态
13679文章数 176599关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

英伟达、字节、谷歌,涌入"救命"的生意

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

数码
旅游
手机
公开课
军事航空

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版