网易首页 > 网易号 > 正文 申请入驻

保留画面细节!智象元一视频目标概念擦除新方法中稿ECCV 2026

0
分享至

智猩猩AI整理

智象元一投稿

文本到视频模型让人们能够用自然语言生成生动的视频,但强大的生成能力也带来了不安全内容和人物身份滥用等问题。概念擦除希望在保留模型生成能力的同时,抑制指定内容。

然而,在视频中擦除一个目标,往往还会改变周围的背景、光照和人物动作。如何让模型准确擦除不希望出现的概念,同时尽量保留原有画面?

针对这一挑战,智象元一(HiDream.ai)与中国科学技术大学团队提出了EraseSAE,将稀疏自编码器引入文本到视频扩散模型的概念擦除。该方法通过“分解—归因—擦除”流程,识别与目标概念相关的稀疏特征,并利用动态时空掩码引导局部干预,在概念擦除效果与视频内容保持之间取得了更好的平衡。研究已被ECCV 2026接收,代码现已开源。


  • 论文题目:EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders

01

研究背景与动机

现有概念擦除方法通常通过调整文本条件、修改模型参数或干预中间特征来抑制目标内容。当这些方法应用到视频生成时,主要面临以下问题。

局部目标带来全局影响。 目标可能只出现在某几帧、某一小块区域,但全局施加的擦除操作会影响整段视频,使非目标区域也发生变化。

目标位置随生成过程变化。 扩散模型从粗略结构逐渐生成细节,同一概念的激活范围也会不断变化。固定区域的干预难以持续跟踪目标,还可能引入跨帧不一致。

EraseSAE 的解决思路是:先利用稀疏自编码器把纠缠的内部表示分解成更容易识别的稀疏特征,再找到目标概念对应的特征,并根据它们的实时响应确定干预区域。这让概念擦除同时具备语义上的选择性和空间上的局部性。

02

技术揭秘


1.分区卷积稀疏自编码器

稀疏自编码器(SAE)可以把复杂的内部激活分解成更易分析的稀疏特征。团队设计的分区卷积稀疏自编码器PConvSAE用卷积处理视频模型中间特征,保留每帧的空间布局。

PConvSAE 包含两个独立分支:上下文分支学习背景、场景布局等信息,概念分支学习目标相关的局部特征,并为不同目标划分独立通道,减少相互干扰。稀疏激活机制选出空间响应较强的少量通道,同时保留其空间分布。

训练时,模型自身的注意力机制提供目标区域的监督信号,无需额外的人工区域标注。配合区域重构、概念泄漏约束和时间一致性损失,两个分支逐步形成分工,为后续定位与擦除提供基础。

2.对比归因锁定目标特征

EraseSAE 对比是否包含目标概念的正负样本对,筛选真正与目标相关的特征。优先保留对目标响应强、明显高于其他概念与背景,并在多个正样本中稳定出现的特征。例如,擦除人物身份时,需要区分“对这个人的身份特征敏感”和“对一般人脸敏感”。归因离线完成,推理时直接使用已锁定的特征集合。

3.动态时空掩码引导局部擦除

在设定的去噪干预区间内,EraseSAE 每一步都会重新读取稀疏特征响应。上下文分支提供前景范围的线索,目标特征提供概念位置的线索,两者共同形成动态时空掩码,跟踪不同视频帧和去噪步骤中的目标区域。

随后,方法通过空间调制的无分类器引导(SM-CFG),在掩码覆盖的位置将生成结果引向安全的替代语义,掩码外则保留原始条件预测。例如,抑制人物身份时,重点改变与身份相关的局部内容,尽量保留人物动作与周围场景。

03

实验结果

1.定量结果

EraseSAE在 CogVideoX-5B 和 HunyuanVideo 上开展了裸露内容擦除与公众人物身份擦除实验,并且在大多数指标上都稳定优于现有方法。

在裸露内容擦除任务中,两个模型的检测率分别从原始模型的 28.25% 和 68.13% 降至 2.62% 和 7.13%,在论文比较的方法中均为最低。同时,EraseSAE 的 SSIM 在两个模型上也均为最优,说明较强的目标抑制没有以大范围改变画面为代价。


身份擦除实验覆盖五位公众人物。EraseSAE 在降低目标身份平均检测率的同时,获得了更高的平均 SSIM。对其余未擦除身份的保持率分别为 58.60% 和 61.50%,表明目标身份抑制与其他身份的生成能力能够得到较好的兼顾。


2.定性结果(视频+可视化图片)

(1)裸露内容擦除


(2)公众人物身份擦除


04

结语

EraseSAE 将稀疏特征分析与视频生成控制结合起来:通过 PConvSAE 分离场景上下文与目标概念,通过对比归因筛选目标特征,再用动态时空掩码约束擦除范围。实验结果表明,这一路径能够在抑制目标内容的同时,更好保留视频原有的结构与语义,为文本到视频模型的精细化安全控制提供了新的方法。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
这幅丑书曾卖出4个亿,通篇杀气腾腾,把王羲之都比下去了——黄庭坚草书《砥柱铭》

这幅丑书曾卖出4个亿,通篇杀气腾腾,把王羲之都比下去了——黄庭坚草书《砥柱铭》

幸福娃3790
2026-10-07 12:39:20
深挖陈宇昕家境,不查不知道,背后真相让人倍感寒心

深挖陈宇昕家境,不查不知道,背后真相让人倍感寒心

阿废冷眼观察所
2026-10-20 11:20:02
比赵少康"有骨气"!被搜查后,吴子嘉展现决绝姿态,或将绝食抗议

比赵少康"有骨气"!被搜查后,吴子嘉展现决绝姿态,或将绝食抗议

云上乌托邦
2026-10-23 13:44:11
律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

一丝不苟的法律人
2026-10-16 12:40:23
神似赌王却六亲不认?新店全家缺席,何猷龙已走上另一条豪门之路

神似赌王却六亲不认?新店全家缺席,何猷龙已走上另一条豪门之路

秋姐居
2026-10-22 19:38:49
菲律宾路走窄了,罕见有人为华发声,刚说两句公道话,莎拉就翻脸

菲律宾路走窄了,罕见有人为华发声,刚说两句公道话,莎拉就翻脸

云上乌托邦
2026-10-23 16:10:10
在洛杉矶种菜被邻居投诉:一边是中国人的乡愁,一边是美国人的规矩

在洛杉矶种菜被邻居投诉:一边是中国人的乡愁,一边是美国人的规矩

西楼知趣杂谈
2026-10-22 18:57:39
长津湖冻死冻伤数万战士究竟应由谁来负责?

长津湖冻死冻伤数万战士究竟应由谁来负责?

雍亲王府
2026-10-16 20:00:10
博主在藏区遇“兔唇儿童”发视频求助,嫣然医院院长立刻对接:将接到北京治疗费用全包,会想尽一切办法帮助

博主在藏区遇“兔唇儿童”发视频求助,嫣然医院院长立刻对接:将接到北京治疗费用全包,会想尽一切办法帮助

极目新闻
2026-10-23 11:58:24
第一次具象化的看到养小孩有多费钱!网友:谁把我工资放这了?

第一次具象化的看到养小孩有多费钱!网友:谁把我工资放这了?

夜深爱杂谈
2026-10-21 08:46:52
刘嘉玲那时候一看就是大陆妹,和本地香港人还是有很大区别的

刘嘉玲那时候一看就是大陆妹,和本地香港人还是有很大区别的

西楼知趣杂谈
2026-10-21 11:32:28
湖北体量最大的皮肤科要搬家了!武汉市第一医院新大楼26日开诊

湖北体量最大的皮肤科要搬家了!武汉市第一医院新大楼26日开诊

武汉交通广播
2026-10-23 16:24:01
宏远最新消息!陈老板邀请李春江出山,徐杰赛前加练,萨姆纳好消息传来!

宏远最新消息!陈老板邀请李春江出山,徐杰赛前加练,萨姆纳好消息传来!

体坛卡卡说
2026-10-22 17:00:54
南京警方回应“留学生在国外身披旭日旗”事件:收到数百起举报,有专门部门处理,“这不是小事”

南京警方回应“留学生在国外身披旭日旗”事件:收到数百起举报,有专门部门处理,“这不是小事”

大风新闻
2026-10-21 22:57:10
NBA最大老狐狸!约基奇把老板算哭了:晚签一年,多薅一部航母

NBA最大老狐狸!约基奇把老板算哭了:晚签一年,多薅一部航母

桑葚爱动画
2026-10-21 19:43:05
“蔷琵”(强台风级)逐渐向台湾东北部沿海靠近,浙江上调防台风应急响应为三级

“蔷琵”(强台风级)逐渐向台湾东北部沿海靠近,浙江上调防台风应急响应为三级

大风新闻
2026-10-23 09:54:12
火药味已起,皮克社媒晒5-0手势照片:国家德比周

火药味已起,皮克社媒晒5-0手势照片:国家德比周

懂球帝
2026-10-23 03:28:16
紫牛头条 | “这孩子有跑步天赋 ”, 父亲听网友“劝”让女儿参赛,孩子拿了一个冠军一个亚军

紫牛头条 | “这孩子有跑步天赋 ”, 父亲听网友“劝”让女儿参赛,孩子拿了一个冠军一个亚军

扬子晚报
2026-10-22 22:20:48
1958年,张治中问毛主席:您好像处处存着戒心,毛主席如何回答?

1958年,张治中问毛主席:您好像处处存着戒心,毛主席如何回答?

顾秋韵
2026-10-22 09:27:04
终于知道为什么大家都说农学是抑郁率最低的专业了!

终于知道为什么大家都说农学是抑郁率最低的专业了!

另子维爱读史
2026-10-18 11:46:21
2026-10-23 17:19:00
智猩猩
智猩猩
AI 技术内容与服务平台
267文章数 13关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

26岁女艺人凌晨道歉:承认与粉丝私联 但否认亲吻上床

头条要闻

26岁女艺人凌晨道歉:承认与粉丝私联 但否认亲吻上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

全球首款增程越野皮卡 长安猎手K70上市19.29万元起

态度原创

本地
家居
房产
公开课
军事航空

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版