网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式

0
分享至



现实世界中的事实知识并非一成不变:企业 CEO 可能更替,产品信息会随着发布与迭代而更新,赛事结果也会不断产生。多模态大模型需要及时吸收这些新信息,才能保持知识的时效性。然而,在持续引入新事实的过程中,如何避免新旧知识之间的相互干扰,并尽可能保留模型在预训练阶段形成的通用能力,仍是亟待解决的关键问题。

针对这一挑战,在西北工业大学宋凌云教授和尚学群教授的共同指导下,研究团队提出了多模态终身知识编辑框架ROSE。该框架通过在知识编辑阶段约束参数更新方向,降低新旧知识之间的干扰。同时在推理阶段按需激活相关编辑的知识,从而减少连续知识更新带来的知识遗忘与原有能力退化。该论文入选NeurIPS 2026 Spotlight。



  • 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
  • 作者:宋凌云,陈子尧,潘康,韩笑琳,张逸飞,王小奇,潘雨黛,尚学群
  • 论文链接:https://arxiv.org/abs/2611.09770
  • 代码链接:https://github.com/sunlitsong/ROSE

连续更新知识面临哪些挑战?

知识编辑旨在不重新训练整个模型的情况下,纠正错误或更新特定事实。在真实应用场景中,新事实会随着现实事件不断出现,已有事实也可能发生变化。因此,多模态终身知识编辑需要模型在学习新知识的同时,保留先前的编辑结果,并维持无关输入上的原有表现。本文将这一挑战归纳为两个方面:

1. 灾难性遗忘(Catastrophic Forgetting):后续知识更新干扰先前的编辑结果,导致模型难以保持已编辑过的事实性知识(例如,先前已纠正过苹果公司的 CEO,在后续更新后又回答错误)。

2. 局部性退化(Locality Erosion):知识更新使模型在无关知识上的输出发生非预期变化,甚至损害模型原有的预训练能力(例如,更新苹果公司 CEO 的信息后,模型对其他公司的 CEO 也产生了不必要的回答变化)。

视觉与文本表示之间的关联进一步增加了控制编辑范围的难度。一次事实更新可能同时影响图像理解和语言回答,因此需要兼顾历史编辑的保持,以及无关知识与原有能力的稳定性。

连续编辑为什么容易相互干扰

知识编辑希望以较小代价纠正模型中的特定事实,避免每次更新都重新训练整个模型。例如,模型可能先后接收到多条知识更新:先将苹果公司的 CEO 从蒂姆・库克更新为约翰・特努斯,随后更新特努斯的任职经历及其此前负责的业务,再补充库克卸任 CEO 后的职务变化。完成这些编辑后的模型不仅要准确掌握每一条新信息,还应保证此前已经写入的知识不能因后续其他事实的更新而被错误修改。

然而困难在于,大模型中不同事实所依赖的知识空间并非是相互独立的。一次新的编辑可能改变此前编辑所依赖的特征方向,也可能影响无关输入上的输出。因此,即使模型成功写入了新事实,后续编辑仍可能导致历史知识被遗忘,或改变其在无关问题上的回答。

下图使用优化路径直观地解释了这个问题:如果更新过于保守,可能无法成功编辑新事实。而如果更新过于激进,又容易干扰其他知识。因此,ROSE 希望在知识编辑过程中避开可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,从而在新知识写入与原有知识保持之间取得平衡。



图 1 传统知识编辑方法与 ROSE 的优化路径示意。

ROSE 如何写入和使用新知识

在编辑阶段,ROSE 冻结原模型主干,在选定 Transformer 层的 FFN 下投影矩阵中引入一个辅助分支,连续到来的新知识都写入这个分支。在推理阶段,模型先判断输入是否是已编辑过的知识,再决定如何结合两个分支的表示。



图 2 ROSE 框架图。

风险感知的正交编辑机制

为了减少后续编辑对已有修改的干扰,ROSE 分别提取历史编辑中的视觉和文本特征,构建对应的知识子空间用来记录历史编辑涉及的特征方向。在新一轮编辑时,ROSE 将梯度投影到历史知识子空间的正交补空间,移除与历史编辑方向重合的梯度分量,使新的参数更新尽可能避开已有编辑所涉及的特征方向,从而降低新旧知识之间的相互干扰。

然而,仅保护历史编辑涉及的特征子空间,还不足以保证模型原有知识与通用能力的稳定。为此,ROSE 引入动态风险掩码机制,以固定的原始权重为锚点,筛选出变化较大的参数空间参与后续更新,抑制其他参数位置的更新。该掩码在梯度更新时是动态重新计算的,以此来进一步保护大模型在预训练阶段形成的通用知识与能力。

多粒度知识整合策略

辅助分支中的编辑知识并非适用于所有输入。例如,更新苹果公司 CEO 的信息,不应影响模型对其他无关企业的回答。为此,ROSE 为每次编辑分别提取视觉和文本语义原型,记录本次修改涉及的知识特征。当模型接收到新问题时,通过计算输入特征与历史语义原型之间的相似度,判断当前输入是否与已有编辑相关。未通过语义门控的输入直接沿用原始主干的输出。

对于通过门控的输入,ROSE 进一步比较原始主干与辅助分支的特征表示差异,并据此构建动态融合掩码,仅在差异较为显著的位置引入编辑后的特征表示,其余位置仍保留原始表示。通过这种由粗到细的知识整合方式,实现对编辑知识的选择性调用,减少对无关知识和原有能力的干扰。

ROSE 在长编辑序列下的表现

论文在 VLKEB 和 MMEdit 两个基准上测试 ROSE,任务包括视觉问答和图像描述。可靠性关注模型是否正确完成目标知识的更新;泛化性考察模型在问题表述或图像发生变化时能否依然准确回答;局部性则关注知识编辑是否影响其他无关输入,确保模型在这些输入上的输出尽可能保持编辑前的一致性。

下表是 LLaVA-v1.5-7B 在 VLKEB 上完成 1000 次连续编辑后的结果。



从结果中不难看出:

1. ROSE 有效缓解了灾难性遗忘。

如表所示,随着编辑次数增加,多数基线方法的可靠性明显下降。在 VLKEB 上完成 1000 次编辑后,FT-L 的可靠性降至 68.14%,而 ROSE 仍达到 95.24%。从 1 次编辑增加到 1000 次,ROSE 仅下降 4.76 个百分点,FT-L 则下降 26.15 个百分点。这得益于风险引导的正交编辑机制:正交约束减少新旧编辑之间的方向冲突,动态风险掩码则限制参数更新范围,降低对预训练知识与能力的干扰。

2. 更好的知识泛化能力。

在 VLKEB 上,ROSE 在文本和多模态泛化方面均表现良好,且在 1000 次编辑后均优于最强基线 LiveEdit。其文本泛化达到 92.74%(LiveEdit 为 83.97%),多模态泛化达到 84.53%(LiveEdit 为 82.75%)。这得益于扰动引导的知识子空间融合机制,通过比较两个分支的特征差异,选择性融合变化显著的部分,同时保留其余原始表示。

3. 出色的局部性。

保留无关知识的完整性是许多编辑方法面临的难点。SERAC 在 VLKEB 上的多模态局部性降至 15.04%。相比之下,ROSE 的文本局部性达到 100%,多模态局部性达到 88.39%。这得益于从粗到细的知识整合策略。语义对齐门控引导无关查询绕过辅助分支,扰动引导的融合则针对相关输入进行细粒度修改,从而减少对其他事实知识的意外干扰。

运行成本方面,在单张 RTX 4090 和 LLaVA-v1.5-7B 的测试配置下,1000 次编辑设置中的平均单次编辑耗时约 1.31 秒,每条查询推理约 1.13 秒,展示了一定的实用价值。



结语

ROSE 通过风险感知的正交编辑机制减少连续知识更新对已有知识的干扰,并借助多粒度知识整合策略按需调用编辑后的知识,降低局部性退化风险,从而在新知识学习与原有能力保持之间实现更好的平衡。实验结果进一步验证了该框架在多模态终身知识编辑任务中的有效性。

第一作者简介


宋凌云,西北工业大学计算机学院副教授,博士生导师,研究方向包括多模态大模型的强化微调、智能体技术、跨媒体认知与推理、计算机视觉等。发表 SCI 以及计算机领域高水平会议论文 60 余篇,申请国家级发明专利 20 余项和软件著作权多项。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国公司将特斯拉Model 3爆改成MPV,超充、OTA、辅助驾驶都能用

美国公司将特斯拉Model 3爆改成MPV,超充、OTA、辅助驾驶都能用

IT之家
2026-11-21 18:55:05
法国作家Vincent Crouzet胡说八道:所有在法国居住的华人、华侨或者有中国背景的人都是间谍

法国作家Vincent Crouzet胡说八道:所有在法国居住的华人、华侨或者有中国背景的人都是间谍

小徐讲八卦
2026-11-22 08:09:49
重选一百次,状元也只能是我!四大天选状元,詹姆斯勉强上榜

重选一百次,状元也只能是我!四大天选状元,詹姆斯勉强上榜

曼巴体育6
2026-11-22 18:14:53
《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

游民星空
2026-11-22 12:11:17
四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

农民日报
2026-11-21 19:13:51
这是毛主席在泰安的旧照,27岁时穷游泰山鞋子竟被贼偷走!

这是毛主席在泰安的旧照,27岁时穷游泰山鞋子竟被贼偷走!

老钱道古今
2026-11-22 08:50:30
媒体造神,从删掉"交易额"开始

媒体造神,从删掉"交易额"开始

鲁先生的笔
2026-11-21 21:51:20
玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

抽象派大师
2026-11-22 01:39:07
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

LULU生活家
2026-11-21 14:45:18
普京向乌克兰军人“喊话”

普京向乌克兰军人“喊话”

参考消息
2026-11-21 15:58:07
美军收到情报,台海一旦开战,解放军600枚超导,让美军有来无回

美军收到情报,台海一旦开战,解放军600枚超导,让美军有来无回

遁走的两轮
2026-11-22 14:00:37
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
“大不了就去送外卖”——年薪50万的高管被裁后真去跑了半年,才发现低处早就人满为患

“大不了就去送外卖”——年薪50万的高管被裁后真去跑了半年,才发现低处早就人满为患

一丝不苟的法律人
2026-11-20 11:43:40
2027年冬天,可能是最近60年最反常的冬天,有三大特点,大家一定要注意

2027年冬天,可能是最近60年最反常的冬天,有三大特点,大家一定要注意

笑谈文史
2026-10-18 20:35:15
妻子升处长后跟我离婚,领完证后我拨通了省纪委电话,她脸色煞白

妻子升处长后跟我离婚,领完证后我拨通了省纪委电话,她脸色煞白

千秋文化
2026-07-14 19:32:44
连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

兵国大事
2026-11-20 16:37:56
一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

大西体育
2026-11-21 21:46:18
A股:全体股民做好心理准备了,明天11.23,A股可能再次历史重演吗

A股:全体股民做好心理准备了,明天11.23,A股可能再次历史重演吗

股侠指北针
2026-11-22 17:56:35
H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

互联网.乱侃秀
2026-11-21 11:23:44
11月21日,大家期盼已久的2026年养老金,究竟涨还是不涨?

11月21日,大家期盼已久的2026年养老金,究竟涨还是不涨?

虎哥闲聊
2026-11-21 21:35:58
2026-11-22 18:51:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

家居
本地
手机
亲子
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

手机要闻

消息称三星正为One UI 9.5引入新版实时通知

亲子要闻

孩子厌学不想上学,不是想开点就好了

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版