网易首页 > 网易号 > 正文 申请入驻

VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆

0
分享至



来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。



  • 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
  • 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
  • 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
  • 论文:https://www.preprints.org/manuscript/202607.1539

一、为什么 VLM 需要记忆

近年来,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上飞速发展,并逐渐扩展到更为复杂、大体量的长程任务和真实应用。这些任务要求模型在更长的时间跨度、更多轮的交互中持续积累并调用过往信息,单纯扩展上下文窗口往往难以满足这一需求。为此,研究者用不同的方法尝试为 VLM 引入记忆机制,例如外部记忆库、层级化记忆、长短期记忆等。

然而,已有的设计多从特定的任务场景以及架构出发,对于记忆的实现和优化也往往专注于与任务相关的维度,术语和设计各不相同,缺少一个统一的视角来理解和比较这些方法。另一方面,已有的记忆相关的综述大多聚焦于 LLM,对于 VLM 方面的描述只包含特定的任务形式,有一定的局限性。

在这篇综述中,作者提出了全新的 4D 分类框架,系统刻画 VLM 中的记忆机制。基于这一框架,作者梳理了 300 余篇相关工作,总结出八种典型的记忆形态,整理了近 70 个评测基准,分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景中的作用,并讨论了当前面临的挑战与未来方向。



图 1|VLM 记忆相关研究的发展时间线。图中从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度展示代表性研究及其发展脉络,中间标注了同期主要基础模型的发展节点。

二、核心框架:4D 记忆分类



图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。

作者提出对于记忆的视角应从单纯的信息储存单元扩展到整个生命周期:有关的信息先从多模态任务中被观测并写入记忆,随着时间被反复提炼和组织,并在处理相关任务时被检索和调用。基于这一视角,作者提出了 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度,系统刻画 VLM 中的记忆机制。

1)When:记忆保留多久。这一维度关心记忆的存在时间。最短的瞬时记忆用于单次推理,情景记忆则适用于多轮对话和多轮交互,这两者的记忆通常仅在当前推理或任务交互期间保留。而最长的持久记忆会在会话结束后依旧保留下来,为后续的交互所用。

2)Where:记忆存在哪里。记忆的储存位置有模型内部和外部两类。内部记忆往往储存于模型的参数、隐藏状态和 KV 缓存中,这类记忆调用快并且与推理任务结合更密切,但不利于修改和查看。外部记忆储存于独立的数据库、知识图谱或经验库,便于更新和审查,但效果依赖于检索质量。

3)What:记忆存成什么。这一维度涉及记忆以什么形式把原始的相关信息储存起来,除了直接的原始信息片段,记忆还可以被整理成结构化的对话与轨迹记录、抽象的语义知识,或者被压缩成模型内部的潜在表示。

4)How:记忆如何操作。这一维度关心记忆在整个生命周期中经历的操作,主要包括四类:写入,决定哪些新信息以什么形式写入记忆。巩固,对已有的记忆进行整理和提炼。检索,找出与当前任务相关的记忆以辅助完成任务。更新与遗忘,在持续的交互中更新和清理信息,确保信息的时效性。

三、八种典型记忆形态




图 3|八种典型记忆形态及其在 4D 框架中的定位。

四个维度在概念上可以分开讨论,但在真实系统中往往相互绑定。选择了记忆保留多久,通常也就决定了它更适合存在哪里、以什么形式保存。作者据此总结出八种典型的记忆形态(图 3),每种形态都对应四个维度的一种典型组合。例如,长上下文记忆通过上下文窗口保留 token 或其压缩表示,通常属于瞬时、内部记忆;终身智能体记忆则需要在多次会话中持续积累经验,属于持久记忆,相应地,写入、巩固、检索、更新与遗忘四类操作都会在设计中被考虑。

需要注意的是,这些组合只是常见的设计倾向,并非固定规则。比如,瞬时的中间状态虽然无法在推理结束后保留,但其中的内容可以被额外组件整理后变成情景或持久记忆,并辅助后续的任务。作者希望,这些组合关系不仅可以帮助研究者理清现有工作在记忆实现上的偏好,也可以指出尚未被充分探索的设计空间。

四、从应用看记忆:八类典型场景



图 4|八类应用场景中的记忆需求偏好。

八种记忆形态回答的是「记忆可以怎么实现」,而在实际应用中,选择哪种形态、如何组合,很大程度上取决于任务本身。从应用的角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:

1)长视频理解与生成:受限于模型的上下文无法容纳海量的视频帧,记忆实现多以压缩视觉信息并有选择地保留任务相关视觉信息为主。

2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。

3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。

5)多模态 RAG:此类任务主要考察外部知识库和文档图像的构建,以及根据任务检索相关信息的效率和准确性。

6)第一人称视觉:此类任务涉及长达数天甚至数周的长期信息,对记忆进行层级化的组织往往是重要的解决方案。

7)个性化助手:由于用户的专属要求和偏好需要跨会话保存,记忆实现多以可随时更新的外部记忆为主。

8)虚拟环境交互:此类任务考察智能体能否把过去的交互经验提炼成可复用的知识和技能,在遇到新任务时检索参考。

五、挑战与未来方向


在综述的最后,作者梳理了现在 VLM 的记忆机制仍面临的挑战和值得探索的未来方向。首先,上下文变长并不等于记忆有效,模型即便接收了更多信息,也可能会错过一个短暂但关键的事件。其次,信息的重要性往往取决于之后会被问什么,这种滞后性使得对相关记忆的压缩和保留很难取舍,现有方法也常常在保留高层语义信息的同时丢失了事件顺序和视觉细节。此外,检索到的记忆本身可能是无关、过时甚至错误的,而模型往往缺乏核实这些记忆的能力,即使依据的是错误信息,也能给出看似合理的回答,使得错误难以被察觉。最后,现有的基准大多只测试记忆的单一能力,而真实任务场景中的错误往往涉及多个环节,单项测试无法全面反映记忆系统的落地表现。

针对这些问题,作者提出了几个值得探索的方向:借鉴人类认知构建分层的记忆结构,让系统根据信息类型自适应地选择存储方式,让模型自己学会判断什么值得记住,并让每条记忆都能追溯到原始的视觉证据。同时,记忆系统的评测不应只看准确率,用户能否查看、修改和删除自己的记忆,也应成为设计之初就考虑的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
安理会15:0全票通过,中方投下赞成票,胡塞武装动能源命门犯众怒

安理会15:0全票通过,中方投下赞成票,胡塞武装动能源命门犯众怒

墨子翟的日记y
2026-11-16 15:08:23
残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

职场资深秘书
2026-11-14 13:25:15
亲热时,有3个部位是禁吻区,为了男女双方的健康,不要轻易触碰

亲热时,有3个部位是禁吻区,为了男女双方的健康,不要轻易触碰

皓皓情感说
2026-11-13 09:29:21
从1985到2025:U17世界杯金球奖得主,有人登顶有人消失

从1985到2025:U17世界杯金球奖得主,有人登顶有人消失

甜份超标的我
2026-11-15 02:21:04
油价下跌,市场预期供应过剩将至

油价下跌,市场预期供应过剩将至

财闻
2026-11-16 10:18:33
何赛飞拍戏三十年,银行卡里一分钱没有,所有片酬,全部上交丈夫

何赛飞拍戏三十年,银行卡里一分钱没有,所有片酬,全部上交丈夫

小椰的奶奶
2026-11-16 02:41:45
许绍雄遗作上映8天票房5145元,没有万!导演王晶发文:没有宣发费,排片也不多,可以等平台上线随缘看看

许绍雄遗作上映8天票房5145元,没有万!导演王晶发文:没有宣发费,排片也不多,可以等平台上线随缘看看

极目新闻
2026-11-13 22:44:18
韦世豪接受采访说了句大实话:国外踢不出来,回国却能拿顶薪

韦世豪接受采访说了句大实话:国外踢不出来,回国却能拿顶薪

江启
2026-11-14 15:27:00
为什么说跑步的女人身材不值得羡慕?

为什么说跑步的女人身材不值得羡慕?

跑者排球视角
2026-11-16 07:21:27
又一个张雪峰猝死!这名字有毒?

又一个张雪峰猝死!这名字有毒?

山间听雨
2026-11-15 20:33:05
韩国队开始堕落!遭遇42年耻辱失利!孙兴慜赛后无奈表态,五名球员联合声明

韩国队开始堕落!遭遇42年耻辱失利!孙兴慜赛后无奈表态,五名球员联合声明

体坛风之子
2026-11-15 17:53:13
凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

钉钉陌上花开
2026-11-16 05:47:06
杨议吐槽郭德纲“新爹”马志明:别把他捧太高,他就是一说相声的

杨议吐槽郭德纲“新爹”马志明:别把他捧太高,他就是一说相声的

秋姐居
2026-11-14 20:10:59
2026年楼市变天:这几类房子,劝你最好别卖!

2026年楼市变天:这几类房子,劝你最好别卖!

巢客HOME
2026-11-16 14:10:04
大瓜又来了!曝《后会友期》文吉儿大闹车厢,3位女嘉宾紧急换车厢

大瓜又来了!曝《后会友期》文吉儿大闹车厢,3位女嘉宾紧急换车厢

喵喵娱乐团
2026-11-16 13:43:22
为什么要坚持运动?这4件事希望你越早懂越好

为什么要坚持运动?这4件事希望你越早懂越好

小方说跑步
2026-11-04 17:20:12
詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

詹姆斯再创记录,历史第一近在咫尺,76人却收坏消息

宗介说体育
2026-11-16 09:44:27
属马人:11月16号后家中有要事发生,关键人物不是你,是你家孩子

属马人:11月16号后家中有要事发生,关键人物不是你,是你家孩子

匹夫来搞笑
2026-11-16 12:59:42
首款国产新世代BMW iX3正式投产 11月25日开启交付

首款国产新世代BMW iX3正式投产 11月25日开启交付

太平洋汽车
2026-11-16 11:47:46
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
2026-11-16 16:08:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

手机
游戏
时尚
健康
军事航空

手机要闻

Omdia:2026年Q3东南亚智能手机出货量同比下降36%,苹果逆势增长4%

《GTA 6》登Fami通封面!32页特集+R星历史专题

秋天找到一些固定的穿衣公式,用针织衫搭配牛仔裤,减龄舒适

情绪真能让健康人"伤心至死"?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版