NeurIPS 2026 | TriMem：重新思考智能体记忆系统，提出可进化的三级细粒度记忆架构

为了实现可靠且长期的交互，LLM Agent需要一个能够忠实存储、高效检索并深入推理累积对话历史的记忆系统。目前大多数方法采用基于提取事实的范式：手工构建的静态提示将原始对话压缩为原子事实，再进行存储、匹配，并注入下游推理流程中。然而，这种以事实为中心的设计不可避免地丢失了原始对话中的细节，也无法对零散孤立的事实进行深度推理。此外，静态提示无法在不同对话风格之间保持一致的提取粒度。

为解决这些局限性，我们提出了Tri-Granularity Memory (TriMem)，该系统维护三种共存的表示粒度：源标识符锚定的原始对话片段，用于保障存储的准确性；提取的原子事实，用于高效记忆检索；以及合成的语义画像，将分散的事实整合为整体语义理解，支持深度推理。我们进一步采用基于TextGrad的提示优化方法，通过响应质量反馈迭代地优化提取和特征描述提示，实现无需任何参数更新的终身演化。在多个LLM模型架构上对LoCoMo和PerLTQA进行的大量实验表明，TriMem始终优于现有记忆系统基线。

论文题目：
Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory
论文链接：
https://arxiv.org/abs/2605.19952
项目主页：
https://tmlr-trimem.github.io/

一、背景和动机

图 1. 对现有记忆系统的分析。尽管基于事实的系统能够实现高效的检索，但它们存在存储信息丢失和浅层推理的问题；固定的提取提示词进一步加剧了在不同对话风格下的性能不稳定。

近年来，研究者们广泛探讨了LLM Agent的记忆模块设计，其总体目标是实现三大核心功能：存储历史交互中的信息、在查询时检索相关记忆，并将这些记忆融入提示中以支持推理。现有系统通常依赖于静态手写提示生成的事实性信息来实现这三个目标。它们仅存储由固定提示提取的关键事实，根据这些事实进行相似性匹配以实现检索，并利用相关信息支持推理。这自然提出两个关键问题：提取的事实能否对LLM Agent记忆系统的三个阶段产生有益影响？在面对高度异构的现实对话场景时，静态固定提示能否自适应地保持一致且合理的提取粒度？如图1所示，通过对以往记忆系统的分析，我们发现了这类系统的四类优缺点。

观察一：高效的检索

我们比较了代表性系统与基于完整上下文的RAG策略，从成功检索到的问题相关证据比例方面进行分析。可以看出，基于事实提取的检索方法能够更高效、准确地定位相关记忆条目。

观察二：有损的存储

尽管提取事实后的检索能够实现对记忆的精确定位，但事实提取过程不可避免地会对原始信息进行有损压缩，导致细粒度细节被舍弃，从而在存储的记忆条目中产生固有的信息不完整性。

观察三：浅层的推理

在多证据问题上的推理表现明显低于单证据问题。因为单证据问题主要依赖于明确的事实内容，可以通过直接复述记忆中的信息来回答。相比之下，多证据问题需要对分散的事实进行深入理解，例如情感推断和逻辑归纳。这表明，仅依赖提取事实的推理机制缺乏对语义的深层理解能力，从而严重阻碍了LLM Agent在长期交互中的综合表现。

观察四：次优的提示词

现实的长期交互涉及高度多样化的信息风格、表达模式和内容类别，而传统系统则依赖静态的提取提示词。这些固定提示无法动态适应异构对话内容，因而难以保持一致且合理的事实提取粒度。

四个观察揭示了现有LLM Agent记忆系统的缺口：缺乏对原始信息的复原能力，缺乏对零散事实的整合能力以及缺乏对不同对话风格的适应能力。

二、本文方法 2.1 TriMem（三层细粒度记忆系统）

如图2所示，TriMem框架由以下三个核心组件构成：（1）给定一组对话，我们提取事实信息，并将每个事实与原始对话标识符和用户画像标识符绑定，以实现记忆构建；（2）给定一个问题时，智能体首先分析所需信息和关键词，生成搜索查询，然后通过预定义的索引匹配提取的事实，检索相关记忆内容，并进一步获取包含完整细节和整合用户画像的原始对话，从而完成记忆检索；（3）根据推理性能，我们调用一个额外的模型进行故障分析，并为系统提示提供修改建议。

图 2. TriMem 架构示意图。历史对话被分割为多个窗口，通过可追溯的源索引提取多维事实，并为每个人构建实体画像。查询触发结构化搜索；失败情况则通过 TextGrad 反馈，用于优化提取和调整画像提示。

2.2 支持高效检索的高密度存储系统

与传统系统相同，我们也会对原始对话进行事实提取。首先，我们通过滑动窗口 将原始对话 H 划分为一系列相互重叠的窗口：

其中， 表示窗口大小， 表示步长， 表示窗口总数。重叠式设计能够确保跨越窗口边界、在上下文中彼此相关的语句不会被人为切断，从而为后续的信息提取保留局部语义连贯性。对于每个窗口 ，我们使用由提取提示词 驱动的智能体 进行提取。该提取提示词由任务指令和多维度指令共同组成：

其中，每个维度对应一个专门的提取函数，用于捕获对话内容中不同的语义方面，例如 进行无损重述，以保留完整且无歧义的事实内容； 提取绝对时间信息； 识别窗口中提及的所有人物；此外，还可以灵活地在模式中加入地点、关键词和命名实体等其他维度。该可扩展的多维设计能够覆盖不同的语义粒度，同时也可以适应特定领域的需求。因此，每个提取条目都是一个结构化元组，即：

关键是，与以往系统不同，我们在提取提示词中额外加入了一个维度 ，为每个条目 获取源对话标识符，这可以有效解决有损存储的问题。

在检索时，每一个事实信息都可以充当一个锚点，通过其源标识符恢复原始对话中的全部细节。通过这种方式，我们的系统在保持高效检索的同时，也能够保证存储信息的完整性。

2.3 支持整合画像的分散事实

为了解决浅层推理问题，我们基于分散的事实构建结构化画像。首先，我们按照不同人物 对提取出的事实进行分组：

其中，

表示所有被识别人物的集合。随后，在画像提示词 的驱动下，与特定人物相关的条目会被整合和综合为一个结构化画像：

该画像能够形成多维度的实体级理解，包括身份属性（例如性别、年龄、家乡）、推断得到的性格特征、职业与教育背景、兴趣与爱好，以及人际关系动态和行为倾向。最终，我们同样以检索到的条目作为锚点，通过人物标识符在推理过程中获得对应的整合画像。通过这种方式，我们能够为智能体提供对分散事实的整体性理解，从而避免浅层推理。

2.4 支持终身进化的动态提示词

为了保持细粒度的一致性，我们使用 TextGrad 对提示词进行优化。给定检索上下文 ，系统通过回答生成提示词 生成响应，其输出可以与参考答案 进行比较，从而获得质量信号。我们利用这一失败信号持续优化上游的提取提示词 和画像提示词 ，并将二者视为联合可训练参数：

其中， 表示自然语言字符串空间。完整的优化目标为：

其中， ScoreLLM 通过 LLM 评审器评估回答质量，并兼容 F1、BLEU 等指标。与数值梯度不同，TextGrad 通过 LLM 智能体 TextGradLLM 给出的自然语言编辑建议，将损失反向传播：

随后，系统将这些文本梯度作为重写指令来更新提示词：

其中， 表示提示词编辑算子。通过迭代优化， 会逐步调整事实提取的粒度，以保留具有语义价值的细节；与此同时， 会提升其捕获行为模式和实体级理解的能力。由此，我们的系统无需人工设计和反复调整提示词，即可实现持续演化。

三、实验结果

我们在主流Agent记忆基准LoCoMo和 PerLTQA 上对 TriMem 进行了系统评估，实验涵盖多种开源和闭源模型，并和xMemory，SimpleMem，LightMem，A-Mem等主流记忆系统进行了比较。

3.1 在LoCoMo上使用高性能模型的效果对比

表 1. 在LoCoMo benchmark上使用高性能模型的测试，TriMem在使用不同模型时均表现出色，同时保持了高效率。

结果表明，当与多种高能力模型结合时，我们的方法在性能上始终优于先前的方法，包括GPT-4o、GPT-4.1-mini和GPT-5-nano。

3.2 在LoCoMo上使用高效率模型的效果对比

表 2. 在LoCoMo benchmark上使用高效模型的测试。TriMem仍能凭借代表性高效模型实现出色的性能与效率平衡。

结果表明，TriMem可以兼容多种参数尺寸的模型，验证了我们方法的广泛优越性和适用性。

3.3 不同数据集上的泛化性

表 3. 在PerLTQA benchmark上的性能比较。所有数值均报告LLM判断的正确性得分（%），使用gpt-4.1-mini评估每个预测答案是否与真实答案一致。TriMem在不同子任务中均取得了最佳性能。

为了全面验证我们所提出方法的有效性，我们还报告了在PerLTQA上的实验结果，这表明TriMem具有很强的泛化能力。

四、消融分析

图 3. profile和raw dialogue的消融实验。移除任一组件都会导致性能明显下降。

图 4. TextGrad进化步数的影响。性能在最多四轮微调后有所提升，后续更新则过度优化提示，反而损害了性能。

图 5. 对检索出的记忆条目数量的敏感度。条目过少会遗漏关键信息；条目过多则引入噪声。Top-K = 25 是最佳平衡点。

图 6. 结构化搜索查询的必要性与效率分析。搜索查询的分析仅消耗少量检索时间，却能显著提升准确率；窗口大小为40时，记忆构建时间仍具竞争力。

图 7. 窗口尺寸的消融实验。较小的窗格也能很好地工作，但随着窗格数量的增加，处理时间会迅速增长。我们默认设置为 l = 40，s = 38。

我们对每项设计选择进行拆解，以理解为何TriMem有效：移除轮廓分支或原始对话分支都会造成损害；提示演化最多可提升约4步；检索在K≈25时达到饱和；而窗口大小为40，在质量与构建时间之间实现了平衡。

五、总结

在本工作中，我们重新审视了LLM Agent的记忆系统设计，并指出了当前基于提取事实范式存在的三个具体局限：存储丢失、推理浅层以及在异构对话风格下静态提示词的不稳定。基于这些发现，我们提出了TriMem方法，该方法同时维护三种并存的表示粒度：用于存储保真的原始对话、用于检索效率的原子事实，以及用于深度推理的逐步合成的语义画像。

此外，我们还采用基于TextGrad的提示优化技术，从累积经验中不断演化提取和画像构建的提示，从而实现终身适应，而无需修改底层模型参数，因此仍适用于仅支持API的LLM。我们在LoCoMo和PerLTQA上针对多种LLM进行了大规模实验，验证了本方法的有效性。我们希望TriMem能为未来关于智能体记忆系统的研究带来新的思路。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈