网易首页 > 网易号 > 正文 申请入驻

还在苦恼「长上下文」?Agent直接上手缩KV缓存

0
分享至



用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。

codex 通过总结来进行上下文压缩

目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已经计算的后续缓存(KV cache)会随即失效,剩余文本必须重新输入模型计算(re-prefill),引入额外延时和成本。此外,压缩也会丢失历史信息,影响 Agent 任务的成功率。



缓存工程和上下文工程执行相同任务的成本和准确率

针对这一问题,清华与香港中文大学的研究团队提出了缓存工程(Cache Engineering),并开源了对应的推理系统 AKV。缓存工程不压缩历史文本,而是允许 Agent直接管理后续推理使用的缓存(KV Cache),同时加速运行、降低成本并提高任务成功率。在三个模型、四个 Agent 任务的评测中,缓存工程相比上下文工程,平均推理成本降低 27.7%,平均任务成功率提升 1.7%。



本文的共同第一作者为清华大学电子系 NICS-EFC 实验室的博士生傅天予、本科生王若溪和闵子涵。

  • 论文标题:Cache Engineering for Agents
  • 论文链接:arxiv.org/abs/2610.28577
  • 项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/
  • 开源代码:github.com/thu-nics/AKV

上下文工程:重算缓存引入额外代价


以「通过多轮网页搜索回答用户问题」为例,上下文工程的做法是删掉已阅读的旧网页。这看起来只是少了一些文字,但后续推理的 KV 缓存,是在「读过这段网页」的条件下算出来的。删掉前文后,就得把保留部分重新算一遍,这就是 re-prefill。

论文发现,在 BrowseComp-Plus 任务上,如果只保留最近 12 轮工具调用的结果,总推理成本反而会达到完整上下文的 1.85 倍。这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。

研究团队因此把关注点转向缓存本身:能否少读一些缓存,同时让已经算好的状态继续用?

缓存工程:直接管理缓存,避免缓存重算


相比上下文工程的文本修改,缓存工程保留所有历史文本,直接缩减不再需要的 KV,继续复用其余缓存。

保留下来的 KV 还可能携带已移除历史的信息。例如,旧网页参与过后续推理,即使网页自身的 KV 缓存被移除,后续推理的 KV 缓存仍可能保留其中的部分信息。



修改文本前缀需要重算后续缓存;直接移除部分 KV,则可以继续复用保留的状态。嵌套色块表示保留状态可能携带此前历史的信息

在缓存工程中,团队提供了三种操作:

  1. Append:追加 KV。计算新 token 并将其加入缓存。
  2. Drop:移除 KV。让选中的 KV 退出后续计算,减少后续计算。
  3. Repos:位置编码重排。调整保留缓存的位置编码,避免超出模型支持范围。

与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。

Agent 与 Harness 可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。

AKV:支持缓存操作的推理服务系统


为了实现缓存操作,研究员团队基于 SGLang [3] 开发了对应的模型推理系统 AKV。对使用者来说,AKV 的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些 KV、何时重排位置。



论文中的请求示例。messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注用于解释,不属于实际请求 JSON

图中的保留完整消息历史;中的,表示处理完消息 m₁ 后移除消息 m₀ 的 KV;中的,表示处理完消息 m₂ 后执行 Repos。

messages

cache.drop

"1": [0]

cache.reposition

这样,Agent 可以专注于「保留什么、何时移除」,具体如何复用、释放和恢复缓存,由 AKV 负责所有细节,包括:

  • 判断哪些缓存可以复用。同时核对文本与操作历史,避免把不同来源的状态混用。
  • 释放不再需要的缓存。某个请求移除了 KV,也要确认其他请求是否还需要它,才能回收对应存储。
  • 恢复缺失的状态。在一次 prefill 中重建所需缓存。

要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。同样的文本,经历不同的操作顺序,可能对应不同的 KV 状态。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,与先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最后得到的 C 的状态也就不一样。AKV 通过扩展的 radix tree(如下图 c)能够正确高效处理所有的缓存操作。



三条轨迹最终都保留 B 和 C,最终的状态却不一样。扩展的 radix tree 同时记录文本与操作历史,区分不同来源的缓存

实验结果:任务表现与服务效率


研究团队在 MiniMax-M2.7 [4]、GPT-OSS-120B [5] 和 MiroThinker-1.7-Mini [6] 上进行评测,覆盖 BrowseComp-Plus [7]、GAIA-Text [8]、SWE-bench Verified [9] 和 xbench-DeepSearch-2510 [10] 四个 Agent benchmark,包含搜索与软件工程任务。

在这组评测中,相比 Standard,AKV 的平均推理成本降低 27.7%,平均成功率提升 1.7 个百分点;相比 Text Engineering,平均成本也降低了21.9%。

这些结果来自三种设置的比较。其中,Standard 和 Text Engineering 属于Context Engineering,AKV 使用 Cache Engineering:

  • Standard:达到较高上下文阈值后触发摘要。
  • Text Engineering:采用与 Standard 相同的摘要策略,但将触发阈值统一降低到 48K token。
  • AKV:保留推理状态和最近 12 条工具回复的 KV。



论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV

推理服务速度也有提升:在 8 张 A800-80GB GPU 上,研究团队使用 GPT-OSS-120B,AKV 的输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。



不同并发下的系统吞吐量与延迟。AKV 减少了参与推理的 KV,缓解了高并发下的缓存容量压力和重算开销

这些收益也体现在实际完成任务的过程中。在另一组 SWE-bench Verified 的任务中,AKV 用更少的 GPU 时间达到了更高的成功率。



GPT-OSS-120B 在线完成任务时,累计成功率随 GPU 时间的变化。

RSI:让 Agent 自己改进缓存策略


保留最近 12 条工具回复只是 Cache Engineering 的一个起点。不同任务需要的信息并不一样,哪些状态值得多留一会儿,哪些可以早点移除,也可以交给 Agent 去探索。

研究团队进一步开展了 RSI 实验,让 MiniMax-M2.7 在 20 个 BrowseComp-Plus 任务上搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。



RSI 迭代优化 Cache Engineering 策略

在与 Standard 准确率持平的同时,Agent 找到的策略相比人工设计策略进一步降低 7.1% 的成本。

有了可操作的接口,Agent 也就能尝试不同的缓存用法,再根据任务表现和成本继续调整。

总结与展望


这项工作的核心,是提出缓存工程,把 KV 缓存也变成 Agent 和 Harness 可以直接管理的对象。

为了便于探索这一维度,研究团队实现了 AKV 推理服务系统,通过简单的接口开放缓存操作。开发者因此可以把精力放在策略本身:哪些信息值得保留、何时移除旧缓存,以及如何根据任务进展调整这些决策。

文中的滚动删除策略和 RSI 实验,是沿着这一方向做出的初步探索。借助 Cache Engineering 和 AKV,开发者可以面向不同模型、任务和预算,探索更丰富的 KV cache 操作及其组合,为 Agent 与 Harness 设计更合适的上下文管理策略。

参考文献

[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2025.

[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2025.

[3] Zheng, L., Yin, L., Xie, Z., et al. SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.

[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.

[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2025.

[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.

[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2025.

[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[9] OpenAI. Introducing SWE-bench Verified. 2024.

[10] xbench. xbench-DeepSearch-2510. Hugging Face dataset, 2025.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
勒庞称若当选总统将不再为乌克兰提供财政援助

勒庞称若当选总统将不再为乌克兰提供财政援助

新华社
2026-11-17 10:30:03
曝河北富豪公子大婚!“刘能”王小利携妻子现场表演节目,婚房为12层独栋别墅,每桌备一瓶茅台一瓶国窖1573

曝河北富豪公子大婚!“刘能”王小利携妻子现场表演节目,婚房为12层独栋别墅,每桌备一瓶茅台一瓶国窖1573

裕丰娱间说
2026-11-17 09:41:57
星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

山河路口
2026-11-16 14:24:17
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

国外网红突然流行炫耀中国男友,惊讶他们没体味,为此感到自豪

新游戏大妹子
2026-11-17 13:00:28
当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

当每天四五千家个股下跌成为常态,这样的市场关门才是最好的选择

说得说不得
2026-10-30 09:37:40
离人民越来越远了

离人民越来越远了

柴差说
2026-11-17 16:31:27
28岁男子抱着刚出生亲弟弟笑不出来,网友:以后孙子和儿子打架咋整?

28岁男子抱着刚出生亲弟弟笑不出来,网友:以后孙子和儿子打架咋整?

东方豪侠
2026-11-17 04:52:10
39岁赵奕欢倒追26岁男嘉宾遭拒,情绪崩溃大哭,男方直言压力太大

39岁赵奕欢倒追26岁男嘉宾遭拒,情绪崩溃大哭,男方直言压力太大

萧狡科普解说
2026-11-17 14:55:25
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
海外,全面封杀!

海外,全面封杀!

君临财富
2026-11-17 15:53:07
上证指数3500点成讨论焦点!不少投资者晒图发帖,评论区情绪悲观:3000点指日可待

上证指数3500点成讨论焦点!不少投资者晒图发帖,评论区情绪悲观:3000点指日可待

火山詩话
2026-11-17 16:49:49
RTX 5080售价暴跌4000元 这只是开始

RTX 5080售价暴跌4000元 这只是开始

Holdon2099游戏世界
2026-11-17 15:44:27
潘蔚现状曝光,孙楠离婚内幕也清楚了,难怪他放着北京不住,偏要搬去农村大院

潘蔚现状曝光,孙楠离婚内幕也清楚了,难怪他放着北京不住,偏要搬去农村大院

辉哥说动漫
2026-11-17 15:00:24
余承东发布新款问界M8:38万元起售,全系预埋L3架构

余承东发布新款问界M8:38万元起售,全系预埋L3架构

量子位ROBO
2026-11-16 15:20:54
湖南一女子3岁走失,40岁成为千万富豪后登台寻亲,不料亲生父母无一人到场:父亲找了她11年直到去世,母亲也病得认不出人……

湖南一女子3岁走失,40岁成为千万富豪后登台寻亲,不料亲生父母无一人到场:父亲找了她11年直到去世,母亲也病得认不出人……

富书
2026-11-17 14:29:17
油价大跌!一夜降温,11月17日全国92,95汽油“2连涨、大涨近8.5毛/升”后降下来,11月已降近0.55元/升后,下次11月26日调价“或大降”!

油价大跌!一夜降温,11月17日全国92,95汽油“2连涨、大涨近8.5毛/升”后降下来,11月已降近0.55元/升后,下次11月26日调价“或大降”!

猪友巴巴
2026-11-17 09:18:13
1943年,共产国际解散后,王明在干什么?

1943年,共产国际解散后,王明在干什么?

容妃
2026-11-17 15:14:18
因长得太漂亮被导演狂追,却因拒绝追求无戏可拍,今搭档胡歌走红

因长得太漂亮被导演狂追,却因拒绝追求无戏可拍,今搭档胡歌走红

大眼妹妹
2026-11-17 11:47:12
重磅官宣:罗伯特帕丁森成为新一任007 定妆照同步放出全引发热议

重磅官宣:罗伯特帕丁森成为新一任007 定妆照同步放出全引发热议

立真娱乐
2026-11-17 09:36:56
2026-11-17 19:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

头条要闻

媒体:东风-61列装引发岛内巨震 对手想拦截比登天还难

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

游戏
数码
时尚
家居
旅游

微软第一方新作大地图曝光 体量巨大!自由度拉满

数码要闻

三星下一代DRAM三条路线曝光 混合键合成关键工艺

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

错过再等一年!郑州10个银杏观赏地推荐

无障碍浏览 进入关怀版