网易首页 > 网易号 > 正文 申请入驻

还在苦恼「长上下文」?Agent直接上手缩KV缓存

0
分享至



用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。

codex 通过总结来进行上下文压缩

目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已经计算的后续缓存(KV cache)会随即失效,剩余文本必须重新输入模型计算(re-prefill),引入额外延时和成本。此外,压缩也会丢失历史信息,影响 Agent 任务的成功率。



缓存工程和上下文工程执行相同任务的成本和准确率

针对这一问题,清华与香港中文大学的研究团队提出了缓存工程(Cache Engineering),并开源了对应的推理系统 AKV。缓存工程不压缩历史文本,而是允许 Agent直接管理后续推理使用的缓存(KV Cache),同时加速运行、降低成本并提高任务成功率。在三个模型、四个 Agent 任务的评测中,缓存工程相比上下文工程,平均推理成本降低 27.7%,平均任务成功率提升 1.7%。



本文的共同第一作者为清华大学电子系 NICS-EFC 实验室的博士生傅天予、本科生王若溪和闵子涵。

  • 论文标题:Cache Engineering for Agents
  • 论文链接:arxiv.org/abs/2610.28577
  • 项目主页:fuvty.github.io/thinking_yard_project_page/projects/akv/
  • 开源代码:github.com/thu-nics/AKV

上下文工程:重算缓存引入额外代价


以「通过多轮网页搜索回答用户问题」为例,上下文工程的做法是删掉已阅读的旧网页。这看起来只是少了一些文字,但后续推理的 KV 缓存,是在「读过这段网页」的条件下算出来的。删掉前文后,就得把保留部分重新算一遍,这就是 re-prefill。

论文发现,在 BrowseComp-Plus 任务上,如果只保留最近 12 轮工具调用的结果,总推理成本反而会达到完整上下文的 1.85 倍。这揭示了上下文工程的主要问题:直接修改上下文,导致缓存重算,引入的额外成本有时反而超过其省下的成本。

研究团队因此把关注点转向缓存本身:能否少读一些缓存,同时让已经算好的状态继续用?

缓存工程:直接管理缓存,避免缓存重算


相比上下文工程的文本修改,缓存工程保留所有历史文本,直接缩减不再需要的 KV,继续复用其余缓存。

保留下来的 KV 还可能携带已移除历史的信息。例如,旧网页参与过后续推理,即使网页自身的 KV 缓存被移除,后续推理的 KV 缓存仍可能保留其中的部分信息。



修改文本前缀需要重算后续缓存;直接移除部分 KV,则可以继续复用保留的状态。嵌套色块表示保留状态可能携带此前历史的信息

在缓存工程中,团队提供了三种操作:

  1. Append:追加 KV。计算新 token 并将其加入缓存。
  2. Drop:移除 KV。让选中的 KV 退出后续计算,减少后续计算。
  3. Repos:位置编码重排。调整保留缓存的位置编码,避免超出模型支持范围。

与操作文本不同的是,直接操作缓存能够复用已经计算过的缓存,并不需要缓存的重算。

Agent 与 Harness 可以根据任务进展组合缓存操作,决定每一步实际使用哪些缓存。

AKV:支持缓存操作的推理服务系统


为了实现缓存操作,研究员团队基于 SGLang [3] 开发了对应的模型推理系统 AKV。对使用者来说,AKV 的接口很简单:照常提交完整消息历史,再附上缓存操作记录,说明何时移除哪些 KV、何时重排位置。



论文中的请求示例。messages 保留完整消息历史,cache.drop 指定缓存移除操作,cache.reposition 指定位置重排操作。右侧标注用于解释,不属于实际请求 JSON

图中的保留完整消息历史;中的,表示处理完消息 m₁ 后移除消息 m₀ 的 KV;中的,表示处理完消息 m₂ 后执行 Repos。

messages

cache.drop

"1": [0]

cache.reposition

这样,Agent 可以专注于「保留什么、何时移除」,具体如何复用、释放和恢复缓存,由 AKV 负责所有细节,包括:

  • 判断哪些缓存可以复用。同时核对文本与操作历史,避免把不同来源的状态混用。
  • 释放不再需要的缓存。某个请求移除了 KV,也要确认其他请求是否还需要它,才能回收对应存储。
  • 恢复缺失的状态。在一次 prefill 中重建所需缓存。

要实现支持缓存操作的推理系统,团队主要解决了缓存状态匹配的问题。同样的文本,经历不同的操作顺序,可能对应不同的 KV 状态。如下图所示,对 A、B、C 三段信息,先生成 C 再移除 A 的缓存,与先移除 A 的缓存再生成 C,最后都留下 B 和 C,但 C 生成时能看到的缓存不同,最后得到的 C 的状态也就不一样。AKV 通过扩展的 radix tree(如下图 c)能够正确高效处理所有的缓存操作。



三条轨迹最终都保留 B 和 C,最终的状态却不一样。扩展的 radix tree 同时记录文本与操作历史,区分不同来源的缓存

实验结果:任务表现与服务效率


研究团队在 MiniMax-M2.7 [4]、GPT-OSS-120B [5] 和 MiroThinker-1.7-Mini [6] 上进行评测,覆盖 BrowseComp-Plus [7]、GAIA-Text [8]、SWE-bench Verified [9] 和 xbench-DeepSearch-2510 [10] 四个 Agent benchmark,包含搜索与软件工程任务。

在这组评测中,相比 Standard,AKV 的平均推理成本降低 27.7%,平均成功率提升 1.7 个百分点;相比 Text Engineering,平均成本也降低了21.9%。

这些结果来自三种设置的比较。其中,Standard 和 Text Engineering 属于Context Engineering,AKV 使用 Cache Engineering:

  • Standard:达到较高上下文阈值后触发摘要。
  • Text Engineering:采用与 Standard 相同的摘要策略,但将触发阈值统一降低到 48K token。
  • AKV:保留推理状态和最近 12 条工具回复的 KV。



论文主结果表。Score 为任务成功率(%),Cost 为平均单任务成本(美分),灰色行表示 AKV

推理服务速度也有提升:在 8 张 A800-80GB GPU 上,研究团队使用 GPT-OSS-120B,AKV 的输出吞吐量达到 Standard 的 1.18 倍,P95 请求延迟缩短约三分之一,对应约 1.51 倍加速。



不同并发下的系统吞吐量与延迟。AKV 减少了参与推理的 KV,缓解了高并发下的缓存容量压力和重算开销

这些收益也体现在实际完成任务的过程中。在另一组 SWE-bench Verified 的任务中,AKV 用更少的 GPU 时间达到了更高的成功率。



GPT-OSS-120B 在线完成任务时,累计成功率随 GPU 时间的变化。

RSI:让 Agent 自己改进缓存策略


保留最近 12 条工具回复只是 Cache Engineering 的一个起点。不同任务需要的信息并不一样,哪些状态值得多留一会儿,哪些可以早点移除,也可以交给 Agent 去探索。

研究团队进一步开展了 RSI 实验,让 MiniMax-M2.7 在 20 个 BrowseComp-Plus 任务上搜索、评估并迭代缓存策略,再用独立的 100 个任务检验效果。



RSI 迭代优化 Cache Engineering 策略

在与 Standard 准确率持平的同时,Agent 找到的策略相比人工设计策略进一步降低 7.1% 的成本。

有了可操作的接口,Agent 也就能尝试不同的缓存用法,再根据任务表现和成本继续调整。

总结与展望


这项工作的核心,是提出缓存工程,把 KV 缓存也变成 Agent 和 Harness 可以直接管理的对象。

为了便于探索这一维度,研究团队实现了 AKV 推理服务系统,通过简单的接口开放缓存操作。开发者因此可以把精力放在策略本身:哪些信息值得保留、何时移除旧缓存,以及如何根据任务进展调整这些决策。

文中的滚动删除策略和 RSI 实验,是沿着这一方向做出的初步探索。借助 Cache Engineering 和 AKV,开发者可以面向不同模型、任务和预算,探索更丰富的 KV cache 操作及其组合,为 Agent 与 Harness 设计更合适的上下文管理策略。

参考文献

[1] Lindenbauer, T., Slinko, I., Felder, L., et al. The Complexity Trap: Simple Observation Masking Is as Efficient as LLM Summarization for Agent Context Management. arXiv:2508.21433, 2025.

[2] Wu, X., Li, K., Zhao, Y., et al. ReSum: Unlocking Long-Horizon Search Intelligence via Context Summarization. arXiv:2509.13313, 2025.

[3] Zheng, L., Yin, L., Xie, Z., et al. SGLang: Efficient Execution of Structured Language Model Programs. NeurIPS, 2024.

[4] Chen, A., Li, A., Zhou, B., et al. The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence. arXiv:2605.26494, 2026.

[5] Agarwal, S., Ahmad, L., Ai, J., et al. gpt-oss-120b & gpt-oss-20b Model Card. arXiv:2508.10925, 2025.

[6] MiroMind Team. MiroThinker-1.7 & H1: Towards Heavy-Duty Research Agents via Verification. arXiv:2603.15726, 2026.

[7] Chen, Z., Ma, X., Zhuang, S., et al. BrowseComp-Plus: A More Fair and Transparent Evaluation Benchmark of Deep-Research Agent. arXiv:2508.06600, 2025.

[8] Mialon, G., Fourrier, C., Swift, C., et al. GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983, 2023.

[9] OpenAI. Introducing SWE-bench Verified. 2024.

[10] xbench. xbench-DeepSearch-2510. Hugging Face dataset, 2025.

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普启程参加深圳APEC峰会 |现场画面

特朗普启程参加深圳APEC峰会 |现场画面

凤凰卫视
2026-11-17 08:38:05
美两党放下针锋相对,炮火对准共同的敌人,鲁比奥针对国际法院

美两党放下针锋相对,炮火对准共同的敌人,鲁比奥针对国际法院

云上乌托邦
2026-11-17 18:35:04
老百姓突然发现我们的社保制度对机关事业单位人员非常的友好!

老百姓突然发现我们的社保制度对机关事业单位人员非常的友好!

逍遥论经
2026-11-15 15:27:53
约翰逊:结束俄乌战争的途径,是西方明确支持乌加入北约

约翰逊:结束俄乌战争的途径,是西方明确支持乌加入北约

琉璃聊科学
2026-11-17 17:37:24
河南考生536分“捡漏”上北大,即将被公派瑞士读博,曾凭“国家专项计划”被北大提档,又以专业第一的成绩考上研究生

河南考生536分“捡漏”上北大,即将被公派瑞士读博,曾凭“国家专项计划”被北大提档,又以专业第一的成绩考上研究生

蓬勃新闻
2026-11-17 16:20:06
陈启泰:被抑郁症折磨20年险跳楼,62岁离开TVB后活成这样

陈启泰:被抑郁症折磨20年险跳楼,62岁离开TVB后活成这样

喜欢历史的阿繁
2026-11-17 03:01:03
台上卖力地表演,台下的看客不买账了!

台上卖力地表演,台下的看客不买账了!

胖胖说他不胖
2026-11-17 11:50:11
菲律宾交棒了,南海准则80%,剩下全是硬骨头

菲律宾交棒了,南海准则80%,剩下全是硬骨头

叶葉夜
2026-11-16 16:00:07
6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

今天说故事
2025-08-04 18:39:27
高盛黄金“过山车”预测:今年或创十余年最差年度表现,2028年底重返5600美元历史高位

高盛黄金“过山车”预测:今年或创十余年最差年度表现,2028年底重返5600美元历史高位

和讯网
2026-11-17 07:20:14
又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

又一名电诈头目落网!这回更让人震惊,竟然不是大家熟悉的缅北

人生录
2026-11-02 09:08:26
折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

蜡笔小新爱体育
2026-11-17 17:53:24
何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

何小鹏最聪明的一笔交易,不是创建了小鹏汽车,而是把UC浏览器43.5亿美元高位套现!

元气科技馆
2026-11-10 20:28:19
终于知道为什么大家都说农学是抑郁率最低的专业了!

终于知道为什么大家都说农学是抑郁率最低的专业了!

另子维爱读史
2026-10-18 11:46:21
死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

火山詩话
2026-11-16 06:23:18
大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

江启
2026-11-17 01:20:29
齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

奶盖熊本熊
2026-11-17 08:57:40
33岁的军长刘志丹被营长史泽波打死,9年后史泽波被俘,老红军一眼就认出他,刘伯承:不能杀,要优待

33岁的军长刘志丹被营长史泽波打死,9年后史泽波被俘,老红军一眼就认出他,刘伯承:不能杀,要优待

磊子讲史
2026-11-11 17:54:18
创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

捣蛋窝
2026-11-17 17:50:23
陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

情感大头说说
2026-11-16 02:53:25
2026-11-17 19:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
本地
健康
家居
房产

小伙表示连玩7天《GTA6》 这下PS5可惨了

本地新闻

乌兰察布:以前种土豆,现在种Token

情绪真能让健康人"伤心至死"?

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版