网易首页 > 网易号 > 正文 申请入驻

混合架构模型跑Agent,预填充吞吐再提升3倍!FlashStates重新设计混合状态缓存

0
分享至



视频链接:https://mp.weixin.qq.com/s/hiQcwqZmzd87-HRmNMoCiA

Kimi Delta Attention(KDA)、Gated DeltaNet(GDN)、Mamba-2 等线性注意力与状态空间层,正在成为开源大模型的常见组件。Kimi K3.1 Pro、GLM-5.3-Flash、Qwen3.8-Flash-Next、Nemotron 3 Super 都采用了「全注意力 + 线性层」的混合架构,以换取更快的解码和更小的 KV Cache。

但在编程 Agent 这类多轮、长上下文负载中,混合模型的前缀缓存管理比纯 Transformer 要更加复杂。来自 Together AI、UIUC 与 UT Austin 的研究团队提出 FlashStates,重新设计了混合架构模型的 KV 和状态缓存管理。在英伟达 B200 GPU 上回放真实 Claude Code 轨迹时,FlashStates 的预填充(prefill)吞吐最高达到 vLLM 的 3.14 倍,p90 首 token 延迟(TTFT)最多降低 88.4%。接入 512GiB 的 Mooncake CPU 缓存后,收益依然显著,并且已经支持分布式存储与跨节点的混合状态复用。



  • 论文标题:FlashStates: Unlocking Flexible Hybrid State Management for Agentic LLM Inference
  • 论文链接:https://www.alphaxiv.org/abs/2611.FlashState
  • 代码:https://github.com/FutureMLS-Lab/FlashStates
  • 项目主页:https://FlashStates.ai

作者介绍

本文由Together AI、伊利诺伊大学厄巴纳-香槟分校(UIUC)与得克萨斯大学奥斯汀分校(UT Austin)合作完成。共同第一作者为 Chenxi Li(Together AI)与 Weili Xu(UIUC),其他作者包括 Tianyi Zhang、Jue Wang、Zhongzhu Zhou(Together AI)与通讯作者 Chenfeng Xu(UT Austin)。

Together AI 于 2022 年 6 月创立,由 Flash Attention 作者 Tri Dao、斯坦福大模型研究中心主任 Percy Liang、芝加哥大学副教授 Ce Zhang、苹果前高管 Vipul Ved Prakash 联合创办。FutureMLS(Future Machine Learning & Systems Lab)是由 悉尼大学计算机科学博士周中柱创立的非营利研究实验室,聚焦高效机器学习架构、后训练、训练与推理引擎,以及智能体系统。

混合状态:缺一不可的两件套

纯 Transformer 的 KV 按 token 存储,前缀可以截断到任意位置复用。线性层则用一个固定大小的循环状态概括整个前缀,好处是整个状态不会随着输入 prompt 长度增长,但坏处是单个状态块占用内存大,而且该状态无法回滚:拿着第 10000 个 token 处的状态,推不出第 9000 个 token 处的状态。

因此,要从位置 p 继续计算,必须同时拥有 1. 完整前缀的注意力 KV,以及 2. 恰好位于 p 的循环检查点(recurrent checkpoint,后文简称为检查点)。论文把两者合称为「混合状态」。

Agent 负载每一轮请求都是「上一轮 prompt + 上一轮输出 + 工具结果」,最理想的复用点就是上一轮请求 decode 输出的终点,而这个位置通常不会落在引擎预设的块边界上。

现有引擎的问题:三类未命中

研究团队用 GLM-5.3-Flash 分别运行 vLLM 和 SGLang,对每个被重算的 prompt token 追溯原因,归纳出三类可避免的缓存未命中场景:放置未命中(检查点没存在需要的位置)、依赖未命中(KV 还在,检查点被驱逐)、容量未命中(缓存确实装不下)。



vLLM 与 SGLang 的缓存未命中归因

vLLM 默认只在 prompt 内每 4,352 token 的块边界保存检查点,decode 阶段不保存。低并发(8-16)时,放置未命中占其未缓存 token 的 43%。SGLang 则支持细粒度的块边界,如 256 token,该设置相同并发下放置问题基本消失,未命中降到 5% 以下,但约 430 个检查点挤在独立的状态池里,按 LRU 驱逐时经常踢掉 KV 仍在的检查点导致依赖未命中

并发继续升高后(32-64),问题开始叠加。vLLM 的 prompt 末端检查点在请求进入解码后就会被放回可驱逐队列,依赖未命中从 40 并发起快速增长,64 并发时占其未缓存 token 的 42%。也是从 40 并发起,两个引擎都进入「混合状态颠簸」(hybrid state thrashing),容量未命中叠加在依赖未命中之上

结论是:检查点间隔大了产生放置未命中,小了产生依赖未命中,并发再高还会叠加容量未命中,单靠调整检查点密度无法解决。

FlashStates 的设计

1. 任意位置状态检查点(ASC)。

FlashStates 在每个请求结束时捕获其精确终点的状态;如果终点落在 KV 块内部,就保留整个末尾块,同时包括全注意力 KV 和循环检查点,将他们进行统一管理。对于预填充中途的位置,团队定义了 PrefillExport 接口,让 kernel 在正常计算的同时导出指定位置的状态,输出结果保持不变。KDA 和 GDN 的 kernel 均已适配。

2. 定义优化目标

有了 ASC,混合状态可以存在任意位置,剩下的问题是:显存放不下时,该留哪些?论文用两个位置来刻画一个请求 r 浪费了多少(见下图)。理想恢复点 ℓ(r)(*):这个请求的 prompt 与此前处理过的所有内容最长能对上的地方,只要缓存足够大,就能从这里接着算。实际恢复点 ℓ(r)(π):在缓存策略 π 下,缓存里仍完整保留着混合状态的最近位置。两者之间的 token 只能重新预填充,花费的时间记作 C(ℓ(r)(π), ℓ(r)(*))。

其优化目标是:在有限的 GPU 内存 B 下,让每个请求的实际恢复点 ℓ(r)(π) 尽量接近理想恢复点 ℓ(r)(*),即最小化所有请求重复计算的预填充时间之和 Σ(r) C(ℓ(r)(π), ℓ(r)(*))。



3. 依赖感知的准入与驱逐。

围绕这一目标,团队基于经典的 GreedyDual-Size(GDS)算法设计了在线策略,每个混合状态的优先级为:H(u) = 上次使用时的水位线 + 恢复代价 ÷ 驱逐后实际释放的块数。其中恢复代价就是驱逐后相关请求要多付出的预填充时间,由上面的代价模型估算。驱逐的单位是「一个检查点 + 只被它依赖的块」,与其他混合状态共享的前缀不计入释放量。两项单位都是「每块的预填充时间」,可以直接相加,不需要任何随负载调整的超参数。同时,准入也用同一个优先级:显存紧张时,新检查点只有比已缓存中最不值钱的那个更有价值,才会被保留。

GPU 缓存下的实验结果

实验在 B200 上进行,负载为 SemiAnalysis 公开的 Claude Code 轨迹。GLM-5.3-Flash、1M 上下文、48 会话时:



在三个模型上,FlashStates 的预填充吞吐分别为 vLLM 的 3.15 倍(GLM-5.3-Flash)、2.27 倍(Nemotron 3 Super)和 1.54 倍(Qwen3.8-Flash-Next),p90 TTFT 分别降低 88.4%、77.1% 和 79.0%。



在多种混合架构模型上随并发变化的服务性能

走出 GPU:CPU 缓存与跨引擎复用

生产环境中,推理服务通常会把 GPU 放不下的缓存下沉到 CPU 内存乃至共享存储。那么缓存足够大时,FlashStates 的收益还在吗?论文的回答是:更大的缓存能留住更多数据,但无法提供一个从未被保存的检查点。

团队将 FlashStates 接入 Mooncake 作为 CPU 缓存层,并做了三项工程改造:

  • 请求结束即异步写穿:请求一结束,精确终点的新状态就排队拷贝到 CPU,不必等到 GPU 驱逐时再搬;
  • 两级缓存统一管理:扩展 Mooncake 的元数据服务器,跟踪状态归属与共享 KV 引用,把依赖感知的 GDS 策略推广到 GPU + CPU 两级缓存,仍被其他状态依赖的块不会被误删;
  • 传输优化:优化 GPU 到 CPU 的拷贝,并压缩投机解码(MTP)相关的状态。

测试使用 GLM-5.3-Flash NVFP4、1M 上下文,每个服务两块 B200,开启 3 步 MTP,对比 vLLM + Mooncake(512GiB)与 SGLang + HiCache(511.5GiB 主机缓存):

  • 输出吞吐比 vLLM + Mooncake 最高提升 41.4%,比 SGLang + HiCache 最高提升 36.2%
  • 中位未缓存 prompt token 减少 68.7%–81.4%
  • 80 会话时 p90 TTFT 降低约 3 倍(7.18 秒,对比 21.88 秒和 22.97 秒)



512GiB CPU 缓存下的输入吞吐与解码速度(气泡面积为 p90 TTFT,GLM-5.3-Flash NVFP4,32–80 会话)

更进一步,写入共享存储的状态可以被另一个引擎 worker上的后续轮次复用,条件是前缀精确匹配,且各张量并行(TP)rank 所需的对象齐全。这为预填充-解码(PD)分离等分布式部署中「下一轮由另一个预填充引擎接手」打下了基础。

结语

FlashStates 的核心观点是:恢复位置应由「哪里能复用」决定,而不是由「KV 怎么分块」决定。在工程上,它已集成 vLLM,覆盖三种混合架构,兼容 CPU 缓存与投机解码,并为跨引擎的状态共享做了准备。随着混合架构普及、Agent 上下文持续变长,推理系统中为纯 Transformer 设计的缓存逻辑,需要针对混合状态重新设计。目前,开源推理引擎 SGLang 已接入了 FlashStates 提出的成本感知状态淘汰策略,并在官方文档中明确引用了这项工作。

参考链接:https://docs.sglang.io/docs/advanced_features/radix_eviction_policy#state_cost-parameters

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
基辛格当年就看穿了1979年对越反击战:表面看越方遭遇重创,其实真正栽跟头的根本不是它,背后真正被拖垮的角色如今几乎没人提起?

基辛格当年就看穿了1979年对越反击战:表面看越方遭遇重创,其实真正栽跟头的根本不是它,背后真正被拖垮的角色如今几乎没人提起?

扶苏聊历史
2026-11-12 11:27:37
张柏芝真的吓我一跳!猛的一看还以为没拉裤子拉链

张柏芝真的吓我一跳!猛的一看还以为没拉裤子拉链

旧时光老师
2026-10-31 19:50:26
和17个男友有染,被誉为圈内“最野”女星,如今51岁仍身材火辣

和17个男友有染,被誉为圈内“最野”女星,如今51岁仍身材火辣

小武侃风云
2026-11-11 05:39:43
73岁马克龙太太见柬埔寨国王“淑女坐”,纤细脚踝夺目,丈夫坚持出访惹争议

73岁马克龙太太见柬埔寨国王“淑女坐”,纤细脚踝夺目,丈夫坚持出访惹争议

译言
2026-11-16 07:28:33
不用等明年了!苹果首款折叠屏交付提速 iPhone Duo官网下单12月到手

不用等明年了!苹果首款折叠屏交付提速 iPhone Duo官网下单12月到手

快科技
2026-11-17 00:54:10
等杨铭锐踢成国青队长,才发现苗润东在中冠一点本事没长

等杨铭锐踢成国青队长,才发现苗润东在中冠一点本事没长

中场阴谋家
2026-11-16 22:23:32
幼儿园女老师赌气炒股,亏掉60万后:老公买房同样亏 60 万,凭什么他算投资我算赌?

幼儿园女老师赌气炒股,亏掉60万后:老公买房同样亏 60 万,凭什么他算投资我算赌?

民生故事会
2026-10-19 19:12:52
争议!亚马尔转发辱华视频 默默删除未回应 网友怒斥:必须公开道歉

争议!亚马尔转发辱华视频 默默删除未回应 网友怒斥:必须公开道歉

念洲
2026-11-16 06:12:52
曝利雅得胜利续约菲利克斯,须再支付切尔西2000万欧元,沙特MVP难回欧洲

曝利雅得胜利续约菲利克斯,须再支付切尔西2000万欧元,沙特MVP难回欧洲

夏侯看英超
2026-11-17 00:48:24
被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

星娱叨叨社
2026-10-08 14:52:34
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

多名演员发文抵制,业内人士:很悲哀,收入猛降八成,几乎成“免费劳动力”

上海约饭局
2026-07-05 15:23:20
金价,突发跳水!美联储加息,预期增强!

金价,突发跳水!美联储加息,预期增强!

证券时报
2026-11-16 17:28:04
1944年,美国记者在延安拍下毛主席,最惊人的不是那身补丁衣

1944年,美国记者在延安拍下毛主席,最惊人的不是那身补丁衣

马蹄烫嘴说美食
2026-11-16 11:55:16
别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的,又一产品大翻车,成本只有10元,很多人长期上当

荆头条
2026-11-16 07:55:48
100℃沸水煮一煮,起勃费劲不用过量吃药,很多人却不知道!

100℃沸水煮一煮,起勃费劲不用过量吃药,很多人却不知道!

王嚾晓
2026-10-30 17:37:59
是亏是赚?23年独行侠5换2得到欧文,送出的球员如今发展如何

是亏是赚?23年独行侠5换2得到欧文,送出的球员如今发展如何

大卫的篮球故事
2026-11-16 20:33:18
4年睡19个男人,16岁已是人间尤物,嫁给老实人后收心安分做老婆

4年睡19个男人,16岁已是人间尤物,嫁给老实人后收心安分做老婆

新一说史
2026-11-10 16:12:55
一个坏消息:中国75万博士生群体面临的非常严峻问题,已到跟前

一个坏消息:中国75万博士生群体面临的非常严峻问题,已到跟前

金哥说新能源车
2026-11-07 13:20:14
瑜伽裤到底惹了谁?曾黎晨跑被骂不雅,张天爱练个腿也被批

瑜伽裤到底惹了谁?曾黎晨跑被骂不雅,张天爱练个腿也被批

橙星文娱
2026-08-30 10:48:30
2026-11-17 01:15:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

房产
亲子
教育
数码
公开课

房产要闻

6.6亿!海口卖地!

亲子要闻

“求你给她忌忌嘴吧!”宝妈把女儿养成浑身病,旁人看不下去了

教育要闻

【预告】11月20日|2026年广东省中职课堂教学数字化评价与质量提升项目省级教研活动(广州轻工职校)

数码要闻

华为WATCH Air新款智能手表外观曝光:圆润机身+超轻薄设计,预装鸿蒙HarmonyOS系统

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版