网易首页 > 网易号 > 正文 申请入驻

千万token下,比DeepSeek式稀疏注意力再快22倍

0
分享至

编辑|Panda


如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query不再看遍所有历史 token,只挑出少数最相关的去「看」。

这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。

问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是「找到那一小部分」依然会随上下文长度二次方增长。

现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。



它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速22.7倍,把 Qwen3.8-27B 的提速72.4倍,同时在一系列任务上保持了与原模型相近的精度。



  • 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
  • 论文地址:https://arxiv.org/abs/2610.42147
  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention

稀疏注意力的「隐形账单」

先回顾一下注意力的成本结构。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。

稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。

这个思路成立有个前提:模型确实只需要很少的 key。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。

但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill 依然是二次方。

打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。



超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

不按时间排,按语义排

LSA 的解法,是让索引器不再逐个检查 key,而是去检查「key 的分组」。



D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。

关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。

LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。

回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。

这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了O(T log T),这也是论文标题中「次二次方」(subquadratic)的由来。



D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。

两种用法:嫁接进已有模型,或者从头长出来

LSA 提供了两种落地方式。

第一种是D-LSA(Distilled-LSA),面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。

第二种是N-LSA(Native-LSA),在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。



N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。

工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。

1000 万 token 下的成绩单

先看精度。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。

在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。

为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准PaperTrail。

它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。



D-LSA 在知识、推理与长上下文任务(最长 10M token)上的精度,与全注意力及稀疏注意力基线相当。

再看速度,这也是这项工作最醒目的部分。在 10M token 下,单个注意力层的 prefill,D-LSA 比 GLM-5.3-Flash 原生稀疏注意力快22.7 倍,比 Qwen3.8-27B 的全注意力快72.4 倍;decode 阶段分别快4.6 倍和42.5 倍。这个加速比随上下文增长而扩大,在 1M token 时,对 GLM-5.3-Flash 的 prefill 加速为 3.5 倍,512k 时只有 2.1 倍,因为上下文较短时逐块扫描本来就不贵。按趋势外推,Tree 变体在 1 亿 token 时预计比基线稀疏注意力快 90 倍以上。

单层加速传导到整个模型时会被稀释,因为模型中还有大量不受影响的其他层。在 SGLang 的实际部署中,10M token 下 D-LSA 让 GLM-5.3-Flash 的首 token 时间(TTFT)缩短 2.2 倍(上下文并行),从约 7.5 分钟降到约 3.4 分钟;让 Qwen3.8-27B 的首 token 时间缩短 9.2 倍,从约 76 分钟降到约 8 分钟。

索引本身的显存占用也更小。在 10M token 下,D-LSA 每层索引占 246 MiB,GLM-5.3-Flash 原生方案为 331 MiB,Qwen 风格的块稀疏方案为 642 MiB。



D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推至 100M token 的 prefill 耗时。

N-LSA 的实验规模要小得多。团队从头训练了一个约 5 亿参数的混合模型,24 层中每 4 层有 1 层是注意力层,其余为 Gated DeltaNet 线性注意力层,在 128k token 的上下文下进行退火训练。结果显示,N-LSA 的验证损失与全注意力完全持平(均为 1.085),而同等稀疏预算下的 PISA、NSA 和滑动窗口注意力分别为 1.100、1.117 和 1.154。在 128k 的 RULER 上,N-LSA 得分 32.2,全注意力为 34.7,NSA 和 PISA 则跌到 19.2 和 14.6。训练速度方面,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 实现的全注意力快 1.6 倍。



N-LSA 训练加速。左:单个注意力层前向加反向的加速比;右:退火阶段整个模型的验证损失随训练时间的变化。

结语

过去几年,长上下文的竞争主线是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,行业已经基本证明了只看不到 1% 的 token 也能维持精度。LSA 指出的是下一个瓶颈:当「看」变得便宜,「找」就成了大头。

把注意力层改造成一个带层次索引的检索系统,这个方向并不新,Reformer、Routing Transformer 等早期工作都尝试过按内容组织 key,但此前鲜有方法在 1M 以上的规模上同时验证过精度和速度。随着 Agent 开始承担持续数天的科研、编程等长程任务,上下文窗口还会继续变长,届时决定成本曲线的,或许正是索引器的复杂度。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
世纪和解:贾乃亮李小璐热度升高,李小璐发文:属于这个冬天的温柔时刻!

世纪和解:贾乃亮李小璐热度升高,李小璐发文:属于这个冬天的温柔时刻!

默默有话说
2026-11-14 20:31:14
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

西楼饮月
2026-11-16 21:43:00
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

大鱼简科
2026-11-17 10:04:14
上海当年增发养老金280元很多人已经到账,社保仅交16年个账10万,工龄单价为啥这么高?

上海当年增发养老金280元很多人已经到账,社保仅交16年个账10万,工龄单价为啥这么高?

平静话社保
2026-11-17 06:39:13
罗荣桓建议贺龙当国防部长,毛主席:让贺老总当军委第二副主席吧

罗荣桓建议贺龙当国防部长,毛主席:让贺老总当军委第二副主席吧

春秋砚
2026-06-26 18:40:06
吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

鬼菜生活
2026-11-17 01:33:17
官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

一盅情怀
2026-11-17 12:19:47
九一三事件后,黄永胜的孩子们都有什么命运?

九一三事件后,黄永胜的孩子们都有什么命运?

华人星光
2026-11-17 15:10:05
360证实:集团副总裁卜思南正接受调查

360证实:集团副总裁卜思南正接受调查

闪电新闻
2026-11-17 13:21:46
就在刚刚!官宣签NBA总冠军后卫冲季后赛!在CBA曾场均27.9分11.1板10.9助

就在刚刚!官宣签NBA总冠军后卫冲季后赛!在CBA曾场均27.9分11.1板10.9助

老吴说体育
2026-11-17 14:31:59
印度媒体吹嘘:如今中国已远落后于印度,印度已准备好成为世界下一个经济超级大国

印度媒体吹嘘:如今中国已远落后于印度,印度已准备好成为世界下一个经济超级大国

拍案社会
2026-11-17 09:28:40
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
万众期盼2026年退休人员养老金,究竟涨不涨?居民养老金有好消息

万众期盼2026年退休人员养老金,究竟涨不涨?居民养老金有好消息

社保小达人
2026-11-17 10:08:38
宝马沈阳生产基地传来大消息!

宝马沈阳生产基地传来大消息!

沈阳生活圈i
2026-11-17 11:14:47
中共中央书记处书记、国务委员王小洪到四川调研

中共中央书记处书记、国务委员王小洪到四川调研

政知新媒体
2026-11-16 21:47:40
NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

NBA官网更新实力榜:马刺居首火箭第2,76人第5开拓者飙升至第6

罗说NBA
2026-11-17 06:09:45
6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

6岁男童被拐17年后,在粥店喝小米粥,突然红眼道:这是奶奶的手艺

今天说故事
2025-08-04 18:39:27
英飞凌副总直言:西方限制中国获得EUV光刻机,结果中国拿成熟芯片砸欧洲企业的饭碗

英飞凌副总直言:西方限制中国获得EUV光刻机,结果中国拿成熟芯片砸欧洲企业的饭碗

逍遥漠
2026-11-17 13:18:55
火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

军迷战情室
2026-11-15 23:26:53
2026-11-17 16:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14495文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
游戏
旅游
房产
教育

情绪真能让健康人"伤心至死"?

小伙表示连玩7天《GTA6》 这下PS5可惨了

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

房产要闻

6.6亿!海口卖地!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

无障碍浏览 进入关怀版