智猩猩AI整理
编辑: 没方
腾讯优图实验室最近开源了一个名为DSpine的推测解码框架,该框架让一个轻量级草稿模型提前并行预测多个Token,再由原始大模型一次性验证,尽可能减少大模型逐Token生成的等待时间。
![]()
最近,研究团队进一步将其适配到了通义千问Qwen3.8-27B模型上。
配套的辅助模型Qwen3.8-27B-DSpine-b16已经在Hugging Face公开,拥有约2B参数,模型文件大小约4.05GB。
![]()
从公开评测来看,这套方案在数学、代码以及Agent任务上都取得了不错的成绩。
其中,在WorkBuddy Code、WorkBuddy Web、WorkBuddy Office、SWE-bench Pro和τ²-bench五项Agent评测中,DSpine的端到端吞吐量均超过DFlash2。在WorkBuddy Office的low推理模式下,吞吐量达到805.53 Token/s,是原始自回归解码的3.84倍。
![]()
01
不改原模型,用
辅助模型加速推理
要理解DSpine,首先需要了解推测解码(Speculative Decoding)。
传统的大语言模型采用自回归方式生成文本,每次根据已有上下文预测下一个Token,再将新生成的Token加入上下文,继续预测下一个。
这种方式虽然能够保证生成过程的连贯性,但也意味着每个Token都需要等待前一个Token生成,推理速度容易受到串行计算的限制。
推测解码则提供了另一种加速思路。它引入轻量化的草稿模型(Draft Model)生成候选Token,交由原始大模型(Target Model)一次性验证。
如果候选符合大模型预期,可一次性接受多个token;一旦出现不匹配,则在第一个拒绝位置做修正,丢弃后面全部草稿。
原本需要多次大模型前向运算生成的文本片段,就有机会通过单次验证完成。
草稿模型分为自回归草稿与并行草稿两类。
并行草稿(DFlash 系列,DSpine 属于此类)仅执行一次主干前向,同时输出一整块候选Token,起草不产生额外的串行步数。
但这里存在一个核心问题:并行计算时块内所有位置同步运算,前驱位置还没有确定最终token,后继位置无法拿到前驱最终选定的Token。
各个位置只能基于全局上下文做独立预测,块内部token之间容易出现逻辑冲突。
而验证严格从左到右按前缀顺序执行,只要中间一处不匹配,后面全部已经算好的候选直接作废,大幅降低单轮平均可接受Token数量。
DSpine要解决的就是这个问题。
02
DSpine:让前后Token
在网络深度中传递信息
DSpine的核心思想是相邻因果注入(Adjacent causal injection)。
传统并行草稿模型通常在网络主体完成计算后,再通过额外模块补充前后Token 之间的依赖关系。
DSpine 则把这一步提前到了网络内部。
如图3(a)所示,在草稿模型的每一层计算完成后,每个位置都会接收紧邻前一个位置传递过来的预测特征,并通过一个门控机制决定接收多少信息,再将其写入自身的残差流。
![]()
这个过程会在网络的每一层重复进行。
随着网络不断向深层推进,块内Token之间的因果依赖也逐步建立起来。
为了让这种信息传递更加有效,研究团队还设计了统一传递空间(Unified Transfer Space)。
它利用目标模型输出嵌入构建一个共享的特征空间,让尚未确定的预测特征和已经确定的Token嵌入能够通过同一套机制进行传递。
DSpine还引入逐层输出嵌入监督(Layer‑wise Output‑Embedding Supervision),让草稿模型不同层产生的预测特征逐步对齐正确Token对应的嵌入信息。
在主干网络计算完成后的选词解码阶段,研究团队进一步设计了转移缓存(Transition Cache),如下图所示。
![]()
选词时后继候选得分依赖前驱位置最终选定的Token,如果逐个计算候选间转移关系,会带来串行计算开销。
因此,DSpine提前并行计算全部相邻候选Token配对的条件得分,存入缓存;后续选词直接查表读取结果,实现 “并行预计算+串行选择”,规避逐步串行矩阵运算开销。
通过这几项设计,DSpine试图同时解决两个问题:提高草稿模型的候选Token接受率,以及控制额外解码计算带来的开销。
03
实验评估
DSpine最初主要围绕Qwen3-4B和Qwen3-8B展开。如下表所示,在七项数学、代码和对话基准测试中,DSpine均取得了领先的平均接受长度。
![]()
以Qwen3-8B为例,在温度为0的设置下,DSpine将平均接受长度从DFlash的3.77提升到了4.82,提升约27.8%。
在SGLang服务测试中,其吞吐量相比DFlash平均提高23.3%。
![]()
在Qwen3-4B和Qwen3-8B上验证了效果后,腾讯进一步将DSpine适配到了Qwen3.8-27B。
以温度为0的设置为例,DSpine在GSM8K上的平均接受长度达到7.20,相比DFlash2的5.69提升约26.5%;在MATH-500上从5.49提升至6.49,在HumanEval上从4.87提升至5.71,在MBPP上从5.04提升至6.14。五项任务均取得了领先结果。
![]()
关注+星标,获取AI前沿进展与开源一线动态
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.