网易首页 > 网易号 > 正文 申请入驻

腾讯为Qwen3.8-27B配上2B草稿模型,WorkBuddy任务提速3.84倍!

0
分享至

智猩猩AI整理

编辑: 没方

腾讯优图实验室最近开源了一个名为DSpine的推测解码框架,该框架让一个轻量级草稿模型提前并行预测多个Token,再由原始大模型一次性验证,尽可能减少大模型逐Token生成的等待时间。


最近,研究团队进一步将其适配到了通义千问Qwen3.8-27B模型上。

配套的辅助模型Qwen3.8-27B-DSpine-b16已经在Hugging Face公开,拥有约2B参数,模型文件大小约4.05GB。


从公开评测来看,这套方案在数学、代码以及Agent任务上都取得了不错的成绩。

其中,在WorkBuddy Code、WorkBuddy Web、WorkBuddy Office、SWE-bench Pro和τ²-bench五项Agent评测中,DSpine的端到端吞吐量均超过DFlash2。在WorkBuddy Office的low推理模式下,吞吐量达到805.53 Token/s,是原始自回归解码的3.84倍。


01

不改原模型,用

辅助模型加速推理

要理解DSpine,首先需要了解推测解码(Speculative Decoding)。

传统的大语言模型采用自回归方式生成文本,每次根据已有上下文预测下一个Token,再将新生成的Token加入上下文,继续预测下一个。

这种方式虽然能够保证生成过程的连贯性,但也意味着每个Token都需要等待前一个Token生成,推理速度容易受到串行计算的限制。

推测解码则提供了另一种加速思路。它引入轻量化的草稿模型(Draft Model)生成候选Token,交由原始大模型(Target Model)一次性验证。

如果候选符合大模型预期,可一次性接受多个token;一旦出现不匹配,则在第一个拒绝位置做修正,丢弃后面全部草稿。

原本需要多次大模型前向运算生成的文本片段,就有机会通过单次验证完成。

草稿模型分为自回归草稿与并行草稿两类。

并行草稿(DFlash 系列,DSpine 属于此类)仅执行一次主干前向,同时输出一整块候选Token,起草不产生额外的串行步数。

但这里存在一个核心问题:并行计算时块内所有位置同步运算,前驱位置还没有确定最终token,后继位置无法拿到前驱最终选定的Token。

各个位置只能基于全局上下文做独立预测,块内部token之间容易出现逻辑冲突。

而验证严格从左到右按前缀顺序执行,只要中间一处不匹配,后面全部已经算好的候选直接作废,大幅降低单轮平均可接受Token数量。

DSpine要解决的就是这个问题。

02

DSpine:让前后Token

在网络深度中传递信息

DSpine的核心思想是相邻因果注入(Adjacent causal injection)。

传统并行草稿模型通常在网络主体完成计算后,再通过额外模块补充前后Token 之间的依赖关系。

DSpine 则把这一步提前到了网络内部。

如图3(a)所示,在草稿模型的每一层计算完成后,每个位置都会接收紧邻前一个位置传递过来的预测特征,并通过一个门控机制决定接收多少信息,再将其写入自身的残差流。


这个过程会在网络的每一层重复进行。

随着网络不断向深层推进,块内Token之间的因果依赖也逐步建立起来。

为了让这种信息传递更加有效,研究团队还设计了统一传递空间(Unified Transfer Space)。

它利用目标模型输出嵌入构建一个共享的特征空间,让尚未确定的预测特征和已经确定的Token嵌入能够通过同一套机制进行传递。

DSpine还引入逐层输出嵌入监督(Layer‑wise Output‑Embedding Supervision),让草稿模型不同层产生的预测特征逐步对齐正确Token对应的嵌入信息。

在主干网络计算完成后的选词解码阶段,研究团队进一步设计了转移缓存(Transition Cache),如下图所示。


选词时后继候选得分依赖前驱位置最终选定的Token,如果逐个计算候选间转移关系,会带来串行计算开销。

因此,DSpine提前并行计算全部相邻候选Token配对的条件得分,存入缓存;后续选词直接查表读取结果,实现 “并行预计算+串行选择”,规避逐步串行矩阵运算开销。

通过这几项设计,DSpine试图同时解决两个问题:提高草稿模型的候选Token接受率,以及控制额外解码计算带来的开销。

03

实验评估

DSpine最初主要围绕Qwen3-4B和Qwen3-8B展开。如下表所示,在七项数学、代码和对话基准测试中,DSpine均取得了领先的平均接受长度。


以Qwen3-8B为例,在温度为0的设置下,DSpine将平均接受长度从DFlash的3.77提升到了4.82,提升约27.8%。

在SGLang服务测试中,其吞吐量相比DFlash平均提高23.3%。


在Qwen3-4B和Qwen3-8B上验证了效果后,腾讯进一步将DSpine适配到了Qwen3.8-27B。

以温度为0的设置为例,DSpine在GSM8K上的平均接受长度达到7.20,相比DFlash2的5.69提升约26.5%;在MATH-500上从5.49提升至6.49,在HumanEval上从4.87提升至5.71,在MBPP上从5.04提升至6.14。五项任务均取得了领先结果。


关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中美俄为什么坐到一起却各算各的账

中美俄为什么坐到一起却各算各的账

小眼睛小世界
2026-11-22 07:21:46
玩《GTA6》超100小时,他最后悔朝动物园猩猩开的那一枪

玩《GTA6》超100小时,他最后悔朝动物园猩猩开的那一枪

娱圈观察员
2026-11-20 22:29:26
英博夺冠后或换掉全部5名外援!中超MVP降薪也要走:女儿无法坐飞机

英博夺冠后或换掉全部5名外援!中超MVP降薪也要走:女儿无法坐飞机

风过乡
2026-11-22 19:39:51
没人能战胜市场,但股民都认为自己是巴菲特

没人能战胜市场,但股民都认为自己是巴菲特

子业一说财经
2026-11-16 11:44:48
大衣哥怒怼批评当地文旅:没有封杀令却叫停商演,举报不该是伤人暗器

大衣哥怒怼批评当地文旅:没有封杀令却叫停商演,举报不该是伤人暗器

十为先生
2026-11-22 17:54:57
爸把学区房给了哥哥,我收拾行李他拦住我:你嫂子年薪百万,你什么也不是

爸把学区房给了哥哥,我收拾行李他拦住我:你嫂子年薪百万,你什么也不是

麦子情感故事
2026-11-21 21:10:10
特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

星落山间
2026-11-22 17:33:19
60次犯规95次罚球!香港金牛历史性闯入俱乐部杯8强,裁判却疯狂抢戏

60次犯规95次罚球!香港金牛历史性闯入俱乐部杯8强,裁判却疯狂抢戏

弄月公子
2026-11-23 00:19:29
50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

观鱼听雨
2026-11-21 19:16:00
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
特别恶心让人三观尽毁的事你遇见过吗?看完网友分享,眼珠都瞪圆了

特别恶心让人三观尽毁的事你遇见过吗?看完网友分享,眼珠都瞪圆了

另子维爱读史
2026-11-22 21:28:11
大连英博两位王牌正式告别球迷,未来他将挑大梁,引发热议

大连英博两位王牌正式告别球迷,未来他将挑大梁,引发热议

张丽说足球
2026-11-22 11:00:11
亲手拆掉中场平衡,曼联用一个夏窗,毁掉了卡里克的半程奇迹

亲手拆掉中场平衡,曼联用一个夏窗,毁掉了卡里克的半程奇迹

斯坦福桥看更人
2026-11-13 19:30:57
5代老麦儿子登场《GTA6》!小胖子大变样

5代老麦儿子登场《GTA6》!小胖子大变样

游民星空
2026-11-20 10:05:15
打败三上悠亚的萝莉!她才是业界纯欲天花板

打败三上悠亚的萝莉!她才是业界纯欲天花板

吃瓜党二号头目
2026-11-22 13:43:22
再创历史纪录!詹姆斯高效砍下21分,44000得分神迹近在眼前

再创历史纪录!詹姆斯高效砍下21分,44000得分神迹近在眼前

铿锵格斗
2026-11-23 02:05:30
连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

连续疯狂暴涨后,最大的危害是人们对油价消费产生了不可逆的转变

刘哥谈体育
2026-11-17 05:34:13
澳洲房价要反弹?! 两大银行预测: 2027年连续降息两次! 附本周清盘率

澳洲房价要反弹?! 两大银行预测: 2027年连续降息两次! 附本周清盘率

澳微Daily
2026-11-22 10:57:18
6000万欧只卖不租?皇马对恩德里克标价与另一说法打架

6000万欧只卖不租?皇马对恩德里克标价与另一说法打架

坠入温柔晚风
2026-11-23 00:20:22
2026年养老金方面的最新消息!

2026年养老金方面的最新消息!

逍遥论经
2026-11-22 08:52:14
2026-11-23 04:32:49
智猩猩
智猩猩
AI 技术内容与服务平台
395文章数 18关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

游戏
家居
数码
公开课
军事航空

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

NVIDIA驱动SSD异常写入:最新紧急补丁也没解决!待机一夜仍写入36GB

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版