网易首页 > 网易号 > 正文 申请入驻

腾讯为Qwen3.8-27B配上2B草稿模型,WorkBuddy任务提速3.84倍!

0
分享至

智猩猩AI整理

编辑: 没方

腾讯优图实验室最近开源了一个名为DSpine的推测解码框架,该框架让一个轻量级草稿模型提前并行预测多个Token,再由原始大模型一次性验证,尽可能减少大模型逐Token生成的等待时间。


最近,研究团队进一步将其适配到了通义千问Qwen3.8-27B模型上。

配套的辅助模型Qwen3.8-27B-DSpine-b16已经在Hugging Face公开,拥有约2B参数,模型文件大小约4.05GB。


从公开评测来看,这套方案在数学、代码以及Agent任务上都取得了不错的成绩。

其中,在WorkBuddy Code、WorkBuddy Web、WorkBuddy Office、SWE-bench Pro和τ²-bench五项Agent评测中,DSpine的端到端吞吐量均超过DFlash2。在WorkBuddy Office的low推理模式下,吞吐量达到805.53 Token/s,是原始自回归解码的3.84倍。


01

不改原模型,用

辅助模型加速推理

要理解DSpine,首先需要了解推测解码(Speculative Decoding)。

传统的大语言模型采用自回归方式生成文本,每次根据已有上下文预测下一个Token,再将新生成的Token加入上下文,继续预测下一个。

这种方式虽然能够保证生成过程的连贯性,但也意味着每个Token都需要等待前一个Token生成,推理速度容易受到串行计算的限制。

推测解码则提供了另一种加速思路。它引入轻量化的草稿模型(Draft Model)生成候选Token,交由原始大模型(Target Model)一次性验证。

如果候选符合大模型预期,可一次性接受多个token;一旦出现不匹配,则在第一个拒绝位置做修正,丢弃后面全部草稿。

原本需要多次大模型前向运算生成的文本片段,就有机会通过单次验证完成。

草稿模型分为自回归草稿与并行草稿两类。

并行草稿(DFlash 系列,DSpine 属于此类)仅执行一次主干前向,同时输出一整块候选Token,起草不产生额外的串行步数。

但这里存在一个核心问题:并行计算时块内所有位置同步运算,前驱位置还没有确定最终token,后继位置无法拿到前驱最终选定的Token。

各个位置只能基于全局上下文做独立预测,块内部token之间容易出现逻辑冲突。

而验证严格从左到右按前缀顺序执行,只要中间一处不匹配,后面全部已经算好的候选直接作废,大幅降低单轮平均可接受Token数量。

DSpine要解决的就是这个问题。

02

DSpine:让前后Token

在网络深度中传递信息

DSpine的核心思想是相邻因果注入(Adjacent causal injection)。

传统并行草稿模型通常在网络主体完成计算后,再通过额外模块补充前后Token 之间的依赖关系。

DSpine 则把这一步提前到了网络内部。

如图3(a)所示,在草稿模型的每一层计算完成后,每个位置都会接收紧邻前一个位置传递过来的预测特征,并通过一个门控机制决定接收多少信息,再将其写入自身的残差流。


这个过程会在网络的每一层重复进行。

随着网络不断向深层推进,块内Token之间的因果依赖也逐步建立起来。

为了让这种信息传递更加有效,研究团队还设计了统一传递空间(Unified Transfer Space)。

它利用目标模型输出嵌入构建一个共享的特征空间,让尚未确定的预测特征和已经确定的Token嵌入能够通过同一套机制进行传递。

DSpine还引入逐层输出嵌入监督(Layer‑wise Output‑Embedding Supervision),让草稿模型不同层产生的预测特征逐步对齐正确Token对应的嵌入信息。

在主干网络计算完成后的选词解码阶段,研究团队进一步设计了转移缓存(Transition Cache),如下图所示。


选词时后继候选得分依赖前驱位置最终选定的Token,如果逐个计算候选间转移关系,会带来串行计算开销。

因此,DSpine提前并行计算全部相邻候选Token配对的条件得分,存入缓存;后续选词直接查表读取结果,实现 “并行预计算+串行选择”,规避逐步串行矩阵运算开销。

通过这几项设计,DSpine试图同时解决两个问题:提高草稿模型的候选Token接受率,以及控制额外解码计算带来的开销。

03

实验评估

DSpine最初主要围绕Qwen3-4B和Qwen3-8B展开。如下表所示,在七项数学、代码和对话基准测试中,DSpine均取得了领先的平均接受长度。


以Qwen3-8B为例,在温度为0的设置下,DSpine将平均接受长度从DFlash的3.77提升到了4.82,提升约27.8%。

在SGLang服务测试中,其吞吐量相比DFlash平均提高23.3%。


在Qwen3-4B和Qwen3-8B上验证了效果后,腾讯进一步将DSpine适配到了Qwen3.8-27B。

以温度为0的设置为例,DSpine在GSM8K上的平均接受长度达到7.20,相比DFlash2的5.69提升约26.5%;在MATH-500上从5.49提升至6.49,在HumanEval上从4.87提升至5.71,在MBPP上从5.04提升至6.14。五项任务均取得了领先结果。


关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
公园人工湖清淤,湖底捞出12辆共享单车,每辆车上都绑一具人形模特

公园人工湖清淤,湖底捞出12辆共享单车,每辆车上都绑一具人形模特

悬案解密档案
2025-10-29 13:36:28
世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

吴锎旅行ing
2026-11-22 10:41:17
又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

又一个被抓到缅甸,重庆24岁的郑凡,去西双版纳散心,人没回来

蹲坑看世界
2026-10-17 19:28:40
不同命!德泽尔比天崩开局近5轮4胜当选月最佳主帅 反观卡里克…

不同命!德泽尔比天崩开局近5轮4胜当选月最佳主帅 反观卡里克…

新英体育
2026-11-22 10:14:56
研究发现:吃一次羊肉,就等于给高血压人身体添一次堵,真的吗?

研究发现:吃一次羊肉,就等于给高血压人身体添一次堵,真的吗?

路医生健康科普
2026-11-12 11:20:03
穆里尼奥换上的不是埃斯皮,是皇马更衣室里那口没咽下去的气

穆里尼奥换上的不是埃斯皮,是皇马更衣室里那口没咽下去的气

眼界看世界
2026-11-22 19:03:02
近期高发,出现这些症状第一时间就医,不是普通的感冒

近期高发,出现这些症状第一时间就医,不是普通的感冒

爆炸营养彭鑫蕊
2026-11-21 21:29:58
3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

刘姚尧的文字城堡
2026-11-22 20:13:56
红果短剧有多离谱?套路千篇一律,逻辑全崩,为何还让人上瘾

红果短剧有多离谱?套路千篇一律,逻辑全崩,为何还让人上瘾

浩渺青史
2026-11-20 01:27:26
特朗普突然对菲律宾开条件:100%买美国农产品

特朗普突然对菲律宾开条件:100%买美国农产品

看看新闻Knews
2026-11-22 20:53:45
《声生不息》迎来最烦人嘉宾:尴尬做作、只知道哭,还不如大张伟

《声生不息》迎来最烦人嘉宾:尴尬做作、只知道哭,还不如大张伟

青梅侃史啊
2026-11-22 07:27:38
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
全国养老工作会议定调,养老迎来全新方向,每一位退休老人都相关

全国养老工作会议定调,养老迎来全新方向,每一位退休老人都相关

原广工业
2026-11-23 02:55:28
奇耻大辱!女篮输球后被韩国当面嘲笑:2米26张子宇光有身高没用?

奇耻大辱!女篮输球后被韩国当面嘲笑:2米26张子宇光有身高没用?

篮球快餐车
2026-09-26 04:08:55
中共沈阳市委、沈阳市人民政府贺信!祝贺辽宁女足首夺女超冠军!

中共沈阳市委、沈阳市人民政府贺信!祝贺辽宁女足首夺女超冠军!

环球网资讯
2026-11-22 18:08:07
一直以为的绝密配方原来是大道至简!网友:难怪炖不出店里那个味

一直以为的绝密配方原来是大道至简!网友:难怪炖不出店里那个味

夜深爱杂谈
2026-11-01 19:32:16
一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

一男子将3000万存银行,银行承诺3年利息为4%,每年120万利息,可第三年只给105万利息,还有15万元不给了,男子直接起诉,法院判了

LULU生活家
2026-10-24 14:40:06
“永久单身”声明背后:白鹿张凌赫那段无人知晓的往事

“永久单身”声明背后:白鹿张凌赫那段无人知晓的往事

乡野小珥
2026-11-23 03:44:52
拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

华夏时报
2026-11-21 19:35:10
2026-11-23 04:27:00
智猩猩
智猩猩
AI 技术内容与服务平台
395文章数 18关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

数码
房产
游戏
旅游
公开课

数码要闻

NVIDIA驱动SSD异常写入:最新紧急补丁也没解决!待机一夜仍写入36GB

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

旅游要闻

【甘快看】文旅新探·探秘丨大地湾,渭水文脉八千年

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版