Qwen4推理内核代码现身GitHub：27B架构细节引热议，新一代模型路线浮出水面？

作者 | 四月

Qwen4 尚未发布，但一份已合并的开源推理内核代码 Pull Request（PR），却率先“透露”了架构线索。

这份 PR 来自阿里云重要芯片供应商英特尔 GPU（XPU）推理加速仓库 analytics-zoo/vllm-xpu-kernels，主要涉及英特尔 GPU（XPU）的底层推理算子开发与优化。

在这条名为“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”的 PR 里，开发者 hzjane 不仅将“qwen4-27b”直接挂在了标题上，还公开了与模型张量尺寸、注意力计算、残差结构、量化精度及推理解码相关的具体实现。

这里有一个背景需要补充，芯片与底层算子适配是模型发布前的必经环节。硬件厂商为了让自家 XPU 或 GPU 在新模型发布当天提供算力支持，通常会提前数月拿到模型结构甚至早期权重进行 kernel 开发。理论上，这些工程细节即使没有模型权重，也可能成为外界反推架构的依据。

但比较蹊跷的是，这次新模型的工程协同痕迹被未经脱敏地推到了公开分支。

随后，llama.cpp 开源社区的开发者顺着这些线索展开逆向分析，更进一步还原出 Qwen4 这一档位模型的更多架构技术细节：Qwen4-27B延续了上一代 Qwen3.8-27B 模型的 Dense 稠密架构，同时引入了 Qwen3.8-Flash-Next四路残差流、稀疏注意力等新一代设计。社区还从代码中推断，其前馈网络的中间维度可能有所缩减。

Qwen3.8-Flash-Next 于今年 8 月发布、被官方定义为 Qwen4 架构预览，是一款 125B 参数、每 Token 激活约 6B 参数的 MoE 稀疏模型。

可以推测，阿里正在把下一代模型的架构创新，同时应用于大型 MoE 和中等规模 Dense 模型，而非单纯依靠增加参数提升能力。距离阿里在云栖大会上透露 Qwen4 已进入训练阶段，仅过去一个多月。这次意外浮出水面的代码，究竟提前暴露了下一代千问的哪些技术底牌？

Qwen4 意外现身 单设备即可部署

在开发者 hzjane 在面向英特尔 GPU（xPU） 推理加速的 vLLM XPU Kernels 开源项目分支中，提交了一份原本用于优化 Qwen3.8-Flash-Next 的代码更新，却在标题中直接写出了尚未发布的 Qwen4-27B。

目前，这份编号为 的 PR已被代码仓正式合并，包含 10 次代码提交、56 个文件变更。

该 PR 明确了 Qwen4-27B 的底层推理适配方案。开发者在说明中直接列出，针对 Qwen4-27B Dense，提供TP2 FP8、TP1/TP2 INT4 的 SYCL/SYCL-TLA内核。

这意味着相关开发工作已经覆盖双设备 FP8 推理，以及单设备、双设备 INT4 量化计算路径。其中，FP8 主要用于降低计算与存储开销，INT4 则通过进一步压缩权重精度，减少模型运行时对显存的需求。

在评论区，网友也迅速把关注点转向显存需求。对于一款 270 亿参数的稠密模型而言，按照每个参数 4 bit 粗略计算，仅模型权重理论上约需 13.5GB 存储空间，但这还不包括 KV Cache、中间激活和运行时开销。

INT4 的适配至少说明，社区已经在为 Qwen4-27B 的超低显存部署做准备，以实现更低精度、较少设备资源运行。不过，这次面向的是SYCL/SYCL-TLA 内核，主要用于开发 GPU 高性能计算，还不意味着 Qwen4 已经在普通消费级显卡上运行成功。

此外，PR 里还出现Qwen4-27B 的部分推理性能测试记录。在8 张 Intel B70 加速卡环境下开展的测试。其中，一轮历史候选结果显示，Qwen4 TP2 FP8 配置下，32K 输入的首 Token 延迟从约 37.41 秒缩短至 21.84 秒，降幅约 42%；INT4 配置也有接近幅度的改善。

这意味着新模型可能在引入额外结构的同时，通过压缩部分传统计算模块，平衡新增的计算与内存成本。

该份还明确注明，目前没有提供 Qwen4 的 QSA 权重，因此尚未完成基于真实模型权重的完整端到端验证，QSA 与 MTP 的组合也未启用。

换句话说，目前 Qwen4-27B 或已进入具体的推理算子适配和优化阶段，但尚不知最终模型权重是否已经准备就绪。

27B 保留稠密路线 四路残差成关键变化

在开源推理项目 llama.cpp 的 GitHub 仓库里，开发者 adambenhassen 顺着线索，将 Qwen4-27B 与此前的 Qwen3.8-27B 进行了逐项比较。

Qwen4-27B并未明显改变上一代模型的基础规模，而是将升级重点放在内部架构上。

两代模型均采用27B Dense 稠密路线，隐藏层维度同为 5120，部分 GDN 和注意力配置也基本一致。但 Qwen4 相关实现中，又出现了四路 Hyper-Connections（HC）、Sigmoid 输出门控和 QSA 稀疏注意力等设计。

其中，四路残差是最值得关注的变化之一。它将传统 Transformer 的单路残差信息传递扩展为四路，通过门控改善不同网络层之间的信息流动。GDN 则利用固定大小状态高效压缩历史信息，QSA 通过筛选重要上下文，减少不必要的注意力计算。

这些技术此前已在 Qwen3.8-Flash-Next 中作为 Qwen4 架构预览公开，如今又出现了针对 27B 稠密模型的适配线索。

如果相关配置得到证实，Qwen4-27B 的升级重点不在扩大参数规模，而是通过改善信息传递与长上下文计算效率，争取更高的模型能力和推理效率。

这也与阿里此前公布的下一代模型技术方向相呼应。

云栖大会上，阿里巴巴集团 CEO 吴泳铭描绘的各类 Agent 协同。对于需要持续读取代码、调用工具、处理长文档的 Agent 而言，模型不仅需要更强的推理能力，还必须控制长期运行中的计算与存储成本。GDN 与 QSA 的混合设计，正是为缓解长上下文计算和历史信息访问开销提供的一种技术路线。

新架构甚至可能影响现有推理框架的兼容性。

llama.cpp 开发者指出，由于四路残差改变了模型内部的信息传递结构，现有针对qwen3_5的推理实现已无法直接加载 Qwen4-27B，需要适配新的模型代码。部分基于上一代模型训练的推测解码辅助模型，也可能需要重新训练。

结语

当然，社区这些分析主要建立在推理内核代码之上。没有正式模型配置和权重，仍无法判断 Qwen4-27B 的最终完整架构。一位接近千问团队的知情人士向我们透露，按照以往的产品发布节奏，27B 规模的模型通常属于较晚发布的批次。

在一个月前的云栖大会上，阿里巴巴 CEO 吴泳铭介绍了集团面向机器智能时代的算力与基础设施规划。新任 Qwen LLM 项目负责人刘大一恒也首次在云栖大会主论坛亮相，介绍千问下一阶段的发展方向。

其中最重要的一条信息是：基于新一代架构的 Qwen4 已经进入训练阶段，后续 Qwen4.5、Qwen5 等系列还计划向 5 万亿至 10 万亿参数规模扩展。

这也意味着，阿里已经明确将 Qwen4 定位为下一阶段模型架构升级的重要节点。从行业技术演进来看，越来越复杂的 Agent 工作负载，正在推动模型厂商同时改进网络架构、注意力计算和推理部署效率。此次 GitHub 代码中出现的 HC、GDN、QSA 等技术，也与这条发展路线存在明显关联。

声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

今日荐文

你也「在看」吗？