vLLM 深度优化 Kimi K3 推理：基于 CuTe DSL 实现解码性能大幅跃升

10月19日消息，英伟达工程师当地时间 10 月 16 日在 vLLM 官方博客发布文章称，借助 Agent 辅助开发，在英伟达 GB300（Blackwell 架构）硬件上打造专用 CuTe DSL 解码链路，对 2.8T 参数的 Kimi K3 模型进行了优化，实现解码吞吐量、交互延迟显著提升，通过一种新的上游 vLLM 优化。

在相同硬件上速度提升 1.68 倍同时提出一套兼顾迭代速度与工程可靠性的模型优化工作流。

核心性能成果

本次优化面向 8 卡、16 卡 GB300 多 GPU 部署场景，支持 1‑64 解码 batch，兼容长上下文解码上下文并行 DSpark 推测解码。

1. Batch‑1 单请求解码（开启 DSpark 推测解码）：16 张 GB300 环境下，解码速度可达842 tokens/s，相比原版 vLLM 提速1.73 倍；

2. 通用解码吞吐量：多种测试配置整体解码吞吐量提升1.5‑2 倍。无推测解码场景下，TP16 在 batch1‑64 区间可获得 1.62‑1.88 倍加速，TP8 获得 1.31‑1.58 倍加速；

3. Agent 真实业务负载（AgentX）：16 卡 GB300 部署，P90 交互性能最高提升1.8 倍，单用户可达 403.2 tokens/s，对比基线 8 卡 GB300 的 223.7 tokens/s。

从内核时间看，原版 vLLM 每一层需要 23 个内核、耗时 130μs；经过定制优化后仅 13 个内核，每层耗时压缩至 69μs。

四大技术优化手段

整套优化几乎全部替换、融合原有算子，使用 CuTe DSL 手写定制 GPU 内核，包含四项关键技术：

1. 面向业务调优算子形状

针对不同 batch 选择不同矩阵计算内核：小 batch（1‑2）使用小矩阵专用内核，大 batch 启用 split‑K 矩阵乘法；KDA 注意力内核、长上下文解码上下文并行（DCP）均做适配调优，充分压榨 GPU 算力与访存能力。

2. 计算与通信重叠执行

将注意力输出投影、all‑reduce 规约、残差计算做算子融合；GPU 直接向 NVLink 共享缓冲区写入中间结果，接收端内核直接接续运算；大 batch 采用两阶段规约，降低多卡之间数据搬运开销，实现无栅栏低开销数据交换。

3. MoE 专家调度与重叠优化

把路由打分、隐层输入投影计算拆分到各个张量并行 rank 上，多卡通过 NVLink 合并结果，消除重复计算与重复权重读取；共享专家运行在独立流上，和路由、普通专家计算并行执行，精细调度 GPU 资源避免资源争抢，提升并行均衡度。

4. 权重预取进缓存

小 batch 推理场景经常受限于内存带宽。在通信等 GPU 带宽未占满的阶段，通过独立侧流内核提前预加载后续算子权重，大幅提高缓存命中率，缓解内存瓶颈。

兼顾速度与稳定性：Fast‑Track 模型优化原则

文章提出一个现实工程矛盾：AI Agent 辅助生成内核代码的速度已经远超人工代码审查维护的速度；直接上线容易产出线上故障，但逐行人工审核又会严重拖慢迭代。

为此社区提出fast‑track RFC，制定 4 条原则，实现快速优化同时管控风险：

1. 变更隔离：模型专属优化收敛在模型代码内部；运行时可追踪优化路径的启用与退出，不改动 vLLM 全局公共模块（KV 缓存、采样逻辑等），避免影响其他模型部署。

2. 限定适用范围，但保留完整业务特性：优化可以限定特定硬件、并行方式、batch 区间，但不能阉割生产必备功能，长上下文、采样、结构化输出等能力必须完整保留并纳入验证。

3. 系统性正确性校验：既要做内核单元测试，也要跑完整模型评估；必须真实触发优化后的代码路径；长上下文、长生成任务可以暴露单元测试无法发现的数值稳定性缺陷。

4. 广泛性能校验：不能只看单一场景的亮眼跑分，要遍历 batch、上下文长度、并行配置；MoE 测试使用真实提示词；同时社区推进 “自带 GPU 评测 RFC”，让贡献者可以在自己硬件复现结果，降低项目 CI 的 GPU 资源压力。

后续规划

这套 Kimi K3 的优化架构已经复用到其他模型：

- DeepSeek‑V4.1‑Flash：复用`latency_specialized`解码后端，支持最高 64 并发请求，融合 all‑reduce 算子，替换 MoE 与矩阵乘内核，把 CPU 上的步骤迁移到 CUDA Graph；

- Meta Muse Spark Open：短时间内拿到早期结果，7 个 draft token 推测解码下单用户可达 950 tokens/s；

- GLM5.3：即将推出面向低并发场景的同类低延迟解码优化，后续会公开细节与跑分。

vLLM 团队后续会持续遵循这套范式：追求真实可复现的性能收益、保障生产功能完备、落实正确性与性能自动化验证，把 Agent 辅助内核优化模式推广到更多大模型。