河南
快科技10月19日消息，据报道，一位名为u/iamMess的开发者通过纯软件层面的推理优化，让NVIDIA RTX 3090在运行Qwen3.8-27B大语言模型时，token生成速度从默认的82 tok/s（token/秒）暴增至382 tok/s，提升幅度高达4.6倍。这一成果证明，在AI推理场景中，软件栈的优化潜力远未耗尽。
RTX 3090虽然拥有24GB显存和936.2GB/s的内存带宽，但显存容量限制使其在运行27B参数模型时始终面临压力。大模型生成文本时逐个token串行输出，每生成一个token都需要从显存中完整读取模型权重。这种内存带宽瓶颈导致GPU算力大量闲置，成为推理速度上不去的根本原因。
开发者的核心思路是推测解码。系统用一个轻量级草稿模型快速猜测后续多个token，再由主模型一次性批量验证，正确保留、错误丢弃。由于主模型拥有最终决定权，输出结果与正常推理完全一致，数学基准准确率稳定在96.5%。
具体的优化分阶段叠加。首先启用Qwen3.8-27B内置的多token预测，单用户速度提升至114 tok/s。
随后引入DFlash2模块，每次提议7个token，并加入查找草稿器扫描对话历史中的重复文本。
最后将验证步长从7个token扩展到16个，在引用文档的任务中，16个猜测中有约15个被接受，速度从260 tok/s推高至382 tok/s。
代价同样存在。更长的验证步会占用请求槽位和约8000个token的上下文空间，文档加载时间也翻倍。普通聊天场景下速度约为133 tok/s，仍比基线的82 tok/s有明显提升。通过更紧凑的存储格式，上下文窗口可扩展至138,696个token，适合一次性加载长文档后反复提问的场景。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
