北京
分享至
南京大学与华为基模团队提出了一种叫 AdaFlash 的方法，目标很直接：把高并发场景下的推理速度拉上去。按给出的数据，在 Qwen3-8B 上，单请求最高能拿到 5.32 倍的加速。
高并发这一侧的数字同样具体：在 128 并发下，平均吞吐量比此前的 SOTA 高出最多 66%。单请求快，和一堆请求同时压过来时还能快，是两件不同的事，AdaFlash 两组数据都给了。
它靠两件事实现。一是用在线策略蒸馏，持续修正扩散草稿模型；二是加了一个自适应长度头，动态决定验证长度。前者管草稿模型别跑偏，后者管验证环节别做无用功。
投机解码的思路本身不复杂：先让一个更轻的草稿模型快速出候选，再由主模型验证。难点在于草稿模型和主模型之间的偏差会累积，验证长度也很难一刀切。AdaFlash 把这两处都做成了在线可调。
对做推理服务的人来说，吞吐量提升 66% 意味着同样的卡能扛更多请求。这套方法的效果数据目前落在 Qwen3-8B 和 128 并发这个组合上，其余模型与并发档位的表现，还需要更多实测来填。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
