湖北
今日DeepSeek宣布，将内部推理框架DeepInfer全面开源。继此前开源大模型、TileLang编译工具及推理算子库后，其进一步开放大规模模型推理服务相关技术，以帮助开发者与企业优化推理效率，降低算力成本与能源消耗。
据DeepSeek方面介绍，推理框架负责调度算力集群，为大模型提供推理服务，其运行效率会影响AI服务的算力成本与电力消耗。此次开源DeepInfer旨在分享内部部署经验，帮助开发者与企业提升大规模推理服务的吞吐能力、降低延迟，从而高效构建私有化及公有云部署。
目前，DeepSeek已基于DeepInfer实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。该框架集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并兼容英伟达与华为昇腾平台。
此外，DeepSeek还同步开源了生产级Token编解码组件deepseek-recipe，其处理逻辑与DeepSeek官方API保持一致。DeepSeek方面表示，未来还将持续更新新模型的推理代码及相关优化。
一直以来，DeepSeek在持续推进旗下产品的更新。今年4月24日，DeepSeek发布并开源V4系列模型预览版，其中包含V4-Pro和V4-Flash两个版本，均支持百万级Token上下文，并同步开放API调用。7月31日，DeepSeek V4 Flash正式版API上线公测，其Agent能力得到增强，并支持Responses API与Codex接入。8月13日，DeepSeek V4 Pro正式版发布，新增可调节的推理强度，同时支持OpenAI Responses API。
9月10日，DeepSeek发布DeepSeek V4.1 Flash模型。当时官方介绍，该模型是DeepSeek全新模型结构系列中尺寸最小的模型，参数规模为552B，采用MoE架构和全新的Causal-Encoder-Decoder结构，其输入激活参数为8B、输出激活参数则是16B。
10月17日，DeepSeek推出V4.1 Flash-1017模型。官方公布的DeepSWE v1.1评测图显示，该版本的最高通过率（Pass@1）达到77.0%，高于上一版本DeepSeek V4.1 Flash约74%的最高成绩。相关数据表明，新版本在取得最高成绩时，每项任务的平均费用约为1.3元。
【本文图片来自网络】
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
