北京
分享至
10月20日消息，DeepSeek今日宣布，将内部推理框架DeepInfer全面开源，同步开放生产级Token编解码组件deepseek-recipe。
DeepSeek表示，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模模型服务，取决于推理框架这一长期未被公众了解的中间层。推理框架负责统筹调度庞大算力集群，其效率直接决定AI服务的算力成本与电力消耗。
据介绍，DeepInfer集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。
配套开源的deepseek-recipe组件与DeepSeek官方API处理逻辑完整对齐，确保社区获得与官方部署一致的API体验。基于DeepInfer，DeepSeek已实现V4.1 Flash高吞吐、低延迟的大规模推理服务，未来新模型的推理代码及后续优化也将在此持续更新。
DeepSeek称，此次开源的目的旨在帮助企业、开发者优化私有化与公有云部署，降低算力开销、减少能耗，推动大模型普惠，相关代码已上线GitHub。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
