网易首页 > 网易号 > 正文 申请入驻

DeepInfer登顶HN:单卡每小时赚38美元,但我翻完README发现,最值钱的三样东西它没开源

0
分享至

DeepSeek又开源了。这次不是模型,是跑模型的引擎。

10月20日,DeepInfer在Hacker News拿到2118分,GitHub仓库四天涨到1.2万星。官方披露的数据极具冲击力:单集群日吞吐155万亿Token,每卡每小时收入38美元,海外社媒据此推算推理毛利率84%到96%。

数字很漂亮。但我翻到README最后一节,看到一行小标题:“完整推理服务还需要,但本版本不含”。

点进去,三项:KV cache系统、Prefill与Decode的分离调度、跨数据并行副本的负载均衡。

38美元是DeepSeek的收入,不是你的省钱。 这三项缺的,恰好是“能跑起来”和“能扛生产流量”之间的全部距离。

先把这个“38美元”的口径说清楚

38美元是按谷电时段的定价算出来的收入,不是利润,也没有扣除设备折旧、带宽、运维和缓存存储。

它的底层逻辑藏在DeepSeek公布的线上数据里。平均输入缓存命中率96%,意味着绝大多数输入Token是以极低的缓存价格结算的;真正跑计算的只有那4%的未命中输入和输出。Prefill阶段每卡不含缓存命中时吞吐60K tps,含缓存命中时冲到1.5M tps;Decode阶段每卡14K tps,吐字速度230 tps,代码场景能到300。首字延迟平均400毫秒,P99约1000毫秒。

社区测算的毛利率区间,建立在“97%输入命中缓存、2%未命中、1%输出”的流量结构上,再叠加H100级别GPU每小时1.5到6美元的租赁成本假设。假设换了,结论就换了。 但有一点是确定的:高毛利的第一驱动力是缓存命中率,不是推理框架本身有多快。



开源的是计算路径,服务层被留在了内部

OrcaRouter的解析说得很直接:你得到的是计算路径——内核、并行、推测解码、调度、结构化输出。你没有得到的是存储与路由层,而正是它让计算路径能够在大规模下以低成本运行。

KV cache系统负责在请求之间复用已经算过的上下文。没有它,每个新请求都从零开始算,缓存命中率96%那个成本优势直接消失。Prefill与Decode分离调度负责把“读输入”和“写输出”拆到不同的资源池里,避免两种负载互相拖累。跨副本负载均衡负责在多个数据并行副本之间分配请求,没有它,扩副本只能靠人肉运维。

DeepSeek给出的不包含理由是:这些组件与内部基础设施紧密耦合,设计在技术文章里写了,代码留在内部。

翻译成大白话:引擎给你了,变速箱、油箱和方向盘没给。 你可以把引擎点着火听个响,但开不上路。



和vLLM、SGLang到底是什么关系

DeepInfer不是凭空造出来的。README自己写了:最初主要基于vLLM构建,同时借鉴了SGLang和TensorRT-LLM的设计。

所以“DeepSeek的引擎比vLLM快很多倍”这个说法,vLLM官方并不认账,回应是“vLLM就是还原DeepSeek性能所需的一切”。

选型逻辑其实很清楚:DeepInfer是专用引擎,只服务V4.1-Flash一个模型;vLLM和SGLang是通用引擎,支持数百个模型。硬件受限选vLLM,多轮对话和RAG高吞吐选SGLang,追求官方调优基准或者需要昇腾支持选DeepInfer。

还有一个容易被忽略的细节:DeepInfer的确定性推理(batch-invariant inference)只支持英伟达,昇腾路径没有。如果你既要可复现、又要用国产卡,这两件事目前不能同时成立。



那它到底开源了什么值得看的东西

三项缺失之外,仓库里确实有硬货。

DSpark推测解码,验证长度是调度出来的,不是固定的;SWA Bounded Replay,避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算;异步批调度,CPU组织batch和设备计算重叠,默认开启;结构化输出,受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe,用Rust写的Token编解码组件,确保自托管时的请求渲染和官方API完全对齐。

这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡,缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”,不是你的“从零到一”。普通人想自托管,账根本算不过来

硬件门槛是第一道墙。基准是在4块SM100 GPU上测Prefill、64块SM100上测Decode跑出来的。权重下载就510GB起步,普通显卡连加载都做不到。

退一步说,就算你有卡,缺的那三项也得自己补。腾讯云那篇文章的作者说得很实在:单容器跑通一个AI服务只要一个下午,但要扛并发、要扩副本,调度和缓存全是另起炉灶的活。

对个人开发者来说,最务实的选择恰恰是不碰自托管。 直接在应用里调用DeepSeek的API,比租卡、补服务层、扛运维便宜得多,也省心得多。DeepInfer对你的价值,是让你看懂“你付的API费用里到底在为什么买单”,不是让你自己变成一个小号DeepSeek。



那它到底开源了什么值得看的东西

三项缺失之外,仓库里确实有硬货。

DSpark推测解码,验证长度是调度出来的,不是固定的;SWA Bounded Replay,避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算;异步批调度,CPU组织batch和设备计算重叠,默认开启;结构化输出,受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe,用Rust写的Token编解码组件,确保自托管时的请求渲染和官方API完全对齐。

这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡,缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”,不是你的“从零到一”。



还有一件README不会写的事

10月19日,美国国土安全部发布命令,把DeepSeek产品从联邦民事机构排除,范围明确包含“使用DeepSeek实现方案开发的第三方产品和服务”,但对微调、蒸馏的认定标准没有说明。

这意味着,如果你基于DeepInfer和V4.1-Flash做了一套服务,来源合规性需要你自己判断,没有一个现成的清单可以对照。边界被写清楚了,来源只能自己证明。

这不是DeepInfer独有的问题,是所有基于开源权重做商业化的人都要面对的事。但既然你要把一个“缺了三样”的引擎接进生产环境,这件事至少值得在动手之前想一遍。



38美元是一个信号,不是一张邀请函。 它告诉你推理生意有多赚钱,也告诉你赚钱的前提是缓存命中率、是调度、是负载均衡——而这三样,恰好是开源版没给的那三样。DeepSeek把账本摊开了一半,另一半留在了自己手里。对绝大多数人来说,看懂这一半,比拿到那一半更值钱。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

从110万跌到30万,海景房真的凉了!业主哭诉:当年抢着买,现在倒贴也没人要!

巢客HOME
2026-11-22 13:55:04
河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

河南小县城传来巨响!一个农民攻克世界难题,打破欧美技术封锁

基斯默默
2026-11-22 09:38:25
新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

新深圳人退休了,社保不足20年,个人账户只有5.5万,50岁退休照样近2000养老金,知足了

平静话社保
2026-11-22 09:56:38
德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

你是我心中最美星空
2026-11-22 05:46:42
环球体育:博卡2-0米内罗竞技,三夺南美杯

环球体育:博卡2-0米内罗竞技,三夺南美杯

懂球帝
2026-11-22 09:08:03
NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

NPC“房玄龄”王泽回应离开大唐不夜城:面对大量游客,觉得离角色越来越远

娱乐嗑学家.
2026-11-08 11:37:18
董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

董路怒骂马德兴:口贩子王八蛋!给浮嶋敏洗地,当初你怎么骂李铁的?

念洲
2026-11-22 08:49:31
二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

二战时美军有个气象预报员,每天不琢磨怎么让飞行员活下来,反而想着怎么一次弄死最多的人

言过于诚
2026-11-21 21:03:49
普京和特朗普专机差距到底有多大

普京和特朗普专机差距到底有多大

观界z
2026-11-21 15:05:48
黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

指忘崖
2026-11-22 08:31:37
记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

记者:蒋光太是最成功的归化球员,即使伤病增多也未曾离开

懂球帝
2026-11-22 14:44:20
佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

佩莱格里尼:我们本可以赢下德比,最后的丢球完全能够避免

懂球帝
2026-11-22 05:36:11
因担心变同性恋,父亲逼儿子与后妈发生性关系

因担心变同性恋,父亲逼儿子与后妈发生性关系

侠客栈
2026-11-21 11:37:29
金饰克价年内大跌超650元

金饰克价年内大跌超650元

21世纪经济报道
2026-11-21 13:31:39
新一轮冷空气来了,四川多地降雨降雪降温

新一轮冷空气来了,四川多地降雨降雪降温

掌上金牛
2026-11-22 11:53:57
李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

李邑飞主持宁夏省级老同志座谈会和党外人士座谈会,张雨浦、陈雍出席

政知新媒体
2026-11-22 14:27:53
深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

深度长文:黎曼猜想,统治数学界160年的无冕之王,到底有多恐怖?

宇宙时空
2026-10-12 11:58:16
末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

末节连续失误,山东男篮杯赛出局,姚柯宇14+3值得培养,陶汉林11+5

替补席看球
2026-11-22 17:14:58
不忍了!北约突然掀桌,准备直捣俄罗斯腹地

不忍了!北约突然掀桌,准备直捣俄罗斯腹地

今观天下
2026-11-07 07:49:23
2026-11-22 18:48:49
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
134文章数 16关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

教育
健康
艺术
公开课
军事航空

教育要闻

题目难还是真超纲?六年级数学题全年级只有很少同学解答正确

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版