网易首页 > 网易号 > 正文 申请入驻

12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

0
分享至

来源:市场资讯

(来源:IT之家)

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。


在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。

这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

配置3× DGX Spark(TP3、SGLang、MXFP4 专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置)单请求,代码未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184 单请求,普通文本38–5179–8883–95 预填充,长提示词约 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700 多请求4 个流合计 8532 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化)3 个流时 344–443;它不是批量解码引擎上下文配置为 256K1M配置为 524K

性能方面,该网友的测试结果如下:

上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)1K0.7 秒1,567184102864430.2 秒8K2.5 秒3,26717693904210.2 秒32K7.3 秒4,47817692954040.3 秒64K13.9 秒4,69715793833640.3 秒128K28.1 秒4,67015793863600.4 秒256K58.0 秒4,51815392853440.6 秒

这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。


参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

我的护球最独特
2026-11-22 06:15:39
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
内塔尼亚胡:我提议,就由我来担任唯一的总理

内塔尼亚胡:我提议,就由我来担任唯一的总理

寰宇大观察
2026-11-21 14:12:23
掘金pk火箭,约基奇vs申京:最强的策应巨人?

掘金pk火箭,约基奇vs申京:最强的策应巨人?

张佳玮写字的地方
2026-11-21 14:54:14
美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

美国资深男演员车祸去世,曾参演《成长的烦恼》《老友记》等!经纪人:原本伤势不致命,住院观察及治疗骨折后突然离世,警方正在详细调查

都市快报橙柿互动
2026-11-21 16:16:31
美联储,新消息!特朗普表态

美联储,新消息!特朗普表态

证券时报
2026-11-21 21:48:03
三家深企涉嫌违规,被暂停参加全军物资工程服务采购

三家深企涉嫌违规,被暂停参加全军物资工程服务采购

南方都市报
2026-11-21 21:00:11
曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

曹洪:伊朗战争让中国措手不及!中国根本没见识过这等打法!

揽星戈
2026-11-21 02:54:51
385米!胡塞打出超高战绩

385米!胡塞打出超高战绩

星火聊天下
2026-11-21 14:23:43
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
詹姆斯21+6+6追贾巴尔纪录,谈纳斯高呼真棒,马克西点破76人优势

詹姆斯21+6+6追贾巴尔纪录,谈纳斯高呼真棒,马克西点破76人优势

萌兰聊个球
2026-11-22 09:06:57
豪门悲喜夜:曼城1-1,切尔西1-4,阿森纳2-2,巴黎3-2,皇马2-1

豪门悲喜夜:曼城1-1,切尔西1-4,阿森纳2-2,巴黎3-2,皇马2-1

侧身凌空斩
2026-11-22 06:05:50
余文乐凌晨发文告别舞台!

余文乐凌晨发文告别舞台!

In风尚
2026-11-21 12:02:42
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
彻底崩盘!曼城头号巨星全场隐身!马雷斯卡岌岌可危

彻底崩盘!曼城头号巨星全场隐身!马雷斯卡岌岌可危

奶盖熊本熊
2026-11-22 08:50:39
梅西扔球砸中对方球员吃黄牌,10人迈阿密国际0-3,遭遇季后赛开门黑

梅西扔球砸中对方球员吃黄牌,10人迈阿密国际0-3,遭遇季后赛开门黑

侧身凌空斩
2026-11-22 09:05:53
偷偷9战7胜,西部黑马终于睡醒!榜眼20+10+8露怯,格林交易降温

偷偷9战7胜,西部黑马终于睡醒!榜眼20+10+8露怯,格林交易降温

锅子篮球
2026-11-21 16:33:23
故意按摩让女生“产生欲望”后发生关系,算性侵吗?

故意按摩让女生“产生欲望”后发生关系,算性侵吗?

书画艺术收藏
2026-11-20 19:20:09
太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

火山詩话
2026-11-22 05:03:22
2026-11-22 09:44:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5580102文章数 10054关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
旅游
手机
公开课
军事航空

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版