网易首页 > 网易号 > 正文 申请入驻

用三块旧显卡搭建一台AI工作站,到底靠不靠谱?

0
分享至


作者 | 张建imest

来源 | 至顶AI实验室

这两周如果你也刷到了”RTX 3060 12GB全国复产“的消息,大概会冒出同一个念头:它便宜、显存不算小,还能一口气多买几张。那干脆拼三张3060,把显存堆到比3090还大,是不是反而更划算?凑巧的是,YouTube频道Digital Spaceport最近发布了一期评测,用大约1500美元搭建了一台本地AI“迷你怪兽”:2张RTX 3060 12GB加1张从家人旧电脑里淘汰下来的RTX 3060 Ti 8GB,三张卡显存合计32GB,拿它和1张RTX 3090 24GB对比,测试对象是Qwen3.6 27B Dense、Gemma 4 26B A4B和开源Agent项目Hermes Agent。

看完完整测试数据后,这篇文章想把一个判断说清楚:多卡拼出来的32GB,确实不等于一张连续的32GB大显存卡——实测文本生成速度大约只有单张3090的一半;但这个差距,并不像很多"多卡=性能腰斩"的说法那样夸张,而是一笔需要按场景具体权衡的账。这个判断,对正在纠结本地AI机器怎么配的个人开发者、小团队技术负责人,以及准备评估本地化部署的企业IT决策者,应该都有参考价值。

本地AI的第一道门槛,是显存,不是算力很多人第一次搭本地AI机器,会先盯CPU、主板、电源,真正开始跑模型才发现,第一道门槛往往是显存:模型要先放得进去,才谈得上跑得快不快。

这一点在视频实测里看得很具体。Qwen团队于2026年4月发布的Qwen3.6-27B是一个稠密(dense)模型,全部27B参数逐token激活,开源协议为Apache 2.0,常见的Q4_K_M量化下理论需要约17GB显存;视频里用Unsloth的UD-Q4_K_XL动态量化版本实测,跑到约65K上下文时,实际显存占用大约23GB。Gemma 4 26B A4B则是Google的MoE(混合专家)模型,推理时只激活约4B参数,但全部26B参数都要先加载进显存才能维持路由速度,理论上Q4量化约需18GB、Q8约需28GB;视频里同样用Unsloth的UD-Q4_K_XL量化版本实测,跑到128K长上下文时,三张卡上的实际占用大约22GB。也就是说,"只激活4B参数"并不等于"只占4B显存",长上下文还会继续往上加——这也是为什么作者特别提到,22GB左右的占用"刚好能完全塞进一张24GB的3090",这正是他选择对比这两个模型的原因。

长上下文、工具调用、Agent常驻、多人同时用,都会继续吃显存和系统内存。这也是RTX 3090到现在还被本地AI玩家反复提起的原因:它不是新卡,也不省电,但24GB显存这道门槛,比单纯堆算力更实用。

问题是,3090的价格并不友好,于是用便宜的旧卡拼显存就显得诱人。真正的问题是:拼出来的显存,能不能跟一张大显存卡划等号?

32GB还是36GB?先弄清楚这台机器到底用了哪几张卡视频简介把这台机器称为"32GB VRAM rig"。这台机器装的并不是三张RTX 3060 12GB,而是2张RTX 3060 12GB,加1张从家人淘汰下来的RTX 3060 Ti 8GB——三张卡显存合计正好是32GB(12+12+8)。作者在视频里特意把它们区分开来:跑测试用的是两张12GB的3060,加一张8GB的3060 Ti,不是三张规格统一的卡。


这个区分很关键,因为它说明"凑显存"在实际操作中往往比想象中更碎片化:手头有什么闲置卡,就先用什么闲置卡,未必是专门去买三张完全一样的卡。作者也提到,如果想复刻这套方案、手头没有闲置的3060 Ti,更推荐统一买三张12GB的3060,这样能拿到完整的36GB显存;他自己这次是正好有一张闲置的3060 Ti,才凑出了32GB这个版本。

多卡显存池,实测差距比想象中小——但确实存在这是这次评测最有价值的部分:作者把这套32GB的三卡机器,和换上去的1张RTX 3090,跑了同样的Gemma 4 26B A4B和Qwen3.6 27B Dense,记录了从1K到128K不同上下文长度下的提示词处理(prompt processing)和文本生成(text generation)速度,全程没有做任何batch调优,就是为了让结果可复现。

文本生成(模型真正"吐字"的速度)上,差距是实打实的:跑Gemma 4 26B A4B,三卡机器在512到8K上下文区间大致是64-68 tokens/s,单张3090稳定在130-133 tokens/s,三卡机器大约是3090的一半;跑Qwen3.6 27B Dense(稠密模型,本来就比MoE慢),三卡机器是17.2-17.8 tokens/s,3090是38-40 tokens/s,差距同样接近一半。作者原本预期会差到25%左右,结果"打平"在50%,他自己也说这是意外的好消息。


但提示词处理速度(决定一次对话或一次工具调用"读完上下文需要多久")上,差距比想象中小得多,长上下文下尤其明显:跑Gemma 4 26B A4B到128K上下文时,三卡机器约2026 tokens/s,3090约2109 tokens/s,差距不到5%;跑Qwen3.6 27B Dense到128K时,三卡机器731 tokens/s,3090是754 tokens/s,差距也很小。换句话说,"读得快不快"这件事,多卡分摊带来的损耗远没有"吐字快不快"那么明显。

这组数据和泛泛的"多卡=性能严重打折"的说法有出入——至少在这次测试里,2张3060+1张3060 Ti这套32GB方案的表现,比作者自己预期的好不少。但这不代表"多卡显存池≠大显存卡"这个判断不成立:50%的生成速度损失依然是实打实的代价,而且这只是没做任何调优的baseline结果——作者明确说,如果花时间调batch size,这个数字还能往上提,这恰恰说明多卡方案的真实表现从来不是"显存加起来就行"的简单算术题,而是取决于你愿不愿意、有没有时间精力把这套系统调好。

省下的显卡钱,从功耗、机箱和驱动里重新冒出来先看实测功耗:这套三卡机器把单卡功耗墙设到了大约85%(也就是没有让3060/3060 Ti跑满载),处理高峰时系统整机功耗大致在390-526瓦之间,作者记录到的峰值是580瓦——这是在5950X单线程占用、并没有跑满CPU的情况下测得的,1000W电源完全够用,远没有逼近上限。换上3090之后,视频里没有给出对应的整机功耗实测,但RTX 3090官方TDP是350瓦,单卡功耗比三张降了功耗墙的卡加起来还是低一些,只是差距没有用理论TDP直接相加算出来的那么夸张。

再看成本:作者给出的实际清单是,5950X(自己原有的二手件)282美元,技嘉B550 Eagle Wi-Fi6主板110美元,Corsair H170i水冷100-150美元,512GB NVMe约30美元,1000W电源约100-110美元,开放式GPU机架约65美元,这些"基础件"加起来接近800美元;显卡部分,12GB的3060约250美元一张,8GB的3060 Ti约200美元,三张卡合计约700美元——整机正好落在1500美元左右。如果想复刻这套方案、又没有闲置的3060 Ti,统一换成三张全新12GB的3060,按这份清单算总价也差不太多。


软件和维护这一层,视频里也留下了不少线索:B550这块主板标称5条PCIe x16物理插槽,但电气层面只有1条是真正的x16,剩下4条都只是x1带宽——这正是为什么这套方案离不开PCIe riser转接线。Proxmox虚拟化、LXC容器、llama.cpp/llama-server、Unsloth的GGUF动态量化版本,每一层都是可能出问题、需要人盯着维护的环节,不是"装上就能用"的傻瓜方案。

国内现在买,新3060未必比二手3090便宜视频里的对比基于美元报价,国内读者需要重新算一遍账,而2026年6月恰好出现了一个新变量:RTX 3060 12GB正在以全新形态重新铺货,而不只是二手市场里的旧卡。


由于GDDR7显存持续紧缺、挤占了RTX 5060系列的产能,英伟达在今年6月恢复了RTX 3060 12GB芯片的生产,七彩虹战斧系列已率先全国到货,批量批发价2199元,零售价2349元,华硕、微星、影驰等品牌也将陆续跟进——不过首批区域到货量有限(单地仅几十片),货源仍偏紧,品牌方计划每周常态化补货。这意味着,国内读者如果想用三张匹配的12GB新卡复刻"36GB版"方案,不一定要冒矿卡风险去淘二手,但短期内也未必能轻松凑齐三张。

三张全新RTX 3060 12GB,按零售价粗算大约7000元左右;而二手RTX 3090 24GB目前国内成交价大致在4500元到7000元区间(具体成交价随成色、地区和短期行情波动)。也就是说,凑足36GB"显存账面"的三张新卡,价格未必比一张24GB的二手3090更便宜,还没算上三张卡更高的功耗、更复杂的走线,以及多卡切分带来的性能损耗。

它适合实验,不适合把生产任务交给它多卡旧显卡方案可以关注,但不建议直接照抄。

值得一提的是,作者自己给这套机器的定位也很诚实:他本来就有一台更大的四卡3090服务器作为主力机,这套32GB的三卡机器,是专门留的"备用机"——主力机器离线维护、折腾新东西的时候,用它顶一阵子,"having a small machine that's always on is substantially less disruptive"。也就是说,即便是亲手测试、对它评价相当正面的作者本人,也没有打算把核心任务长期交给这套多卡方案,而是把它当成一个补位角色。这其实是对"适合实验,不适合托付"这句话最直接的佐证。

对个人玩家,它很适合:愿意折腾Linux、驱动、容器、模型切分和PCIe带宽,接受baseline没调好、还得自己花时间优化,那几张卡就是理解本地AI基础设施的入门课。对小团队,它可以做原型验证——先试试本地Agent有没有价值、内部文档能不能被有效检索,这个阶段,多卡方案可能比一步到位买昂贵工作站更灵活。

但如果要长期跑,尤其是企业生产环境,就要谨慎。企业要的是稳定、可维护、可审计、权限可控、故障有人负责,开放式机架加几张消费级旧卡(甚至是从家人电脑里拆下来的闲置卡),更像实验室方案,不像成熟基础设施。它能回答"本地AI对我们有没有用",但很难直接回答"公司能不能把关键任务交给它"。

同样预算下,选择也不止这一条:如果想少折腾,一张二手RTX 3090或预算允许上RTX 4090,文本生成速度能稳定多一倍,故障点也更少;如果只是偶尔跑模型,云GPU按量付费也是一笔能算清楚的账。

至顶AI实验室洞见多张消费卡拼出来的本地AI服务器,既不是骗局,也不是无脑省钱方案。实测显示,这类方案的文本生成速度大致是单张大显存卡的一半,但提示词处理速度的差距其实很小,整体表现比很多人预期的要好——这本身就值得纠正一些过于悲观的"多卡必崩"说法。它适合愿意折腾、能接受baseline性能、愿意花时间调优的个人玩家和小团队,用来验证本地Agent和私有推理是否有价值。

但如果要长期稳定使用,尤其是企业场景,一张更省心的大显存卡、成熟工作站,甚至云GPU,可能反而更划算——国内RTX 3060复产后的真实价格也说明,"凑显存"和"省钱"未必是同一件事。就连这套方案的测试者自己,都只把它当成主力机之外的备用机。

本地AI机器真正要算的,不是显卡买得有多便宜,而是模型跑起来之后,谁来保证它一直稳定地跑下去。

常见问题

Q:多张消费卡拼出来的"显存池",实际跑起来速度损失有多大?

A:以视频实测的2张RTX 3060 12GB+1张RTX 3060 Ti 8GB(合计32GB)为例,对比单张RTX 3090 24GB:文本生成速度上,无论是Gemma4 26B A4B还是Qwen3.6 27B Dense,多卡方案大致是单卡3090的50%左右;但提示词处理速度上,尤其是128K长上下文场景,差距反而很小(多在5%以内)。也就是说,"吐字"变慢更明显,"读上下文"基本不受影响,而且这还是没做任何batch调优的baseline结果。

Q:在本地跑Qwen3.6 27B Dense或Gemma4 26B A4B,至少需要多大显存?

A:理论上Q4量化下,Qwen3.6-27B(稠密模型)约需17GB,Gemma4 26B A4B(MoE模型)约需18GB,Q8则接近28GB。视频实测中,跑到长上下文(Qwen约65K、Gemma约128K)时,实际占用分别约23GB和22GB,这也是为什么22GB左右的占用被作者认为"刚好能塞进一张24GB的3090"。

Q:企业能不能直接照搬这种多卡方案做生产部署?

A:不建议。连视频里亲自测试、评价正面的作者本人,也只把这套机器当成主力四卡3090服务器之外的"备用机",而不是生产主力。企业要的是稳定、可维护、可审计、故障有人兜底,这更接近实验室原型,而非成熟基础设施。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

经中方允许,菲律宾对其非法“坐滩”仁爱礁船只运送生活物资,中国海警:全程监管

每日经济新闻
2026-10-22 19:02:27
全球第二大经济体的人民币,为啥在美国花不出去?

全球第二大经济体的人民币,为啥在美国花不出去?

流苏晚晴
2026-08-06 20:03:21
国米10场比赛替补5球4助攻 功归意甲最顶尖的大师级掌舵

国米10场比赛替补5球4助攻 功归意甲最顶尖的大师级掌舵

国际足球冷雪
2026-10-23 10:07:09
马科斯抓捕行动失败后,老杜心腹埋下关键后手,莎拉顺势开始反击

马科斯抓捕行动失败后,老杜心腹埋下关键后手,莎拉顺势开始反击

瓦伦西亚月亮
2026-10-23 05:13:12
两红+点球+世界波!U16国足3-3巴林 球迷:教练连“护犊子”都不会

两红+点球+世界波!U16国足3-3巴林 球迷:教练连“护犊子”都不会

汪星人哟
2026-10-23 08:13:19
真实的大萧条:当时没人知道自己在萧条里

真实的大萧条:当时没人知道自己在萧条里

郑逻辑
2026-10-07 08:39:23
沙特首都利雅得多次传出爆炸声

沙特首都利雅得多次传出爆炸声

新华社
2026-10-23 08:23:02
太可怕!网曝武大杨景媛已变成了正面角色了,出现在某一本情感书籍中

太可怕!网曝武大杨景媛已变成了正面角色了,出现在某一本情感书籍中

小徐讲八卦
2026-10-23 09:10:20
22岁越南女兵战死丛林,美军扒裤踩胸拍照炫,她最后愿望让人泪崩

22岁越南女兵战死丛林,美军扒裤踩胸拍照炫,她最后愿望让人泪崩

小豫讲故事
2026-10-13 06:00:10
中美差距又拉开了!055与美军舰海上过招,才发现美海军早就虚了

中美差距又拉开了!055与美军舰海上过招,才发现美海军早就虚了

梦想的现实
2026-10-22 06:09:41
于东来也没想到,同样开公司的张雪,竟因一个“橘子”,口碑暴增

于东来也没想到,同样开公司的张雪,竟因一个“橘子”,口碑暴增

晓踏就是我
2026-10-23 05:27:20
儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

儿子去取母亲100万遗产,银行:需本人到场,儿子:你什么意思?

牛魔王与芭蕉扇
2025-04-03 11:06:16
“班里全是贫民窟王子和公主”,张老师的深夜聊天记录,评论区的同行都炸了

“班里全是贫民窟王子和公主”,张老师的深夜聊天记录,评论区的同行都炸了

妍妍教育日记
2026-10-01 09:15:17
何小鹏与余承东的AEB之争,底牌终于亮出来了

何小鹏与余承东的AEB之争,底牌终于亮出来了

三农老历
2026-10-23 11:30:09
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
不要歼10,不要苏35,伊朗空军想要国产重型战斗机,替换中美俄法

不要歼10,不要苏35,伊朗空军想要国产重型战斗机,替换中美俄法

花漾夜雨飘雪
2026-10-21 21:03:17
Here we go!罗马诺:居莱尔与皇马续约五年,新合同即将公布

Here we go!罗马诺:居莱尔与皇马续约五年,新合同即将公布

懂球帝
2026-10-23 01:11:14
一场2-0完胜,16岁孙心然夺总决赛2连胜,提前出线,夺冠=创历史

一场2-0完胜,16岁孙心然夺总决赛2连胜,提前出线,夺冠=创历史

侃球熊弟
2026-10-23 00:35:05
女朋友总是喜欢挑我毛病,一年后我才知,她是市委书记的女儿

女朋友总是喜欢挑我毛病,一年后我才知,她是市委书记的女儿

千秋文化
2026-07-25 19:54:28
2026年小学入学人数锐减640万,深圳家长还要为抢学位挤破头吗?

2026年小学入学人数锐减640万,深圳家长还要为抢学位挤破头吗?

手工制作阿爱
2026-10-23 06:06:48
2026-10-23 12:47:00
至顶AI实验室 incentive-icons
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
3534文章数 186关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

艺术
亲子
数码
公开课
军事航空

艺术要闻

中国当代画家 谢郴安油画作品选

亲子要闻

总跟孩子讲道理,是最低效的幼儿教育方式

数码要闻

入门卡溢价超60%!RTX 50系价格彻底崩坏:5050、5060 Ti仅差500元

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版