四张老显卡拼出64G显存，但我劝你别轻易试

作者 |ZDTL

来源 | 至顶AI实验室

如果要做本地AI，我觉得最重要的一个词，是显存。

肯定有人会提到算力，算力当然重要，但算力不够，最多是慢一点；显存不够，很多时候是模型根本放不进去，或者上下文一长就宕机。

那多少显存才最适合日常本地AI的应用呢？

如果只是跑一些7B、8B 级别的小模型，十几G 显存也能玩起来。但我认为，到了24G，才算入门，很多人买RTX 3090、4090，本质上就是冲着这24G 来的。

但24G依然不够。

现在本地AI 早就不是把模型启动起来，跟它聊几句”这么简单了。

你要让它读长文档、看完整代码库、连续改文件、跑agent 工作流，真正吃显存的就不只是模型权重，还有KV cache。

KV cache可以简单理解成模型在生成过程中保存的“上下文记忆”。你给它的文本越长，它生成得越久，需要记住的中间状态就越多，这部分也要占显存。聊天时它不显眼，一旦进入长上下文、代码库分析、多轮任务，它就会变成很现实的开销。

所以看本地AI 机器，不能只问模型能不能塞进去，还要给KV cache 留空间。做长流程任务时，预留三成到一半显存是必须的。

这也是为什么60G 到72G这个区间会变得很诱人。

它比24G 单卡宽裕得多，也比48G 更适合长上下文和复杂任务；但又不像96G、192G那样，一听就进入高端专业卡和服务器预算。

问题是，正经买一张64G到72G级别的卡，很贵。拿RTX PRO 5000 举例子，72G显存版基本需要5W-6W，这个费用够很多OPC玩家一年的AI开销了。

所以，很多本地AI 玩家面临一个很现实的矛盾，64G够用、有余量，但如果走新专业卡路线，预算又会一下子抬上去。

我之前一直有一个想法，弄几张二手的老卡，加一台翻新服务器，或许也能堆出一个适合本地AI的设备。

这样价格就下来了。

单看显存，四张英伟达的Tesla P100 或 AMD的MI25 拼出64G显存，总价可能只到几千元人民币；而四张Tesla V100 ，也不会超过1万元。

前几天，资深评测工程师Donato Capitella 在YouTube做了一期这样的尝试。

他用一台 Supermicro 旧服务器，双路 Xeon，64G DDR4 ECC 内存，分别测试了四张 Tesla V100、四张 Tesla P100、四张 AMD Radeon Instinct MI25。

每张卡都是16G显存，四张恰好64G。

Donato Capitella从服务器配置、Bargain Hardware 仓库、四卡安装、P100/V100/MI25 规格对比，一直讲到本地模型运行、benchmark，以及末尾的避坑指南。

我觉得他的这次评测不只是要得出旧卡也能跑AI的结论，而是把一条便宜大显存路线从头到尾摊开了，怎么装，怎么跑，哪里便宜，哪里麻烦。

看完这个评测，我们发现显存问题解决了，但本地AI 的坑，往往不只在显存这一栏。便宜显存通常不会只便宜，它会把电费、噪音、驱动、散热、机架空间和维护难度一起带来。

虽然都是64G显存，但它不是一张64G的显卡

四张16G 卡，不等于一张64G的显卡。

单张显卡，模型、KV cache、上下文空间都在一张卡上，问题相对直接。四张16G 老卡则不一样，能不能把显存用起来，要看推理后端、模型格式、量化方式、并行方式，以及软件本身支不支持。

有些任务可以拆，有些任务不适合拆，有些软件能做多卡，有些只是把不同任务分给不同卡。尤其是图像生成、ComfyUI这类流程，并不是所有场景都能把四张卡简单加成一张大卡。

这是堆砌显存最容易被误解的地方。

评论区也有人专门提到了这一点。一个用过多张P100 的用户说，三张P100 并不等于在ComfyUI 里直接得到48G 可用显存，很多时候模型还是要分别加载，或者只能把不同流程分给不同卡。

这条评论把“总显存”和“可用体验”的差别讲得很直白。

理解了“总显存”和“单卡显存”的区别，再看这期评测就更清楚了。

Donato Capitella不是单纯展示一台旧服务器，而是把V100、P100、MI25 这三类老数据中心卡放到一起看。

V100是这几张卡里更像样的AI/HPC 老将。官方资料里，V100 有16G 和32G HBM2 版本，数据手册里16G/32G 版本带宽最高到900G/s。它老，但至少还属于比较正经的AI 计算卡。

P100更老。它是Pascal 架构，PCIe 版本16G HBM2，官方数据手册写的是732G/s 带宽、250W 最大功耗。它的诱惑通常是便宜，但便宜背后是软件支持和新特性的缺口。

MI25也类似。AMD 官方规格表里，MI25 是16G，FP16 峰值24.6 TFLOPS，峰值功耗300W。它的问题不是完全不能跑，而是ROCm、gfx900、驱动和工具链对普通用户更不友好。

对懂服务器、懂Linux、懂容器的人来说，这些卡有研究价值。对

新手来说，卡买回来只是开始，后面还有驱动版本、CUDA或ROCm、llama.cpp、vLLM、模型格式、容器镜像、风道和故障排查。。。

所以，很多二手显卡，不是买回来点一下就能跑的消费级产品。

便宜的背后，是运行成本和维护成本

二手老显卡虽然便宜，但本地AI 服务器不是把卡买回来点亮就结束了。

具体成本至少要分三层来算。

显存账，四张16G 老卡能堆出64G，但多卡不等于单卡，模型和后端决定你能不能真正用满。

运行账，硬件采购价可能低，但电费、闲置功耗、噪音、散热和摆放空间都会继续收费。

维护账，二手硬件容易买到，但驱动、CUDA/ROCm、容器、故障件和二手保修，都要有人长期处理。

评论区里最扎心的一组反馈，讲的就是功耗和噪音。

高赞评论“点亮后，像在房间里的放了一只大象”，如果按电价算，这类机器长期跑下来，可能比直接用云服务还贵。也有人问，电表会不会转得飞快。还有人提醒，服务器卡和服务器机箱的噪音，不是普通PC 风扇那种概念，更接近小型机房设备。

很多数据中心卡是被动散热，本来就不是给普通塔式机箱准备的。它们需要服务器机箱的高风量把热吹走。高风量往往意味着高噪音。再加上双路Xeon、老服务器电源、机箱风扇，放在书房或办公室，可能先折磨人，再服务模型。

还有闲置功耗。

很多人只算满载性能，不算一天里大多数时间机器其实在待机。老服务器不一定擅长低功耗待机，这和一台安静的桌面工作站、Mac Studio，或者DGX Spark 这类低功耗本地AI 设备完全没法比。

还有一条评论提到，他后来把老服务器硬件处理掉了，因为功耗和噪音都太高。这类反馈未必能代表所有人，但它提醒了一个现实：本地AI 硬件不是只看跑分，长期放在哪里、谁忍受它、谁给它交电费，同样是成本。

所以这类设备最适合放在机房、仓库、单独房间，或者本来就有服务器环境的地方。你如果想把它放在工位旁边，当一台“安静的本地AI 助手”，大概率会很快后悔。

适合实验室，不适合小团队

讲完成本，那这个方案到底有没有价值？

有。

如果你是本地AI 玩家，有独立空间，能接受电费和噪音，也愿意折腾Linux、驱动、容器和多卡后端，它是一条值得研究的路线。尤其是你想学习多卡推理、部署工具、服务器硬件，这种旧平台反而能让你踩到很多真实问题。

如果你是实验室、培训机构，或者需要一台低成本测试平台，它也可以考虑。前提是你有明确用途，有人维护，有地方放，有心理预期。

但如果你是普通用户，或者只是想在本地跑一个AI 助手、写代码、处理文档、偶尔跑个模型，我不建议从这条路开始。

你可能更适合先用云GPU，或者先用已有电脑验证工作流。确认自己真的需要长期本地运行，再去看二手3090、多卡工作站、专业卡、Mac Studio、Strix Halo，甚至翻新服务器。

放到国内场景里，这个问题会更现实，国内二手硬件渠道并不少，P100、V100、MI25、P40、3090、A系列专业卡，都可能出现在不同价格段里。很多本地AI 玩家看到这些卡，第一反应都是算显存价格。

这个算法不能说错。

如果你买的是二手3090，CUDA 生态、教程和机箱改造经验都更多，但二手风险、功耗和散热一样要算。买V100、P100 这类数据中心卡，买到的不只是显卡，还有供电、风道、噪音和老平台兼容性。走MI25，价格可能更诱人，但ROCm 路线会把筛选用户的门槛抬得更高。

Mac Studio、Strix Halo 或DGX Spark这类低功耗桌面方案，未必在绝对性能上占便宜，但安静、省电、好维护。

所以我认为这类路线真正要比较的，不是谁的显存最大，而是谁更接近你的使用方式。

翻新四卡服务器赢在显存总量和价格；二手3090 赢在CUDA 生态；新专业卡赢在稳定和保修；低功耗桌面方案赢在安静与体积。

所以我对这类多卡翻新服务器的判断是：如果你真想走这条路，先别急着下单。

先问自己几个问题：有没有独立空间？能不能接受噪音？当地电费怎么算？有没有人会维护Linux、驱动和容器？你要跑的模型和软件，是否真的能吃到多卡？同样预算下，新专业卡、Mac Studio、DGX Spark，哪个更接近你的真实任务？

这些问题都想清楚，再谈显存值不值。

便宜显存当然诱人。

但本地AI 这件事，最怕的就是只买到了显存，没买到可用性。

END本文来自至顶AI实验室，一个专注于对AI计算机、工作站及各类AI相关硬件设备，开展基于真实使用场景评测的研究机构。