北京
一台配着 RTX 5070、64GB 内存的普通游戏电脑，正在跑 1250 亿参数的千问大模型。显存只有 12GB。
这是 Strata 项目做的事。它已经拿到 2.6 万 Star，支持 Windows 和 Linux 安装，也能接入 Claude Code 和 Codex。
正方会说：这条路走得通，而且已经跑出了可用的速度。实测每秒生成 53 到 94 个 token，比人阅读的速度还快。数据全程留在本地，不出电脑，对隐私敏感的场景是实打实的吸引力。
支撑这套方案的，是混合专家架构的稀疏激活。1250 亿参数的模型被拆成 24576 个小专家，每个 token 只激活其中约 10 个。最常用的数千个专家塞进 12GB 显存，其余放进内存，由 CPU 辅助计算。
反方的疑问也很直接：12GB 显存装不下整个模型，剩下的部分要靠内存和 CPU 兜底，速度能稳到什么程度，取决于你问的是什么、激活了哪些专家。53 到 94 这个区间本身就说明波动存在。
我的判断是，这件事的价值不在参数规模，而在门槛。过去要在本地跑千亿级模型，硬件清单基本劝退个人开发者；现在一张消费级游戏显卡加 64GB 内存就能起步，速度还压得住阅读节奏。
稀疏激活把"激活多少"和"总共多大"拆成了两件事。模型可以很大，每次只动用一小块，显存压力就落在那一小块上。Strata 做的，是把这套逻辑落到一张 12GB 显卡的实际分配里。
对做本地 AI 工具的人来说，这个组合值得试一次：硬件是现成的，安装覆盖 Windows 和 Linux，接入 Claude Code、Codex 也不用改工作流。数据不出本机这一条，在不少场景里比多几十个 token 更有分量。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
