北京
一台没有独立显卡的普通PC，一个只有8GB显存的笔记本，能不能跑起180B参数的大模型？VIDRAFT POCKET给出的答案是能，而且已经有人用脚投票了。
根据Hugging Face公开API的数据，截至2026年11月1日，POCKET三个主要仓库近30天合计下载1,113,164次，总下载量达到3,154,913次。其中POCKET-Darwin-180B发布还不到30天，所以它的30天数据与总量数据一致。
POCKET是一组GGUF格式的模型文件，目标很直接：让普通人在自己手边的设备上、以私密的方式跑大模型。它依赖三个原则——只用标准环境、稀疏混合专家（MoE）、实测而非估算。
所谓只用标准环境，是指所有文件都能加载进官方版llama.cpp，以及基于它构建的Ollama、LM Studio和PocketPal。没有分支版本，不需要CUDA，也不碰云端。稀疏MoE则意味着每个token只激活网络的一小部分，35B或180B的模型因此能在CPU上以可用的速度生成文本。
速度数据来自同一台机器、同一份标准llama.cpp编译版本的对比测试。在16线程的Xeon CPU上，POCKET-35B生成速度为27.0 tok/s，对比对象Bonsai-27B是10.1 tok/s。在H100上，两者生成速度分别为197和89 tok/s；不过在H100的prompt处理环节，Bonsai反而更快，为1816 tok/s对753 tok/s。
量化会损失多少质量？POCKET-26B凭借混合精度量化，在2比特下几乎保住了基座模型的分数。POCKET-Darwin-180B的4比特版本在质量测试中与BF16模型持平，成绩为87.65%。
具体怎么跑？从Hugging Face下载文件后，用llama-cli加载即可，参数-ngl 0表示纯CPU推理。这里有个细节值得注意：-t要填物理核心数，而不是逻辑线程数，用满所有线程反而可能大幅拖慢速度。同一批GGUF文件也能直接放进Ollama、LM Studio和PocketPal。
几个关键数字可以回答常见疑问：
- POCKET-35B Q2_K体积13 GB，在只有CPU的PC上配合标准llama.cpp即可运行，MacBook M3 Pro的CPU上实测19.5 tok/s
- POCKET-Darwin-180B的4比特版本体积111 GB，在8 GB显存加32 GB内存的笔记本上实测4.17 tok/s；128 GB内存的迷你主机可以完全不用GPU运行它。
- 不需要修改版llama.cpp，官方版本即可加载全部文件。
不想安装任何东西的话，POCKET合集里收录了所有版本，POCKET Image Studio可以直接在浏览器里运行。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
