黑龙江
Nemotron 3.5 Bolt 74B-A9B 24GB 是 NVIDIA 于 2026 年 10 月发布的一款开放权重模型，总参数量740 亿、每 token 激活 参数量90 亿，属于MOE模型，专为在本地设备上运行日常智能体任务而设计。
核心架构：为“本地高效”而生的压缩模型
该模型并非从零训练，而是从更大的1200亿参数的 Nemotron 3.5 Super VL (120B-A12B) 模型结构化压缩而来。
★混合 MoE 架构：采用 Mamba-2、注意力和专家混合（MoE）层结合的 Hybrid LatentMoE 架构。
★参数与激活：总参数量 74B（740亿参数），但每次推理仅激活约 9B （90亿参数），以提升效率。
★激进量化：通过原生 2-bit 量化（IQ2_XXS，约 2.06 位/元素）将 74B 模型塞进 24GB 显存。
核心特性与能力
★超长上下文：支持 256K ~ 262K tokens 的上下文窗口。
★多模态与工具调用：支持文本和图像输入（官方称亦支持视频），并具备工具调用能力。
★极致本地优化：设计目标是在 NVIDIA RTX Spark 或 DGX Spark 上，以至少 80 TPS 的解码速度运行。
性能表现：小体积，高智能
在权威基准测试中，该模型以极小的体积展现了很强的竞争力：
★综合智能：在 Artificial Analysis 智能指数上得分 21（另有来源记为 21.4），远超同类模型中位数（8分）的水平，在 100B 参数以下的模型中排名前列。
★基准排名：在 PinchBench 同级开放模型中排名第 1，在 WebArena 和 BrowseComp 中排名第 2。
★越级对比：智能水平仅比参数量大得多的 Nemotron 3 Ultra (550B-A55B) 低约 1.5~2 分。
如何本地运行
该模型已在 Hugging Face 以 OpenMDW-1.1 许可开源，可以通过 Unsloth 或 llama.cpp 运行其 GGUF 量化版本。
★内存需求：短上下文对话建议 32GB 统一内存；处理长上下文或图像时，建议 48–64GB 以获得余量。
★量化版本：Unsloth 提供的 1-bit 和 2-bit GGUF 文件大小在 20.7GB 到 23.6GB 之间，可适配 24GB 显存。
总体结论
Nemotron 3.5 Bolt 74B-A9B 是 NVIDIA 通过“大模型压缩+激进量化”路线打造的一款本地智能体利器，在 24GB 内存的严格限制下，实现了相当出色的智能与速度平衡。
LM Studio本地部署实测
LM Studio本地部署的上下文可以到262144个token，GPU卸载设置为88，KV缓存设置成Q4.0，其余参数默认。本人没有做任何优化，实测台式工作站推理生成速度为35token/s，相比MiniCPM-V 4.7 35B-A3B和Qwen3.6 35B-A3B慢一些，但用来对话还算比较流畅。网络社区上有实测在NVIDIA RTX Spark 或 DGX Spark达到84token/s。
WorkBuddy本地部署实测
在WorkBuddy的设置→模型→自定义模型，本地部署Nemotron 3.5 Bolt 74B-A9B 24GB已实测能够顺利跑通，可以作为AI Agent的本地模型使用，但是运行速度明显慢于MiniCPM-V 4.7 35B-A3B和Qwen3.6 35B-A3B。该模型的优势是该模型的740亿的参数量。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
