AMD推192GB内存AI工作站，可本地运行300B大模型

对于Llama、Qwen和DeepSeek等前沿开源权重模型，一个3000亿参数的AI模型在采用4位量化后，仅权重部分就需约150GB存储空间。这一硬性指标此前使得在紧凑型开发者工作站上进行前沿规模的本地推理成为不可能。

本周，AMD推出了升级版的Ryzen AI Halo开发者平台。该平台搭载Ryzen AI Max+ PRO 495处理器，配备192GB统一内存，成为首款具备足够容量加载这些权重，并保留关键值（KV）缓存空间以应对上下文增长的紧凑型桌面系统。目前，Linux配置版本已在Micro Center上架，售价7,299.99美元。

然而，突破内存上限伴随着性能权衡。独立基准测试显示，在与当前大多数开发人员常用的、可容纳于64GB内存内的模型对比时，Halo生成令牌的速度比NVIDIA DGX Spark慢约30%。DGX Spark售价4,699美元，拥有128GB统一内存及成熟的CUDA开发生态。

简而言之，对于必须运行超过64GB内存阈值模型的开发人员，Halo物有所值；而对于其他用户，它是一个更慢且更昂贵的选择。

192GB内存如何重构前沿AI模型的运行逻辑

支持192GB Halo的核心论点不在于原始计算速度，而在于“哪些模型能完全装入内存”。

大型语言模型推理本质上是受内存限制的问题。在生成第一个令牌前，模型权重必须加载至GPU可访问的内存中。在4位量化标准下，每10亿参数约占0.5GB空间。因此，3000亿参数模型仅权重即需150GB。若计入随上下文长度增长的关键值缓存（典型128k上下文窗口下需额外数十GB），实际内存需求推至160GB以上。

AMD允许将192GB内存池中的最多160GB分配为GPU显存。相比之下，NVIDIA DGX Spark仅有128GB，旗舰桌面显卡RTX 5090仅为48GB。在最大64GB GPU内存分配的竞品紧凑型工作站上，前沿级模型根本无法运行；而在Halo上，它们可以。

这一能力源于统一内存架构：Ryzen AI Max+ PRO 495在CPU、集成GPU和NPU之间共享单个LPDDR5X-8533内存池，消除了离散GPU架构在模型超出板载显存时的延迟惩罚和数据复制问题。

该内存池带宽为273GB/s，高于前代128GB Halo的256GB/s。正是带宽决定了推理速度：GPU计算单元需连续从内存流式传输权重。Halo在适合64GB内存的模型上落后于DGX Spark，正是因为DGX Spark通过NVLink互连提供了更高的有效带宽。

Ryzen AI Max+ PRO 495硬件解析

新平台处理器基于Zen 5架构，拥有16核32线程，加速频率高达5.2GHz。集成GPU为Radeon 8065S（RDNA 3.5架构，40个计算单元），XDNA 2 NPU提供高达55 TOPS的AI吞吐量，用于处理低延迟任务。

连接性方面，包括PCIe 4.0、两个40Gbps USB4接口、10Gbps以太网、Wi-Fi 7及2TB SSD。热设计功耗在45W至120W之间动态调整。“PRO”后缀增加了企业管理和安全功能，适用于受监管或商业开发环境。

解读AMD的“34倍性能”基准测试

AMD发布的基准测试显示，在18种生成式AI工作负载中，Halo吞吐量比配备M5 Pro芯片的MacBook Pro高34.3倍，比Intel Core Ultra X9 388H系统高32.2倍。

需注意，AMD使用“DNR”（未运行）标记表示对比系统无法加载的工作负载。在多项测试中，Apple和Intel系统因内存不足直接无法运行，导致吞吐量为零。因此，这一倍数反映的是“能否运行”的定性差异，而非所有系统都能运行时AMD速度快34倍。正如Guru3D分析指出，可用内存容量不应与推理速度混淆。

DGX Spark在64GB以下模型仍占优

对于适合64GB以内的模型（涵盖7B至70B参数范围的主流生产部署），HotHardware测试显示Halo令牌生成率比DGX Spark慢约30%。这是因为DGX Spark基于Grace Blackwell超级芯片，其NVLink-C2C互连带宽远高于Halo的LPDDR5X总线。

Halo的立足点完全在于“64GB悬崖”。低于此标准，DGX Spark更快、更便宜；高于此标准，Halo是唯一能运行的紧凑型选项。对于不专门针对300B参数模型的研究者，Halo高出2,601美元的溢价难以证明其合理性。

ROCm 10.0缩小软件差距，但未消除

AMD随Halo推出ROCm 10.0，称其推理性能较ROCm 7提升3.3倍。软件堆栈已验证PyTorch、vLLM、llama.cpp、Ollama等核心工具。AMD开发者中心提供了统一的驱动管理和模型部署界面。

然而，ROCm与CUDA的生态差距依然真实存在。NVIDIA拥有十五年的积累，许多生产库和MLOps工具对ROCm支持滞后。AMD提供的“最佳已知配置”减少了环境故障，但无法替代CUDA广泛的社区工具。对于依赖CUDA特定库的开发人员，迁移成本仍然显著。

Windows支持尚未就绪

首发Halo单元仅搭载Linux。Windows支持（Project Zenith）列为“即将推出”，无确认日期。Project Zenith要求至少64GB统一内存和250GB/s带宽，Halo满足此要求。届时将预装VS Code、GitHub Copilot等工具。

优先发货Linux反映了AMD目标受众主要在Linux原生环境中开发。Windows的延迟意味着AMD暂时无法触及更广泛的商业开发者市场。

第三方制造商迅速跟进

Peladn推出了基于PRO 495的紧凑型系统，售价约7,454美元；Minisforum推出MS-S1 MAX-P495。Lucebox则采取混合方案，Zero 495将PRO 495 APU与32GB GDDR6的独立显卡配对，以牺牲统一内存余量换取额外的图形计算能力。

AMD策略：本地构建，部署至数据中心

Halo是AMD计算堆栈的最低一级。CEO苏姿丰预测，到2026年底，全球60%的AI算力将转向推理。AMD的Helios机架级系统已吸引Anthropic、OpenAI等巨头部署。

连接Halo与Helios的关键是ROCm。在Halo上编写和测试的代码可直接移至Helios机架，无需重写推理堆栈。这种从本地开发到生产部署的连续性，是AMD应对CUDA生态优势的主要策略。

常见问题

AMD Ryzen AI Halo 192GB值得比NVIDIA DGX Spark多付2,601美元吗？

仅当您的工作负载需要运行大于64GB的模型时才值得。DGX Spark在较小模型上快30%且便宜2,601美元，生态更完善。Halo的溢价购买了进入300B参数推理领域的准入权。若主要处理70B及以下模型，DGX Spark是更具性价比的选择。

AMD Halo真的能运行300B参数模型吗？

是的。4位量化的300B模型权重约150GB，Halo可分配160GB给GPU，留有少量余量给KV缓存。但在极长上下文操作下，内存压力巨大。Halo是目前唯一能进行此类工作的紧凑型平台，但内存并非无限。

AMD ROCm支持与NVIDIA CUDA相同吗？

ROCm 10.0官方支持主流框架，但在长尾CUDA内核、专用库和MLOps平台上仍有差距。依赖CUDA特定工具的开发人员应预算迁移时间。

为何Halo内存更多，小模型推理却更慢？

内存容量与带宽不同。Halo的273GB/s带宽低于DGX Spark的NVLink互连架构。令牌生成受带宽限制，因此在模型能装入两者内存时，DGX Spark速度更快。只有当模型超出竞品加载能力时，Halo的大内存优势才显现。

【星途科讯 图文丨Patrick 首发于ZAKER科技，转载请注明出处】