专为智能体时代打造的 NVIDIA Vera 开创了全新 CPU 品类,目前已获得 Perplexity 等 AI 创新先锋的采用。NVIDIA CPU 产品路线图持续演进,未来将推出搭载 Rigel 核心的 NVIDIA Rosa CPU。
![]()
在大规模部署中追求极致单线程性能的 CPU,开创了专为智能体 AI 时代打造的全新 CPU 品类。
在智能体系统的构建与部署全过程中,CPU 直接决定了推理能力、响应速度和模型学习等关键环节。CPU 是执行 AI 模型指令的处理器,负责完成工具调用、代码执行、数据处理、KV 缓存以及结果分析等具体工作。
对于 AI 工厂中的智能体而言,速度至关重要。
CPU 调用工具的速度越快,智能体执行当前任务的速度也就越快。
对于 AI 工厂而言,GPU 利用率是数据中心最宝贵的资源。因此,任何等待任务完成的时间都会限制 AI 工厂的收益;更糟糕的是,如果 GPU 在等待 CPU 完成任务时处于闲置状态,还会直接导致其利用率下降。因此,AI 工厂需要具备极致单线程性能的 CPU,以实现 AI 工厂收益和智能体性能的最大化。
如今的数据中心 CPU 并非为大规模部署下的高速运行而设计。
尽管市面上的 PC 和工作站早已拥有了高性能的 CPU,但数据中心 CPU 的发展方向逐渐偏离了单线程性能的提升。随着云计算的兴起,CPU 厂商开始打造拥有更多核心的数据中心 CPU,为了尽可能控制成本,不得不牺牲部分单线程性能。
为了优化每个可租用核心的成本,CPU 的设计增加了单个芯片的核心数量,同时压缩了用于提升核心性能的硅片面积——例如高性能内存互连架构和更高的单核指令处理能力。而向芯粒(Chiplet)架构的演进虽然进一步降低了成本,却也随之带来了“芯粒税(Chiplet Tax)”,导致单个 CPU 的核心再也无法充分获得整颗芯片的全部内存性能。
AI 智能体需要一款专为规模化部署打造、具备极致单线程性能的 CPU。
在大规模场景下部署具备极致单线程性能的 CPU,能够确保在系统满载状态下,智能体的每一个执行步骤依然保持高速。每个核心都能以完整性能完成智能体任务,且不会受到其他核心的拖慢。这种大规模极致单线程 CPU 采用了截然不同的设计理念。
旨在实现以下目标:
- 在高负载下保持强劲的单核性能
- 为每个核心提供充足的内存带宽,确保活跃核心获得持续的数据供给
- 可预测的低延迟
每个核心都能在不被其他核心拖慢的情况下独立完成任务,这不仅带来了卓越的吞吐量,更重要的是,实现了极致的单核任务处理性能。
NVIDIA Vera 正是这种全新 CPU 设计的典范。
以上为摘要内容,点击链接阅读完整内容:AI 创新先锋拥抱 NVIDIA Vera:为何在大规模场景下,极致单线程 CPU 性能至关重要 | NVIDIA 英伟达博客
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.