TPU和GPU究竟有何区别？

公众号记得加星标⭐️，第一时间看推送不会错过。

起初，我们有了 CPU 和 GPU。接着，AMD 推出了加速处理器（APU，如果你想叫得花哨点的话）。随着 AI PC 和智能手机的降临，我们又迎来了 NPU（神经网络处理器）。而现在，多亏了谷歌，我们又认识了一款新芯片：TPU。TPU（张量处理器）最初由谷歌于 2015 年在内部部署，是该公司专为处理人工智能和机器学习（ML）工作负载所需的所有复杂数学计算而设计的专用 AI 加速器。TPU 专为云端应用而设计，主要用于数据中心。然而，这个词最近也出现在了搭载谷歌 Tensor G6 芯片的新款 Pixel 11 智能手机中，谷歌官方称该芯片集成了“计算能力提升 50% 的 TPU”。

那么它到底是什么？令人困惑的是，答案两者皆是。在 Pixel 11 系列智能手机中，TPU 基本上就是谷歌对 NPU 的高级炫技称呼。手机端版本的 TPU 主要负责处理相机、图像渲染以及本地 AI 任务。然而，尽管有些许相似之处，数据中心级别的 TPU 与手机端版本、传统 NPU 以及 GPU 之间却有着截然不同的区别。为了帮你梳理清楚这些芯片术语，我们将在此为你正式介绍真正的 TPU，并澄清一些常见的误区。

TPU 到底是个什么鬼？

问得好。TPU 是谷歌专门为了在其数据中心处理云端 AI 和机器学习任务而研制的芯片。作为一种 AI 加速器，TPU 经过专门优化，能够在 AI 模型中实时进行数以百万计的数学计算——这一点 NPU 和 GPU 也能做到。

我们一直在大谈 AI 和 ML，这会让许多人联想到 NPU。也难怪大家会这么想，毕竟在苹果、各大 PC 及手机厂商以及芯片巨头的铺天盖地宣传下，我们耳朵都快起茧子了。如果你还不了解，NPU 就是你现在所有现代智能手机、Mac 和 PC 中都能找到的那种芯片。无论是从照片中消除前任，还是用 ChatGPT 规划三天的旅行行程，它们承担了生成式 AI 和 Agent 智能体任务的所有繁重计算。而在 Pixel 11 手机上，TPU 取代了 NPU，谷歌声称其“AI 处理速度提升高达 3.5 倍，同时能耗降低高达 3.5 倍”。

GPU 对我们大多数人来说就很熟悉了，尤其如果你是游戏玩家或从事 3D 建模工作。在 AI 爆发之前，我们需要一块强大的 GPU，以便在最高画质下以极高的帧率和丝滑的渲染效果运行像《孤岛危机 3》这样极吃性能的显卡杀手级游戏。在 AI 时代之后，GPU 依然能胜任这些工作，同时还要承担 AI 训练和加密货币挖矿——这就是为什么如今顶尖的显卡价格昂贵得令人咋舌。作为一名全能型选手，GPU 可以根据其性能的高低，把许多事情都做得很好。

那么 TPU、NPU 和 GPU 之间有什么区别？

划分这些芯片组的主要依据是应用场景和算力规模。TPU 用于在谷歌数据中心运行的云端 AI，而 NPU、端侧 TPU 以及 GPU 则广泛存在于你的智能手机和笔记本电脑中。

TPU 的算力规模无疑是最大的。得益于其专用的架构设计，TPU 被广泛应用于加速大语言模型（LLM）和海量深度学习（DL）任务中的庞大计算。TPU 采用了一种名为“脉动阵列”（Systolic Array）的硬件布局，允许数据在二维乘法器网格中从一个单元直接流动到下一个单元，从而有助于消除潜在的性能瓶颈。这意味着上一单元的计算输出直接成为下一个单元的输入，而无需写回内存——这与 GPU 不同，GPU 总是在计算单元和高带宽内存之间频繁搬运数据。

在为 Anthropic 和 Midjourney 这样每天处理数十亿次 AI 请求的大型 AI 公司提供服务时，依赖基于 GPU 的解决方案可能会在瓶颈、延迟和能效方面付出高昂代价。由于 TPU 不需要来回循环读取和写入内存，因此它更适合训练大规模神经网络和其他海量工作负载。

至于存在于智能手机、物联网（IoT）设备和笔记本电脑中的 NPU 以及谷歌端侧 TPU，则仅限于处理 AI/ML 领域的轻量级任务。它们针对低功耗任务进行了优化，这也就是为什么它们非常适合处理相机特效和实时翻译等应用。端侧 TPU 确实可以运行大语言模型（LLM），但必须是体积小巧且专门针对本地定制的模型。

究竟哪一个更好？

“更好”是相对而言的，每种 AI 加速器都有其最擅长的特定应用场景：

NPU 与端侧 TPU：更适合处理日常轻量级的 AI 任务。它们的低功耗特性意味着不会给你的智能手机、笔记本电脑或智能手表带来太大的续航负担。不过，它的性能依然足够强劲，可以实现实时翻译、在视频通话中虚化背景，或者帮你检索你发誓在 90 年代看过的那部冷门剧集。

数据中心 TPU：是帮助全球运行 AI/ML/DL 大模型的具备高性价比与高能效的解决方案。在极大规模下训练 ML 和 DL 模型并处理数以百万计的数学计算，意味着数据中心 TPU 纯粹是为大型数据中心而生的。

GPU：凭借其与生俱来的灵活性，GPU 既能胜任小规模也能承担大规模的 AI 工作负载，同时还能运行游戏、剪辑视频和进行科学模拟。如果你想在本地运行大语言模型（LLM），配置一块性能强劲的 GPU 依然是最佳选择。

https://www.engadget.com/2242759/tpu-vs-gpu-difference-between-processsors/

（来源：engadget）

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4514期内容，欢迎关注。

加星标⭐️第一时间看推送~

求推荐