英伟达新架构（英伟达揭开其最新 GPU 架构 Hopper 的面纱）

经过多次猜测， Nvidia 今天在 2022 年 3 月的 GTC 活动中宣布了 Hopper GPU 架构 ，该公司表示该系列显卡将加速数据科学中常用的算法类型。 新架构以美国计算机科学家先驱格蕾丝·霍珀（Grace Hopper）的名字命名，继承了大约两年前推出的 Nvidia 的 Ampere 架构。

Hopper 系列中的第一张卡是 H100，包含 800 亿个晶体管和一个名为 Transformer Engine 的组件，旨在加速特定类别的 AI 模型。 另一个架构亮点包括 Nvidia 的 MIG 技术，该技术允许将 H100 划分为七个较小的独立实例，以处理不同类型的作业。

“数据中心正在成为人工智能工厂——处理和提炼大量数据以产生智能，”英伟达创始人兼首席执行官黄仁勋在一份新闻稿中表示。 “ Nvidia H100 是全球人工智能基础设施的引擎，企业可以使用它来加速其人工智能驱动的业务。”

计算强国

H100 是第一个具有动态编程指令 (DPX) 的 Nvidia GPU，在这种情况下，“指令”是指包含需要执行的步骤的代码段。 动态规划开发于 1950 年代，是一种使用两种关键技术解决问题的方法：递归和记忆。

动态编程中的递归涉及将问题分解为子问题，理想情况下可以节省时间和计算量。 在记忆中，这些子问题的答案被存储起来，这样子问题就不需要在稍后在主要问题中需要时重新计算。

动态编程用于寻找移动机器（例如机器人）的为佳路径、简化数据库集的操作、对齐独特的 DNA 序列等。 这些算法通常在 CPU 或专门设计的称为现场可编程门阵列 (FPGA) 的芯片上运行。 相比，H100 上的 DPX 指令可以将动态编程加速高达 7 倍 GPU 。

变压器引擎

除了 DPX，Nvidia 还重点关注了 H100 的 Transformer 引擎，它结合了数据格式和算法，通过 Transformer 加速硬件的性能。 追溯到 2017 年，Transformer 已成为自然语言模型（即处理文本的 AI 模型）的**架构，部分原因在于它具有总结文档和在语言之间进行翻译的能力。

变形金刚已在现实世界中广泛部署。 OpenAI 的语言生成 GPT-3 和 DeepMind 的蛋白质形状预测 AlphaFold 构建在 Transformer 之上，研究表明，可以训练 Transformer 玩国际象棋等游戏，甚至生成图像。

H100 的变压器引擎利用了所谓的 16 位浮点精度和新添加的 8 位浮点数据格式。 AI 训练依赖于浮点数，浮点数具有小数部分（例如 3.14）。 大多数 AI 浮点数学是使用 16 位半精度 (FP16)、32 位单精度 (FP32) 和 64 位双精度 (FP64) 完成的。 据 Nvidia 称，Transformer Engine 巧妙地使用 Nvidia 的第四代张量核心来应用混合的 FP8 和 FP16 格式，根据“自定义、[手动]调整”启发式自动在 FP8 和 FP16 计算之间进行选择。

训练 AI 模型的挑战是保持准确性，同时利用 FP8 等更小、更快的格式提供的性能。 通常，较低的精度（如 FP8）会转化为不太准确的模型。 但 Nvidia 坚持认为，与上一代 TF32、FP64、FP16 和 INT8 精度相比，H100 可以“智能”处理每个模型的缩放，并提供高达三倍的每秒浮点运算。

下一代服务器

H100 是首批支持 PCIe Gen5 格式的 GPU 之一，具有每秒近 5 TB 的外部连接和每秒 3 TB 的内部存储器带宽。 Nvidia 表示，新的第四代 NVLink 技术版本与公司的 NVLink Switch 和 HDR Quantum InfiniBand 相结合，使客户能够以 9 倍的带宽将 256 个 H100 GPU 连接在一起。

H100 还具有机密计算功能，旨在在处理 AI 模型和客户数据时对其进行保护。 机密计算在处理过程中将数据隔离在加密的飞地中。 飞地的内容——包括正在处理的数据——只能被授权的编程代码访问，并且对其他人是不可见的。

面向数据中心的 H100 将首先在 Nvidia 的第四代 DGX 系统——DGX H100 中提供。 DGX H100 拥有两个 Nvidia BlueField-3 DPU、八个 ConnectX Quantum-2 InfiniBand 网络适配器和八个 H100 GPU，在 FP8 精度下提供每秒 400 GB 的吞吐量和 32 petaflops 的 AI 性能。 每个 GPU 都通过第四代 NVLink 连接，每秒 900GB 的连接速度，并且外部 NVLink 交换机可以在 Nvidia 的 DGX SuperPod 超级计算机之一中联网多达 32 个 DGX H100 节点。

“人工智能从根本上改变了软件的功能和生产方式。 借助 AI 革新其行业的公司意识到其 AI 基础设施的重要性，”Huang 继续说道。 “我们新的 DGX H100 系统将为企业 AI 工厂提供动力，将数据提炼成我们最有价值的资源——智能。”

出于实验目的，Nvidia 打算构建一个名为 Eos 的超强大 DGX SuperPod，它将配备 576 个 DGX H100 系统和 4,608 个 DGX H100 GPU。 （带有 H100 GPU 的单个 DGX SuperPod 可提供大约 exaflop 的 FP8 AI 性能。）Eos 将提供 18.4 exaflops 的 AI 计算性能——比目前世界上最快的日本 Fugaku 超级计算机的处理速度快四倍——以及 275 petaflops 的性能，该公司表示。

H100 将于 2022 年第三季度上市。从第三季度开始，Nvidia 的全球合作伙伴也将提供 DGX H100 系统、DGX Pod 和 DGX SuperPods。