英伟达新架构(英伟达揭开其最新 GPU 架构 Hopper 的面纱)

英伟达新架构(英伟达揭开其最新 GPU 架构 Hopper 的面纱)

经过多次猜测, Nvidia 今天在 2022 年 3 月的 GTC 活动中宣布了 Hopper GPU 架构 ,该公司表示该系列显卡将加速数据科学中常用的算法类型。 新架构以美国计算机科学家先驱格蕾丝·霍珀(Grace Hopper)的名字命名,继承了大约两年前推出的 Nvidia 的 Ampere 架构。

Hopper 系列中的第一张卡是 H100,包含 800 亿个晶体管和一个名为 Transformer Engine 的组件,旨在加速特定类别的 AI 模型。 另一个架构亮点包括 Nvidia 的 MIG 技术,该技术允许将 H100 划分为七个较小的独立实例,以处理不同类型的作业。

“数据中心正在成为人工智能工厂——处理和提炼大量数据以产生智能,”英伟达创始人兼首席执行官黄仁勋在一份新闻稿中表示。 “ Nvidia H100 是全球人工智能基础设施的引擎,企业可以使用它来加速其人工智能驱动的业务。”

计算强国

H100 是第一个具有动态编程指令 (DPX) 的 Nvidia GPU,在这种情况下,“指令”是指包含需要执行的步骤的代码段。 动态规划开发于 1950 年代,是一种使用两种关键技术解决问题的方法:递归和记忆。

动态编程中的递归涉及将问题分解为子问题,理想情况下可以节省时间和计算量。 在记忆中,这些子问题的答案被存储起来,这样子问题就不需要在稍后在主要问题中需要时重新计算。

动态编程用于寻找移动机器(例如机器人)的为佳路径、简化数据库集的操作、对齐独特的 DNA 序列等。 这些算法通常在 CPU 或专门设计的称为现场可编程门阵列 (FPGA) 的芯片上运行。 相比,H100 上的 DPX 指令可以将动态编程加速高达 7 倍 GPU 。

变压器引擎

除了 DPX,Nvidia 还重点关注了 H100 的 Transformer 引擎,它结合了数据格式和算法,通过 Transformer 加速硬件的性能。 追溯到 2017 年,Transformer 已成为自然语言模型(即处理文本的 AI 模型)的**架构,部分原因在于它具有总结文档和在语言之间进行翻译的能力。

变形金刚已在现实世界中广泛部署。 OpenAI 的语言生成 GPT-3 和 DeepMind 的蛋白质形状预测 AlphaFold 构建在 Transformer 之上,研究表明,可以训练 Transformer 玩国际象棋等游戏,甚至生成图像。

英伟达新架构(英伟达揭开其最新 GPU 架构 Hopper 的面纱)
H100 芯片的图像。

H100 的变压器引擎利用了所谓的 16 位浮点精度和新添加的 8 位浮点数据格式。 AI 训练依赖于浮点数,浮点数具有小数部分(例如 3.14)。 大多数 AI 浮点数学是使用 16 位半精度 (FP16)、32 位单精度 (FP32) 和 64 位双精度 (FP64) 完成的。 据 Nvidia 称,Transformer Engine 巧妙地使用 Nvidia 的第四代张量核心来应用混合的 FP8 和 FP16 格式,根据“自定义、[手动]调整”启发式自动在 FP8 和 FP16 计算之间进行选择。

训练 AI 模型的挑战是保持准确性,同时利用 FP8 等更小、更快的格式提供的性能。 通常,较低的精度(如 FP8)会转化为不太准确的模型。 但 Nvidia 坚持认为,与上一代 TF32、FP64、FP16 和 INT8 精度相比,H100 可以“智能”处理每个模型的缩放,并提供高达三倍的每秒浮点运算。

下一代服务器

H100 是首批支持 PCIe Gen5 格式的 GPU 之一,具有每秒近 5 TB 的外部连接和每秒 3 TB 的内部存储器带宽。 Nvidia 表示,新的第四代 NVLink 技术版本与公司的 NVLink Switch 和 HDR Quantum InfiniBand 相结合,使客户能够以 9 倍的带宽将 256 个 H100 GPU 连接在一起。

H100 还具有机密计算功能,旨在在处理 AI 模型和客户数据时对其进行保护。 机密计算在处理过程中将数据隔离在加密的飞地中。 飞地的内容——包括正在处理的数据——只能被授权的编程代码访问,并且对其他人是不可见的。

面向数据中心的 H100 将首先在 Nvidia 的第四代 DGX 系统——DGX H100 中提供。 DGX H100 拥有两个 Nvidia BlueField-3 DPU、八个 ConnectX Quantum-2 InfiniBand 网络适配器和八个 H100 GPU,在 FP8 精度下提供每秒 400 GB 的吞吐量和 32 petaflops 的 AI 性能。 每个 GPU 都通过第四代 NVLink 连接,每秒 900GB 的连接速度,并且外部 NVLink 交换机可以在 Nvidia 的 DGX SuperPod 超级计算机之一中联网多达 32 个 DGX H100 节点。

“人工智能从根本上改变了软件的功能和生产方式。 借助 AI 革新其行业的公司意识到其 AI 基础设施的重要性,”Huang 继续说道。 “我们新的 DGX H100 系统将为企业 AI 工厂提供动力,将数据提炼成我们最有价值的资源——智能。”

英伟达新架构(英伟达揭开其最新 GPU 架构 Hopper 的面纱)

出于实验目的,Nvidia 打算构建一个名为 Eos 的超强大 DGX SuperPod,它将配备 576 个 DGX H100 系统和 4,608 个 DGX H100 GPU。 (带有 H100 GPU 的单个 DGX SuperPod 可提供大约 exaflop 的 FP8 AI 性能。)Eos 将提供 18.4 exaflops 的 AI 计算性能——比目前世界上最快的日本 Fugaku 超级计算机的处理速度快四倍——以及 275 petaflops 的性能,该公司表示。

H100 将于 2022 年第三季度上市。从第三季度开始,Nvidia 的全球合作伙伴也将提供 DGX H100 系统、DGX Pod 和 DGX SuperPods。

声明:所有白马号原创内容,未经允许禁止任何网站及个人转载、采集等一切非法引用。本站已启用原创保护,有法律保护作用,否则白马号保留一切追究的权利。发布者:白马号,转转请注明出处:https://www.bmhysw.com/article/9277.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
白马号白马号

相关推荐

  • MAC无法开启app store如何修复

    MAC无法开启app store如何修复 可能的原因 解决方案 总结 可能的原因 如果你的MAC无法开启app store,可能有以下原因: 网络连接问题 系统更新问题 软件问题 解决方案 以下是一些可能的解决方案: 检查网络连接。确保你的MAC已经连接到互联网,并且网络连接是稳定的。 尝试重新启动MAC。有时候,重新启动可以解决一些问题。 检查系统更新。如…

    2023-07-02
    00
  • Win10设置点击IE磁贴打开桌面版IE的小妙招

    Win10设置点击IE磁贴打开桌面版IE的小妙招 背景介绍 问题出现 解决方法 总结 背景介绍 随着Windows 10的推出,微软公司对于IE浏览器进行了大量优化,其中就包括IE浏览器的磁贴功能。但是,许多用户反映点击IE磁贴后打开的是Windows 10自带的Edge浏览器,而不是桌面版的IE浏览器。 问题出现 在Windows 10中,用户点击IE磁贴…

    2023-09-03
    00
  • 怎么知道wifi管理员密码是多少(wifi管理员初始密码大全)

    下面是好多年积累下来的各种品牌路由器默认的用户名和密码。有的还有登录地址。建议收藏,万一什么时候就用到了呢。 全向QL168010.0.0.2,用户名admin密码是qxcomm1680,管理员密码是qxcommsupport 全向QL1880192.168.1.1,用户名root密码是root 全向QL168810.0.0.2,用户名admin;密码为qx…

    2022-05-05
    00
  • Win10双系统安装方法与步骤详解

    Win10双系统安装方法与步骤详解 准备工作 分区 安装操作系统 设置启动项 故障排除 准备工作 在开始安装双系统之前,需要准备以下材料: 一台已经安装好Windows 10的电脑 一张Windows 10安装盘或U盘 一张Linux系统安装盘或U盘 备份所有重要数据 分区 在安装双系统之前,需要对硬盘进行分区。可以使用Windows 10自带的磁盘管理工具…

    2023-06-05
    00
  • 如何查看电脑显卡信息?详细步骤与显卡识别工具推荐!

    如何查看电脑显卡信息?详细步骤与显卡识别工具推荐! 步骤一:使用Windows系统自带的设备管理器查看显卡信息 步骤二:使用显卡驱动程序查看显卡信息 步骤三:使用第三方显卡识别工具查看显卡信息 结论 步骤一:使用Windows系统自带的设备管理器查看显卡信息 Windows系统自带的设备管理器可以查看电脑中所有硬件设备的信息,包括显卡。以下是具体步骤: 1.…

    2023-05-31
    00

联系我们

QQ:183718318

在线咨询: QQ交谈

邮件:183718318@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信