英伟达发布最新Hopper架构、800亿晶体管的GPU H100和世界最快AI超级计算机等一系列AI...

采用 Hopper 架构的首款 GPU 为 H100，其旨在加速数据科学中常用的算法类型，采用台积电 4nm 工艺，包含 800 亿个晶体管和一个名为 Transformer Engine 的组件。

值得一提的是，Transformer Engine 结合了数据格式和算法，并可通过所使用的 Transformer 机器学习系统加速硬件性能。

Transformer 系统可以追溯到 2017 年，由于其在总结文档和语言翻译方面的优良能力，已成为自然语言模型（处理文本的 AI 模型）的首选架构，并在现实中得到广泛应用。广为人知的AI模型 GPT-3、AlphaFold 等都是建立在 Transformer 之上。

近几年，AI 模型的参数正呈指数级增长，参数量从几十上百亿发展到了破万亿。“训练这些巨型模型仍然需要几个月的时间，减少这种训练时间的一个关键是数据中心中的 GPU 质量，”英伟达产品管理高级总监帕雷什·卡里亚（Paresh Kharya）说，“新的 Hopper 架构将有助于改善这些困难，而且，H100 上的 Transformer 模型的训练速度比上一代芯片快 6 倍。”

另外，AI训练依赖于浮点数，浮点数具有分数分量（例如，3.14）。大多数 AI 浮点数运算使用的是 16 位半精度（FP16）、32 位单精度（FP32）和 64 位双精度（FP64）。

而 H100 的 Transformer Engine 利用了英伟达的第四代张量核心（Tensor Core）来应用混合的 FP8 和 FP16 格式，可让计算以“启发式”方法自动在两者之间进行选择。

值得注意的是，通常，较低的精度（如FP8）会导致不太精确的 AI 模型，但英伟达表示，H100 可以智能地处理每个型号的缩放，在 FP16、FP32 和 FP64 计算方面，其比上一代 A100 GPU 快 3 倍，在 8 位浮点数计算时快了 6 倍。

除了Transformer Engine，H100 还有一大亮点，其是第一款具有动态编程指令（英伟达称其为 DPX）功能的英伟达 GPU。这里的“指令”指的是包含需要执行的步骤的代码段。

动态编程是一种开发于 20 世纪 50 年代，使用递归（Recursion）和记忆（Memoization）两种关键技术解决问题的方法。该方法可用于为移动机器（例如机器人）找到最佳路线、简化数据库集的操作、对齐独特的 DNA 序列等。其通常运行在 CPU 或现场可编程门阵列（Field-Programmable Gate Arrays，FPGAs）的专门设计的芯片上。

据英伟达称，由于采用 DPX 功能，与基于 Ampere 架构的 GPU 相比，H100 可以将动态编程速度提升 7 倍之多。