英伟达针对AI市场推出双GPU产品H100 NVL 单卡显存容量94GB
source link: http://news.ittime.com.cn/news/news_69885.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
英伟达针对AI市场推出双GPU产品H100 NVL 单卡显存容量94GB
zhangli 2023年03月22日 15:20
原标题：英伟达针对 AI 市场推出双 GPU 产品 H100 NVL，最高使用 188GB HBM3 显存
3 月 22 日消息，英伟达在 GTC Spring 2023 主题演讲中，针对不断增长的 AI 市场，推出了全新的双 GPU 产品 H100 NVL。H100 NVL 在顶部配备了 3 个 NVLink 连接器，使用两个相邻的 PCIe 显卡插槽。
英伟达表示在运行大型语言模型(LLM)时，常规显卡的显存无法驾驭庞大的数据流。因此本次推出的 H100 NVL 最高可以提供 188GB HBM3 显存，单卡显存容量 94GB。
H100 NVL 的功耗略高于 H100 PCIe，每个 GPU 为 350-400 瓦(可配置)，增加了 50W。IT之家从报道中获悉，总性能实际上是 H100 SXM 的两倍：FP64 为 134 teraflops，TF32 为 1979 teraflops，FP8 为 7916 teraflops，INT8 为 7916 teraops。
内存带宽也比 H100 PCIe 高很多，每个 GPU 为 3.9 TB / s，总和为 7.8 TB / s(H100 PCIe 为 2 TB / s，H100 SXM 为 3.35 TB / s)。
来源：IT之家
IT时代网(关注微信公众号ITtime2000，定时推送，互动有福利惊喜)所有原创文章版权所有，未经授权，转载必究。
创客100创投基金成立于2015年，直通硅谷，专注于TMT领域早期项目投资。LP均来自政府、互联网IT、传媒知名企业和个人。创客100创投基金对IT、通信、互联网、IP等有着自己独特眼光和丰富的资源。决策快、投资快是创客100基金最显著的特点。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK