英伟达针对AI市场推出双GPU产品H100 NVL 单卡显存容量94GB

原标题：英伟达针对 AI 市场推出双 GPU 产品 H100 NVL，最高使用 188GB HBM3 显存

3 月 22 日消息，英伟达在 GTC Spring 2023 主题演讲中，针对不断增长的 AI 市场，推出了全新的双 GPU 产品 H100 NVL。H100 NVL 在顶部配备了 3 个 NVLink 连接器，使用两个相邻的 PCIe 显卡插槽。

英伟达表示在运行大型语言模型(LLM)时，常规显卡的显存无法驾驭庞大的数据流。因此本次推出的 H100 NVL 最高可以提供 188GB HBM3 显存，单卡显存容量 94GB。

H100 NVL 的功耗略高于 H100 PCIe，每个 GPU 为 350-400 瓦(可配置)，增加了 50W。IT之家从报道中获悉，总性能实际上是 H100 SXM 的两倍：FP64 为 134 teraflops，TF32 为 1979 teraflops，FP8 为 7916 teraflops，INT8 为 7916 teraops。

内存带宽也比 H100 PCIe 高很多，每个 GPU 为 3.9 TB / s，总和为 7.8 TB / s(H100 PCIe 为 2 TB / s，H100 SXM 为 3.35 TB / s)。

来源：IT之家

IT时代网(关注微信公众号ITtime2000，定时推送，互动有福利惊喜)所有原创文章版权所有，未经授权，转载必究。
创客100创投基金成立于2015年，直通硅谷，专注于TMT领域早期项目投资。LP均来自政府、互联网IT、传媒知名企业和个人。创客100创投基金对IT、通信、互联网、IP等有着自己独特眼光和丰富的资源。决策快、投资快是创客100基金最显著的特点。

相关文章

英伟达针对AI市场推出双GPU产品H100 NVL 单卡显存容量94GB