英偉達發(fā)布“超級AI芯片”H200 預計明年第二季度開始供應

每經(jīng)記者 楊卉    每經(jīng)編輯 董興生    

黃仁勛又升級“裝備”了。11月14日，《每日經(jīng)濟新聞》記者從英偉達處獲悉，當?shù)貢r間11月13日，英偉達宣布推出NVIDIA HGX™  H200（AI芯片型號，以下簡稱“H200”）。據(jù)悉，H200是首款采用HBM3e GPU（內存，相較此前速率更快、容量更大），進一步加速生成式AI與大語言模型，同時推進用于HPC（高性能計算）工作負載的科學計算，可提供傳輸速度4.8 TB/秒的141GB顯存，與上一代架構的NVIDIA A100相比容量翻了近一倍，帶寬增加了2.4倍。

圖片來源：企業(yè)供圖

在英偉達超大規(guī)模和高性能計算副總裁Ian Buck看來，想要通過生成式AI和HPC應用創(chuàng)造智能，就必須使用大型、快速的GPU顯存來高速、高效地處理海量數(shù)據(jù)。當H200與采用超高速NVLink-C2C互連技術的NVIDIA Grace CPU搭配使用時，就組成了帶有HBM3e的GH200 Grace™ Hopper超級芯片——專為大型HPC和AI應用而設計的計算模塊。

從規(guī)格來看，H200將提供四路和八路H200服務器主板可選，與HGX H100系統(tǒng)的硬件和軟件都兼容；還可用于今年8月發(fā)布的采用HBM3e的NVIDIA GH200 Grace Hopper™超級芯片。這些配置使H200可以部署在各類數(shù)據(jù)中心，包括本地、云、混合云和邊緣；可為各種應用工作負載提供最高的性能，包括針對1750億參數(shù)以上超大模型的LLM訓練和推理。

架構方面，與前代相比，NVIDIA Hopper架構實現(xiàn)了性能躍升，如在一個700億參數(shù)的LLM——Llama 2上的推理速度比H100（英偉達AI芯片）提高了近一倍。

根據(jù)英偉達方面的說法，將于2024年第二季度開始通過全球系統(tǒng)制造商和云服務提供商提供H200；服務器制造商和云服務提供商也預計于同一時間開始提供搭載H200的系統(tǒng)。