NVIDIA 今日(3/23)宣布,為推動下一波人工智慧(AI)資料中心的發展,將推出採用 NVIDIA Hopper 架構的新一代加速運算平台,效能較上一代平台呈指數級成長。這個以美國電腦科學家先驅葛麗絲·霍普(Grace Hopper)命名的全新架構,將接替兩年前推出的 NVIDIA Ampere 架構。
NVIDIA 同時宣布推出首款採用 Hopper 架構的 GPU 產品 NVIDIA H100,封裝 800 億個電晶體,是全球最大且效能最強大的加速器,具突破性的功能,例如革命性的 Transformer Engine 及具高度擴展性的 NVLink 互連技術,可用於推動極大規模的 AI 語言模型、深度推薦系統、基因組學和複雜的數位孿生等領域的發展。
-
NVIDIA 創辦人暨執行長黃仁勳表示:「資料中心將成為 AI 工廠,用來處理海量資料並從中提煉出寶貴的智慧。NVIDIA H100 是全球 AI 基礎設施的引擎,讓企業得以加速推動各項 AI 業務的進展。」
H100 的突破性技術
NVIDIA H100 GPU 為加速大規模 AI 及高效能運算樹立了新標準,並帶來六項突破性創新:
- 全球最先進的晶片:H100 擁有 800 億個電晶體,採用台積電 4 奈米 4N 製程、專為滿足 NVIDIA 加速運算需求而設計,在加速 AI、高效能運算、記憶體頻寬、互連和通訊方面具有重大進展,包括每秒近 5TB 的外部連接速度。H100 是首款支援 PCIe Gen5 及首款使用 HBM3 的 GPU 產品,提供每秒 3TB 的記憶體頻寬。20 個 H100 GPU 便足以支撐全世界的網路流量,讓客戶得以運行先進的推薦系統和大型語言模型,即時使用各項資料進行推論。
- 全新 Transformer Engine:Transformer 已是自然語言處理的首選標準模型,是史上最重要的深度學習模型之一。相較於前一代產品,H100 加速器的 Transformer Engine 能夠將這些網路的速度提高六倍,又不失其精度。
- 第二代安全多執行個體 GPU:多執行個體 GPU(Multi-Instance GPU;MIG)技術可以將一個 GPU 分割成七個較小、完全隔離的執行個體以處理各類工作。Hopper 架構在雲端環境裡為每個 GPU 執行個體提供安全的多租戶配置,將 MIG 的能力較前一代擴大高達七倍。
- 機密運算:H100 是全球首款具有機密運算能力的加速器,可以在處理 AI 模型和客戶資料時加以保護。對於醫療照護和金融服務等對隱私極為敏感的產業,在進行聯邦學習時同樣能運用機密運算,在共享的雲端基礎設施上也同樣可行。
- 第四代 NVIDIA NVLink:為加快最大型 AI 模型的運作速度,以 NVLink 搭配全新的外部 NVLink 交換器,將 NVLink 當成伺服器以外的垂直擴展網路,相較於使用 NVIDIA HDR Quantum InfiniBand 的前一代產品,能以超過九倍的頻寬連接多達 256 個 H100 GPU。
- DPX 指令:與使用 CPU 相比,全新 DPX 指令將用於眾多演算法(包括路線最佳化及基因組學)的動態規畫執行速度加快高達 40 倍;而與使用前一代的 GPU 相比,速度加快了七倍。這包括為動態倉庫環境中的自主機器人車隊尋找最佳路線的 Floyd-Warshall 演算法,以及用於 DNA 和蛋白質分類及折疊的序列比對 Smith-Waterman 演算法。
-
H100 的多項技術創新擴大了 NVIDIA 在 AI 推論和訓練的領先地位,使 NVIDIA 能夠利用巨大的 AI 模型做到即時和沉浸式應用。H100 讓聊天機器人可以使用全球最強大的單體 transformer 語言模型 Megatron 530B,其傳輸量超過前一代產品達 30 倍,同時滿足即時對話式 AI 所需的次秒級延遲。H100 同時讓研究人員和開發人員能夠訓練像是 Mixture of Experts 這類大規模模型,包含 3,950 億個參數,能將速度提高達九倍,將訓練時間從過去所需的數週減少到數日便能完成。
業界廣泛採用 NVIDIA H100
NVIDIA H100 可以部署在各類型的資料中心內,包括企業內部、雲端、混合雲和邊緣。預計今年稍晚透過全球各大雲端服務供應商及電腦製造商供貨,也可以直接向 NVIDIA 購買。
-
NVIDIA 第四代 DGX 系統 DGX H100 搭載八個 H100 GPU,可在全新 FP8 精度下提供 32 petaflops 的 AI 運算表現,這個規模足以滿足大型語言模型、推薦系統、醫療研究及氣候科學的大規模運算需求。
透過第四代 NVLink 技術連接 DGX H100 系統中的每個 GPU,能提供每秒 900GB 的連接速度,高出前一代產品 1.5 倍。NVSwitch 技術讓八個 H100 GPU 能透過 NVLink 連接。一台外部 NVLink 交換器可以連接新一代 NVIDIA DGX SuperPOD 超級電腦中多達 32 個 DGX H100 節點。
Hopper 已經獲得各大雲端服務供應商的支持,包括阿里雲、Amazon Web Services(AWS)、百度智能雲、Google Cloud、Microsoft Azure、Oracle Cloud 和騰訊雲,這些業者計畫將提供基於 H100 的執行個體。
全球一級系統製造商預計將推出多款搭載 H100 加速器的伺服器產品,包括源訊(Atos)、BOXX Technologies、思科(Cisco)、戴爾科技(Dell Technologies)、富士通(Fujitsu)、技嘉(GIGABYTE)、新華三(H3C)、慧與科技(Hewlett Packard Enterprise)、浪潮(Inspur)、聯想(Lenovo)、Nettrix 與美超微(Supermicro)。
各種規格的 NVIDIA H100
H100 將有 SXM 和 PCIe 兩種規格,以滿足各種伺服器的設計要求。同時也將推出一款融合加速器,將 H100 GPU 搭配 NVIDIA ConnectX-7 400Gb/s InfiniBand 及 Ethernet SmartNIC。
H100 SXM 規格將用於 HGX H100 伺服器主機板上,提供四路和八路配置,供企業在一台伺服器和多台伺服器上的應用程式擴大到多個 GPU 上。搭載 HGX H100 的伺服器為 AI 訓練和推論、資料分析和高效能運算應用程式提供最佳運算表現。
-
H100 PCIe 規格使用 NVLink 來連接兩個 GPU,提供較 PCIe 5.0 高出七倍的頻寬,為在主流企業伺服器上運行的應用程式提供出色效能。PCIe 的規格尺寸讓此產品能夠輕鬆地被納入現有的資料中心基礎設施中。
全新的融合加速器 H100 CNX 是將 H100 搭配 ConnectX-7 SmartNIC,為企業資料中心的多節點 AI 訓練以及邊緣的 5G 訊號處理等 I/O 密集型應用程式提供突破性的效能。
-
採用 NVIDIA Hopper 架構的 GPU 還能與 NVIDIA Grace CPU 搭配,後者具備超高速 NVLink-C2C 互連技術,與 PCIe 5.0 相比,CPU 與 GPU 之間的資料傳輸速度提高七倍以上。這樣的組合誕生出 Grace Hopper 超級晶片,用於巨大規模高效能運算及 AI 應用程式的整合模組。
NVIDIA 軟體支援
NVIDIA 提供強大的軟體工具來支援 H100 GPU,開發人員與企業便能建立及加速 AI 與高效能運算各類應用程式,包括針對語音、推薦系統和超大規模推論等作業負載所推出的 NVIDIA AI 軟體套件重大更新。
NVIDIA 同時發布了超過 60 項 CUDA-X 函式庫、工具和技術更新,以加快量子運算、6G 網路研究、網路安全、基因組學和藥物開發等方面的進展。
供貨時程
NVIDIA H100 將於第三季開始供貨。