全球最強AI晶元來襲！英偉達新一代H200性能飆升90%，確認將無法在中國銷售

原文來源：鈦媒體

作者：林志佳

圖片來源：由無界 AI生成

英偉達DGX GH200新品發佈僅過去半年多，今天，黃仁勳又一次在深夜引爆了全場。

**鈦媒體App獲悉，**日期：11月13日晚上，美國晶元巨頭英偉達（NVIDIA）發佈世界上最強大的 AI 晶片——NVIDIA H200 Tensor Core GPU（圖形處理器）。

新的英偉達 H200 是當前 H100 的升級產品，基於 NVIDIA Hopper 超級晶片架構，具有最高的性能和先進記憶體技術功能，針對於超大規模的大模型訓練和推理，可增強生成式 AI 和高性能計算 （HPC） 工作負載。

H200 是首款提供每秒 4.8 TB速度、141GB HBM3e記憶體的 GPU 產品。 與 H100 相比，H200 容量幾乎翻倍、頻寬增加 2.4 倍。 在用於 Llama2、GPT-3等大模型推理或生成問題答案時，H200 性能較 H100 提高 60% 至90%（1.6-1.9倍）。 因此，H200可部署在本地、雲、混合雲和邊緣側等各種類型的數據中心內部。

同時，與CPU（中央處理器）相比，H200在HPC下獲得的結果速度達到一個“恐怖”的數據：**提高110倍。 **

**對於中國市場，11月14日上午，英偉達公司在郵件中向鈦媒體App確認：如果沒有獲得出口許可證，H200將無法在中國市場銷售。 **

據瞭解，英偉達NVIDIA H200將於2024年第二季度開始向全球客戶和雲服務廠商供貨，預計將與AMD的MI300X AI晶元展開競爭。

英偉達NVIDIA HGX H200處理器（來源：英偉達官網）

**具體來看，**由於NVIDIA Hopper架構、TensorRT-LLM專用軟體等軟硬體技術加持，新的H200在超大模型訓練和推理性能表現優異。 與H100相比，H200在Llama 2（700億參數）開源大模型的推理速度幾乎翻倍，而未來的軟體更新預計會帶來H200的額外性能領先優勢和改進。

據英偉達數據，在TF32 Tensor Core（張量核心）中，H200可達到989萬億次浮點運算;INT8張量核心下提供3,958 TFLOPS（每秒3958萬億次的浮點運算）。

不僅如此，基於H200晶元構建的HGX H200加速伺服器平臺，擁有NVLink 和 NVSwitch 的高速互連支援。 8個HGX H200則提供超過32 petaflops（每秒1000萬億次的浮點運算）的FP8深度學習計算和 1.1TB 聚合高頻寬記憶體，從而為科學研究和 AI 等應用的工作負載提供更高的性能支援，包括超1750億參數的大模型訓練和推理。

英偉達H200、H100和A100的性能規格對比（來源：anandtech）

據Anandtech分析，根據目前規格來看，H200的加速計算性能可以理解為半年前發佈GH200 Hopper超級晶元的一半，而區別在於HBM3 替換為HBM3e、記憶體頻寬從80GB提升至141GB、速度提升到4.8TB/秒，這使得英偉達能夠提高內容的處理速度和頻寬容量。 而根據總頻寬和記憶體總線寬度推算，與H100相比，H200的記憶體頻率增加大約25%。

鈦媒體App從英偉達處確認，如果沒有出口許可，新的H200將不會銷往中國，原因是H200參數高於美國商務部10月17日公佈的性能紅線：多個數字處理單元的積體電路（用於數據中心）總處理性能為2400-4800，“性能密度”大於1.6且小於5.92。

11月初，英偉達已向經銷商公佈「中國特供版」HGX H20、L20 PCle、L2 PCle產品資訊，分別針對的是訓練、推理和邊緣場景，最快將於11月16日公佈，量產時間為2023年12月至2024年1月。 其中，HGX H20在頻寬、計算速度等方面均有所限制，理論綜合算力要比英偉達H100降80%左右，當然也會比H200更為“縮水”。

**值得一提的是，**除了H200之外，基於英偉達現在發售的基於Grace、Hopper以及Grace Hopper架構的 AI 晶片，該公司今天推出一種搭載4個Grace Hopper GH200 AI 晶片的新平臺，稱為NVIDIA Quad GH200。

Quad GH200提供288個ArmCPU內核和總計2.3TB的高速記憶體，將四個GH200疊加，以8 chips、4路NVLink拓撲相互連接，形成CPU+GPU共同加持的強大算力平臺，從而安裝在基礎設施系統中，提供更易用、性能更強的算力支援。

據美國金融機構Raymond James透露，H100晶元成本僅3320美元，但英偉達對其客戶的批量價格仍然高達2.5萬至4萬美元。 這導致H100獲利率或高達1000%，成為了有史以來最賺錢的一種晶元。

英偉達官網顯示，NVIDIA H200將為40多台AI超級計算機提供支援。 包括CoreWeave、亞馬遜AWS、谷歌雲、微軟Azure、甲骨文雲等公司將成為首批部署基於H200實例的雲服務商。 同時，華碩、戴爾科技、惠普、聯想、Supermicro、緯創資通等系統集成商也會使用H200更新其現有系統。

同時，英偉達還宣佈與Jupiter公司合作，將提供基於2.4萬（23762）個GH200的新型超級計算機，功耗低到18.2兆瓦，將安裝在德國於利希研究中心設施中，用於材料科學、藥物發現、工業工程和量子計算領域的基礎研究。 該超算系統將於明年交付安裝。

此外，英偉達還在官網暗示，明年公佈的英偉達 B100 AI 晶片將有更大的性能升級。 “NVIDIA Hopper 架構比之前實現了前所未有的性能飛躍。 ”