Titanium Media Appは、H200のパラメータが10月17日に米国商務省が発表したパフォーマンスのレッドラインよりも高いため、新しいH200は輸出ライセンスなしで中国に販売されないことをNvidiaから確認しました:複数のデジタル処理ユニットの集積回路(データセンターで使用される)の総処理性能は2400〜4800であり、「パフォーマンス密度」は1.6より大きく5.92未満です。
11月初旬、エヌビディアは、トレーニング、推論、エッジシナリオを目的とした「China Special Edition」HGX H20、L20 PCle、L2 PCleの製品情報をディーラーに発表しており、早ければ11月16日に発表され、量産は2023年12月から2024年1月になります。 その中で、HGX H20は帯域幅と計算速度の点で制限されており、理論上の包括的な計算能力はNVIDIA H100よりも約80%低く、もちろんH200よりも「縮小」します。
世界最強のAIチップが登場!Nvidiaの次世代H200の性能が90%も急上昇し、中国では販売しないことが確認された
出典:Titanium Media
著者: Lin Zhijia
新しいNVIDIA DGX GH200製品のリリースからわずか半年以上が経ちましたが、今日、Huang Jenxunは再び真夜中に聴衆を爆発させました。
Titanium Media Appが学習済み北京時間の11月13日夜、アメリカのチップ大手NVIDIA(NVIDIA)は、世界で最も強力なAIチップであるNVIDIA H200 Tensor Core GPU(グラフィックスプロセッシングユニット)をリリースしました。
新しい NVIDIA H200 は、現行の H100 をアップグレードしたもので、ハイパースケールの大規模モデルのトレーニングと推論のための最高のパフォーマンスと高度なメモリ テクノロジ機能を備えた NVIDIA Hopper スーパーチップ アーキテクチャをベースとしており、ジェネレーティブ AI とハイパフォーマンス コンピューティング (HPC) のワークロードを強化します。
H200は、毎秒4.8TBと141GBのHBM3eメモリを提供する最初のGPUです。 H100と比較して、H200は容量がほぼ2倍になり、帯域幅が2.4倍に増加します。 Llama2 や GPT-3 などの大規模モデルの推論や質問生成に使用する場合、H200 のパフォーマンスは H100 よりも 60% から 90% (1.6 から 1.9 倍) 向上します。 その結果、H200は、オンプレミス、クラウド、ハイブリッドクラウド、エッジサイドなど、さまざまなタイプのデータセンターに展開できます。
同時に、CPU(中央処理装置)と比較して、H200はHPCの下で「恐ろしい」結果速度を達成します:**110倍高速。 **
**中国市場については、11月14日の朝、NvidiaはTitanium Media Appに電子メールで、H200は輸出許可を取得しないと中国市場で販売できないことを確認しました。 **
NVIDIA H200は、2024年第2四半期に世界の顧客やクラウドサービスプロバイダーへの供給を開始し、AMDのMI300X AIチップと競合することが期待されています。
具体的には、NVIDIA HopperアーキテクチャやTensorRT-LLM専用ソフトウェアなどのソフトウェアおよびハードウェア技術により、超大規模モデルの学習と推論性能に優れた性能を発揮します。 H100と比較して、H200はオープンソースの大規模モデルであるLlama 2(700億パラメータ)の推論速度のほぼ2倍であり、将来のソフトウェアアップデートにより、H200にさらなるパフォーマンスリーダーシップと改善がもたらされることが期待されています。
NVIDIAによると、H200はTF32 Tensorコアで989兆回の浮動小数点演算、INT8 Tensorコアで3,958 TFLOPS(毎秒3,958兆回の浮動小数点演算)に達することができます。
それだけでなく、H200チップ上に構築されたHGX H200アクセラレーテッドサーバープラットフォームは、NVLinkとNVSwitchの高速相互接続をサポートしています。 8台のHGX H200は、32ペタフロップス(毎秒1000兆回の浮動小数点演算)を超えるFP8ディープラーニングコンピューティングと1.1TBの集約高帯域幅メモリを提供し、1,750億を超えるパラメータを持つ大規模モデルのトレーニングや推論など、科学研究やAIなどのワークロードのパフォーマンス向上をサポートします。
Anandtechの分析によると、現在の仕様では、H200の高速化されたコンピューティング性能は、半年前にリリースされたGH200 Hopperスーパーチップの半分と理解できますが、違いはHBM3がHBM3eに置き換えられ、メモリ帯域幅が80GBから141GBに増加し、速度が4.8TB/sに向上したため、NVIDIAはコンテンツの処理速度と帯域幅容量を増やすことができます。 総帯域幅とメモリバス幅に基づいて、H200のメモリ周波数はH100と比較して約25%増加します。
Titanium Media Appは、H200のパラメータが10月17日に米国商務省が発表したパフォーマンスのレッドラインよりも高いため、新しいH200は輸出ライセンスなしで中国に販売されないことをNvidiaから確認しました:複数のデジタル処理ユニットの集積回路(データセンターで使用される)の総処理性能は2400〜4800であり、「パフォーマンス密度」は1.6より大きく5.92未満です。
11月初旬、エヌビディアは、トレーニング、推論、エッジシナリオを目的とした「China Special Edition」HGX H20、L20 PCle、L2 PCleの製品情報をディーラーに発表しており、早ければ11月16日に発表され、量産は2023年12月から2024年1月になります。 その中で、HGX H20は帯域幅と計算速度の点で制限されており、理論上の包括的な計算能力はNVIDIA H100よりも約80%低く、もちろんH200よりも「縮小」します。
特筆すべきは、NVIDIAが現在販売しているGrace、Hopper、Grace Hopperアーキテクチャに基づくAIチップをベースにしたH200に加えて、NVIDIA Quad GH200と呼ばれる4つのGrace Hopper GH200 AIチップを搭載した新しいプラットフォームを本日発売したことです。
Quad GH200は、288個のArmCPUコアと合計2.3TBの高速メモリを搭載し、4台のGH200を重ね合わせて8個のチップと4個のNVLinkトポロジーで接続し、CPU+GPUを搭載した強力なコンピューティングプラットフォームを形成し、インフラシステムにインストールすることで、より使いやすく、より強力なコンピューティングパワーを提供することができます。
米国の金融機関であるRaymond Jamesによると、H100チップの価格はわずか3,320ドルですが、Nvidiaの顧客向けのバルク価格は依然として25,000ドルから40,000ドルと高くなっています。 その結果、H100の利益率または1000%という高い利益率を達成し、これまでで最も収益性の高いチップとなりました。
NVIDIAの公式ウェブサイトによると、NVIDIA H200は40台以上のAIスーパーコンピューターに搭載されます。 CoreWeave、Amazon AWS、Google Cloud、Microsoft Azure、Oracle Cloudなどの企業は、H200ベースのインスタンスを展開する最初のクラウドサービスプロバイダーとなります。 同時に、Asus、Dell Technologies、HP、Lenovo、Supermicro、Wistronなどのシステムインテグレーターも、H200を使用して既存のシステムを更新します。
同時に、エヌビディアはジュピターと提携し、24,000台(23,762台)のGH200をベースに、消費電力が18.2メガワットという低消費電力の新しいスーパーコンピューターを提供し、材料科学、創薬、産業工学、量子コンピューティングの分野の基礎研究のためにドイツのユーリッヒ研究センター施設に設置されることも発表しました。 スーパーコンピューティングシステムは来年納入され、設置される予定です。