La puce d’IA la plus puissante au monde arrive !Les performances de la nouvelle génération H200 de Nvidia ont grimpé de 90%, et il a été confirmé qu’elle ne sera pas vendue en Chine
Cela ne fait que plus de six mois depuis la sortie du nouveau produit NVIDIA DGX GH200, et aujourd’hui, Huang Jenxun a une fois de plus fait exploser le public au milieu de la nuit.
Dans la soirée du 13 novembre, heure de Beijing, le géant américain des puces NVIDIA (NVIDIA) a lancé la puce d’IA la plus puissante au monde - le GPU (unité de traitement graphique) NVIDIA H200 Tensor Core.
La nouvelle NVIDIA H200 est une mise à niveau de l’actuelle H100 et est basée sur l’architecture de superpuce NVIDIA Hopper avec les performances les plus élevées et des capacités de technologie de mémoire avancées pour l’entraînement et l’inférence de modèles à grande échelle à grande échelle, améliorant ainsi les charges de travail d’IA générative et de calcul haute performance (HPC).
Le H200 est le premier GPU à offrir 4,8 To par seconde et 141 Go de mémoire HBM3e. Par rapport au H100, le H200 double presque la capacité et multiplie par 2,4 la bande passante. Lorsqu’il est utilisé pour l’inférence ou la génération de questions pour de grands modèles tels que Llama2 et GPT-3, les performances du H200 sont de 60 % à 90 % (1,6 à 1,9 fois) supérieures à celles du H100. Par conséquent, le H200 peut être déployé dans différents types de centres de données, notamment sur site, dans le cloud, dans le cloud hybride et en périphérie.
Dans le même temps, par rapport au CPU (unité centrale de traitement), le H200 atteint une vitesse « terrifiante » de résultats sous HPC : ** 110 fois plus rapide. **
**Pour le marché chinois, le matin du 14 novembre, Nvidia a confirmé à Titanium Media App dans un e-mail que le H200 ne pourra pas être vendu sur le marché chinois sans obtenir une licence d’exportation. **
Il est entendu que NVIDIA H200 commencera à être fourni aux clients mondiaux et aux fournisseurs de services cloud au deuxième trimestre 2024, et devrait concurrencer la puce MI300X AI d’AMD.
Processeur NVIDIA HGX H200 (source : site officiel de Nvidia)
Plus précisément, le nouveau H200 offre d’excellentes performances en matière d’entraînement de modèles ultra-larges et de performances d’inférence grâce à des technologies logicielles et matérielles telles que l’architecture NVIDIA Hopper et le logiciel dédié TensorRT-LLM. Par rapport au H100, le H200 double presque la vitesse d’inférence du grand modèle open source Llama 2 (70 milliards de paramètres), et les futures mises à jour logicielles devraient apporter un leadership et des améliorations supplémentaires en matière de performances au H200.
Selon NVIDIA, le H200 peut atteindre 989 trillions d’opérations en virgule flottante dans les cœurs Tensor TF32 et 3 958 TFLOPS (3 958 trillions d’opérations en virgule flottante par seconde) dans les cœurs Tensor INT8.
De plus, la plate-forme de serveur accéléré HGX H200 construite sur la puce H200 prend en charge l’interconnexion à haut débit de NVLink et NVSwitch. Huit HGX H200 fournissent plus de 32 pétaflops (1000 trillions d’opérations en virgule flottante par seconde) de calcul d’apprentissage profond FP8 et 1,1 To de mémoire agrégée à large bande passante pour prendre en charge des performances plus élevées pour les charges de travail telles que la recherche scientifique et l’IA, y compris l’entraînement et l’inférence de grands modèles avec plus de 175 milliards de paramètres.
Comparaison des spécifications de performance des NVIDIA H200, H100 et A100 (Source : anandtech)
Selon l’analyse d’Anandtech, selon les spécifications actuelles, les performances de calcul accélérées du H200 peuvent être comprises comme la moitié de la superpuce GH200 Hopper sortie il y a six mois, mais la différence est que HBM3 est remplacé par HBM3e, la bande passante mémoire est augmentée de 80 Go à 141 Go et la vitesse est augmentée à 4,8 To / s, ce qui permet à NVIDIA d’augmenter la vitesse de traitement et la capacité de bande passante du contenu. Sur la base de la bande passante totale et de la largeur du bus mémoire, la fréquence de mémoire du H200 augmente d’environ 25 % par rapport au H100.
Titanium Media App a confirmé à Nvidia que le nouveau H200 ne sera pas vendu à la Chine sans licence d’exportation, car les paramètres H200 sont supérieurs à la ligne rouge de performance annoncée par le département américain du Commerce le 17 octobre : la performance totale de traitement du circuit intégré (utilisé dans le centre de données) de plusieurs unités de traitement numérique est de 2400 à 4800, et la « densité de performance » est supérieure à 1,6 et inférieure à 5,92.
Au début du mois de novembre, Nvidia a annoncé aux concessionnaires les informations sur les produits des HGX H20, L20 PCle et L2 PCle « China Special Edition », qui sont destinés aux scénarios d’entraînement, d’inférence et de périphérie, et seront annoncés le 16 novembre au plus tôt, et la production de masse se fera de décembre 2023 à janvier 2024. Parmi eux, le HGX H20 est limité en termes de bande passante et de vitesse de calcul, et la puissance de calcul théorique globale est inférieure d’environ 80% à celle du NVIDIA H100, et bien sûr il sera plus « rétrécissant » que le H200.
Il convient de mentionner qu’en plus du H200, basé sur les puces d’IA basées sur les architectures Grace, Hopper et Grace Hopper que NVIDIA vend désormais, la société a lancé aujourd’hui une nouvelle plate-forme avec quatre puces d’IA Grace Hopper GH200, appelée NVIDIA Quad GH200.
Le Quad GH200 fournit 288 cœurs ArmCPU et un total de 2,3 To de mémoire haute vitesse, et superpose quatre GH200 pour les connecter à 8 puces et 4 topologies NVLink pour former une puissante plate-forme informatique alimentée par CPU + GPU, qui peut être installée dans les systèmes d’infrastructure pour fournir une plus grande facilité d’utilisation et une puissance de calcul plus forte.
Selon Raymond James, une institution financière américaine, la puce H100 ne coûte que 3 320 dollars, mais le prix de gros de Nvidia pour ses clients est toujours aussi élevé que 25 000 à 40 000 dollars. Cela s’est traduit par des marges bénéficiaires H100 ou jusqu’à 1000%, ce qui en fait la puce la plus rentable de tous les temps.
Selon le site officiel de NVIDIA, le NVIDIA H200 alimentera plus de 40 supercalculateurs d’IA. Des entreprises telles que CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud et d’autres seront les premiers fournisseurs de services cloud à déployer des instances basées sur H200. Dans le même temps, les intégrateurs de systèmes tels qu’Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., utiliseront également le H200 pour mettre à jour leurs systèmes existants.
Dans le même temps, Nvidia a également annoncé un partenariat avec Jupiter pour fournir un nouveau supercalculateur basé sur 24 000 (23 762) GH200, avec une consommation d’énergie aussi faible que 18,2 mégawatts, qui sera installé dans les installations du centre de recherche de Jülich en Allemagne pour la recherche fondamentale dans les domaines de la science des matériaux, de la découverte de médicaments, de l’ingénierie industrielle et de l’informatique quantique. Le système de calcul intensif sera livré et installé l’année prochaine.
En outre, Nvidia a également laissé entendre sur son site officiel que la puce Nvidia B100 AI annoncée l’année prochaine aura une plus grande mise à niveau des performances. « L’architecture NVIDIA Hopper offre un bond sans précédent en termes de performances par rapport au passé. "
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La puce d’IA la plus puissante au monde arrive !Les performances de la nouvelle génération H200 de Nvidia ont grimpé de 90%, et il a été confirmé qu’elle ne sera pas vendue en Chine
Source d’origine : Titanium Media
Auteur : Lin Zhijia
Cela ne fait que plus de six mois depuis la sortie du nouveau produit NVIDIA DGX GH200, et aujourd’hui, Huang Jenxun a une fois de plus fait exploser le public au milieu de la nuit.
Dans la soirée du 13 novembre, heure de Beijing, le géant américain des puces NVIDIA (NVIDIA) a lancé la puce d’IA la plus puissante au monde - le GPU (unité de traitement graphique) NVIDIA H200 Tensor Core.
La nouvelle NVIDIA H200 est une mise à niveau de l’actuelle H100 et est basée sur l’architecture de superpuce NVIDIA Hopper avec les performances les plus élevées et des capacités de technologie de mémoire avancées pour l’entraînement et l’inférence de modèles à grande échelle à grande échelle, améliorant ainsi les charges de travail d’IA générative et de calcul haute performance (HPC).
Le H200 est le premier GPU à offrir 4,8 To par seconde et 141 Go de mémoire HBM3e. Par rapport au H100, le H200 double presque la capacité et multiplie par 2,4 la bande passante. Lorsqu’il est utilisé pour l’inférence ou la génération de questions pour de grands modèles tels que Llama2 et GPT-3, les performances du H200 sont de 60 % à 90 % (1,6 à 1,9 fois) supérieures à celles du H100. Par conséquent, le H200 peut être déployé dans différents types de centres de données, notamment sur site, dans le cloud, dans le cloud hybride et en périphérie.
Dans le même temps, par rapport au CPU (unité centrale de traitement), le H200 atteint une vitesse « terrifiante » de résultats sous HPC : ** 110 fois plus rapide. **
**Pour le marché chinois, le matin du 14 novembre, Nvidia a confirmé à Titanium Media App dans un e-mail que le H200 ne pourra pas être vendu sur le marché chinois sans obtenir une licence d’exportation. **
Il est entendu que NVIDIA H200 commencera à être fourni aux clients mondiaux et aux fournisseurs de services cloud au deuxième trimestre 2024, et devrait concurrencer la puce MI300X AI d’AMD.
Plus précisément, le nouveau H200 offre d’excellentes performances en matière d’entraînement de modèles ultra-larges et de performances d’inférence grâce à des technologies logicielles et matérielles telles que l’architecture NVIDIA Hopper et le logiciel dédié TensorRT-LLM. Par rapport au H100, le H200 double presque la vitesse d’inférence du grand modèle open source Llama 2 (70 milliards de paramètres), et les futures mises à jour logicielles devraient apporter un leadership et des améliorations supplémentaires en matière de performances au H200.
Selon NVIDIA, le H200 peut atteindre 989 trillions d’opérations en virgule flottante dans les cœurs Tensor TF32 et 3 958 TFLOPS (3 958 trillions d’opérations en virgule flottante par seconde) dans les cœurs Tensor INT8.
De plus, la plate-forme de serveur accéléré HGX H200 construite sur la puce H200 prend en charge l’interconnexion à haut débit de NVLink et NVSwitch. Huit HGX H200 fournissent plus de 32 pétaflops (1000 trillions d’opérations en virgule flottante par seconde) de calcul d’apprentissage profond FP8 et 1,1 To de mémoire agrégée à large bande passante pour prendre en charge des performances plus élevées pour les charges de travail telles que la recherche scientifique et l’IA, y compris l’entraînement et l’inférence de grands modèles avec plus de 175 milliards de paramètres.
Selon l’analyse d’Anandtech, selon les spécifications actuelles, les performances de calcul accélérées du H200 peuvent être comprises comme la moitié de la superpuce GH200 Hopper sortie il y a six mois, mais la différence est que HBM3 est remplacé par HBM3e, la bande passante mémoire est augmentée de 80 Go à 141 Go et la vitesse est augmentée à 4,8 To / s, ce qui permet à NVIDIA d’augmenter la vitesse de traitement et la capacité de bande passante du contenu. Sur la base de la bande passante totale et de la largeur du bus mémoire, la fréquence de mémoire du H200 augmente d’environ 25 % par rapport au H100.
Titanium Media App a confirmé à Nvidia que le nouveau H200 ne sera pas vendu à la Chine sans licence d’exportation, car les paramètres H200 sont supérieurs à la ligne rouge de performance annoncée par le département américain du Commerce le 17 octobre : la performance totale de traitement du circuit intégré (utilisé dans le centre de données) de plusieurs unités de traitement numérique est de 2400 à 4800, et la « densité de performance » est supérieure à 1,6 et inférieure à 5,92.
Au début du mois de novembre, Nvidia a annoncé aux concessionnaires les informations sur les produits des HGX H20, L20 PCle et L2 PCle « China Special Edition », qui sont destinés aux scénarios d’entraînement, d’inférence et de périphérie, et seront annoncés le 16 novembre au plus tôt, et la production de masse se fera de décembre 2023 à janvier 2024. Parmi eux, le HGX H20 est limité en termes de bande passante et de vitesse de calcul, et la puissance de calcul théorique globale est inférieure d’environ 80% à celle du NVIDIA H100, et bien sûr il sera plus « rétrécissant » que le H200.
Il convient de mentionner qu’en plus du H200, basé sur les puces d’IA basées sur les architectures Grace, Hopper et Grace Hopper que NVIDIA vend désormais, la société a lancé aujourd’hui une nouvelle plate-forme avec quatre puces d’IA Grace Hopper GH200, appelée NVIDIA Quad GH200.
Le Quad GH200 fournit 288 cœurs ArmCPU et un total de 2,3 To de mémoire haute vitesse, et superpose quatre GH200 pour les connecter à 8 puces et 4 topologies NVLink pour former une puissante plate-forme informatique alimentée par CPU + GPU, qui peut être installée dans les systèmes d’infrastructure pour fournir une plus grande facilité d’utilisation et une puissance de calcul plus forte.
Selon Raymond James, une institution financière américaine, la puce H100 ne coûte que 3 320 dollars, mais le prix de gros de Nvidia pour ses clients est toujours aussi élevé que 25 000 à 40 000 dollars. Cela s’est traduit par des marges bénéficiaires H100 ou jusqu’à 1000%, ce qui en fait la puce la plus rentable de tous les temps.
Selon le site officiel de NVIDIA, le NVIDIA H200 alimentera plus de 40 supercalculateurs d’IA. Des entreprises telles que CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud et d’autres seront les premiers fournisseurs de services cloud à déployer des instances basées sur H200. Dans le même temps, les intégrateurs de systèmes tels qu’Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., utiliseront également le H200 pour mettre à jour leurs systèmes existants.
Dans le même temps, Nvidia a également annoncé un partenariat avec Jupiter pour fournir un nouveau supercalculateur basé sur 24 000 (23 762) GH200, avec une consommation d’énergie aussi faible que 18,2 mégawatts, qui sera installé dans les installations du centre de recherche de Jülich en Allemagne pour la recherche fondamentale dans les domaines de la science des matériaux, de la découverte de médicaments, de l’ingénierie industrielle et de l’informatique quantique. Le système de calcul intensif sera livré et installé l’année prochaine.