La puce d’entraînement de modèle la plus puissante H200 est lancée !Grande mémoire 141G, l’inférence AI est augmentée jusqu’à 90%, et elle est également compatible avec H100
Nvidia Lao Huang a de nouveau explosé avec une nouvelle génération de puces GPUH200.
Le site officiel a déclaré sans ménagement : « Le GPU le plus puissant au monde, conçu pour l’IA et le supercalcul ».
Vous avez entendu dire que toutes les entreprises d’IA se plaignent d’un manque de mémoire ?
Cette fois-ci, la grande mémoire de 141 Go est directement augmentée de 76% par rapport aux 80 Go du H100.
En tant que premier GPU à être équipé de la mémoire HBM3e, la bande passante mémoire a également été augmentée de 3,35 To/s à 4,8 To/s, soit une augmentation de 43 %.
Qu’est-ce que cela signifie pour l’IA ?
Avec la prise en charge de HBM3e, le H200 double presque les performances d’inférence du Llama-70B, et le GPT3-175B peut également être amélioré de 60 %.
Voici une autre bonne nouvelle pour les entreprises d’IA :
Le H200 est entièrement compatible avec le H100, ce qui signifie que l’ajout du H200 à un système existant ne nécessite aucun ajustement.
La puce d’IA la plus puissante ne peut être utilisée que pendant six mois
À l’exception de la mise à niveau de la mémoire, le H200 est fondamentalement le même que le H100, qui appartient également à l’architecture Hopper.
Le processus 4 nm de TSMC, les 80 milliards de transistors, l’interconnexion haut débit NVLink 4 900 Go par seconde, ont tous été complètement hérités.
Même la puissance de calcul maximale reste la même, et les données sont toujours familières avec FP64 Vector 33.5TFlops et FP64 Tensor 66.9TFlops.
Quant à savoir pourquoi la mémoire est de 141 Go, AnandTech analyseLa mémoire HBM3e elle-même a une capacité physique de 144 Go, qui est composée de 6 piles de 24 Go.
Pour des raisons de production de masse, Nvidia** en conserve une petite partie en redondance** pour améliorer le rendement.
Par rapport à l’A100 sorti en 2020, le H200 est 18 fois plus rapide que l’inférence du GPT-3 175B simplement en mettant à niveau la mémoire.
Le H200 devrait être lancé au deuxième trimestre 2024, mais le nom H200, la puce d’IA la plus puissante, ne peut être détenu que pendant six mois.
Toujours au quatrième trimestre 2024, le B100 basé sur l’architecture Blackwell de nouvelle génération sera également disponible, les performances exactes ne sont pas encore connues et le graphique laisse entrevoir une croissance exponentielle.
Plusieurs centres de calcul intensif déploieront des nœuds de calcul intensif GH200
En plus de la puce H200 elle-même, Nvidia a également publié une série de produits en grappe composés de celle-ci cette fois-ci.
La première est la plate-forme HGX H200, qui est équipée de 8 H200 sur la carte porteuse HGX, avec une mémoire vidéo totale de 1,1 To et une vitesse de fonctionnement en virgule flottante de 8 bits de plus de 32P(10^15) FLOPS, ce qui est cohérent avec les données H100.
HGX utilise les technologies d’interconnexion haut débit NVLink et NVSwitch de NVIDIA pour exécuter un large éventail de charges de travail applicatives avec des performances optimales, y compris l’entraînement et l’inférence pour les grands modèles 175B.
La nature autonome de la carte HGX lui permet d’être connectée à un système hôte approprié, ce qui permet aux utilisateurs de personnaliser la partie non-GPU de leur serveur haut de gamme.
Vient ensuite le nœud de supercalcul Quad GH200 - il se compose de 4 GH200, et le GH200 est une combinaison de H200 et de Grace CPU.
Le nœud Quad GH200 offrira 288 cœurs de processeur Arm et un total de 2,3 To de mémoire haute vitesse.
Grâce à une combinaison d’un grand nombre de nœuds de supercalculateurs, le H200 finira par former un supercalculateur massif, et certains centres de calcul intensif ont annoncé qu’ils intégraient le système GH200 dans leur équipement de calcul intensif.
Selon l’annonce officielle de NVIDIA, le German Ulich Supercomputing Center utilisera la superpuce GH200 dans le supercalculateur Jupiter, qui contient 24 000 nœuds GH200 et une puissance de 18,2 mégawatts, soit l’équivalent de plus de 18 000 kilowatts d’électricité par heure.
Le système devrait être installé en 2024, et une fois en ligne, Jupiter sera le plus grand supercalculateur basé sur Hopper jamais annoncé.
Jupiter disposera d’environ 93 (10^18) FLOPS de puissance de calcul IA, 1E de FLOPS de taux de calcul FP64, 1,2 Po de bande passante par seconde, 10,9 Po de LPDDR5X et 2,2 Po de mémoire HBM3.
En plus de Jupiter, des centres de calcul intensif tels que le Japan Joint Center for Advanced High Performance Computing, le Texas Advanced Computing Center et le National Supercomputing Application Center de l’Université de l’Illinois à Urbana-Champaign ont également annoncé qu’ils utiliseraient GH200 pour mettre à niveau leur équipement de supercalculateur.
Alors, quelles sont les premières façons pour les praticiens de l’IA de faire l’expérience de GH200 ?
Oracle et CoreWeave ont également annoncé leur intention de proposer des instances GH200 l’année prochaine, et Amazon, Google Cloud et Microsoft Azure seront également les premiers fournisseurs de services cloud à déployer des instances GH200.
Nvidia lui-même fournira également l’accès au GH200 via sa plate-forme NVIDIA LaunchPad.
En ce qui concerne les fabricants de matériel, ASUS, GIGABYTE et d’autres fabricants prévoient de commencer à vendre des équipements de serveur équipés de GH200 d’ici la fin de l’année.
Liens de référence :
[1]
[2]
[3]
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
La puce d’entraînement de modèle la plus puissante H200 est lancée !Grande mémoire 141G, l’inférence AI est augmentée jusqu’à 90%, et elle est également compatible avec H100
Source de l’article : qubits
Nvidia Lao Huang a de nouveau explosé avec une nouvelle génération de puces GPUH200.
Le site officiel a déclaré sans ménagement : « Le GPU le plus puissant au monde, conçu pour l’IA et le supercalcul ».
Cette fois-ci, la grande mémoire de 141 Go est directement augmentée de 76% par rapport aux 80 Go du H100.
En tant que premier GPU à être équipé de la mémoire HBM3e, la bande passante mémoire a également été augmentée de 3,35 To/s à 4,8 To/s, soit une augmentation de 43 %.
Avec la prise en charge de HBM3e, le H200 double presque les performances d’inférence du Llama-70B, et le GPT3-175B peut également être amélioré de 60 %.
Le H200 est entièrement compatible avec le H100, ce qui signifie que l’ajout du H200 à un système existant ne nécessite aucun ajustement.
La puce d’IA la plus puissante ne peut être utilisée que pendant six mois
À l’exception de la mise à niveau de la mémoire, le H200 est fondamentalement le même que le H100, qui appartient également à l’architecture Hopper.
Le processus 4 nm de TSMC, les 80 milliards de transistors, l’interconnexion haut débit NVLink 4 900 Go par seconde, ont tous été complètement hérités.
Même la puissance de calcul maximale reste la même, et les données sont toujours familières avec FP64 Vector 33.5TFlops et FP64 Tensor 66.9TFlops.
Pour des raisons de production de masse, Nvidia** en conserve une petite partie en redondance** pour améliorer le rendement.
Par rapport à l’A100 sorti en 2020, le H200 est 18 fois plus rapide que l’inférence du GPT-3 175B simplement en mettant à niveau la mémoire.
Le H200 devrait être lancé au deuxième trimestre 2024, mais le nom H200, la puce d’IA la plus puissante, ne peut être détenu que pendant six mois.
Toujours au quatrième trimestre 2024, le B100 basé sur l’architecture Blackwell de nouvelle génération sera également disponible, les performances exactes ne sont pas encore connues et le graphique laisse entrevoir une croissance exponentielle.
Plusieurs centres de calcul intensif déploieront des nœuds de calcul intensif GH200
En plus de la puce H200 elle-même, Nvidia a également publié une série de produits en grappe composés de celle-ci cette fois-ci.
La première est la plate-forme HGX H200, qui est équipée de 8 H200 sur la carte porteuse HGX, avec une mémoire vidéo totale de 1,1 To et une vitesse de fonctionnement en virgule flottante de 8 bits de plus de 32P(10^15) FLOPS, ce qui est cohérent avec les données H100.
HGX utilise les technologies d’interconnexion haut débit NVLink et NVSwitch de NVIDIA pour exécuter un large éventail de charges de travail applicatives avec des performances optimales, y compris l’entraînement et l’inférence pour les grands modèles 175B.
La nature autonome de la carte HGX lui permet d’être connectée à un système hôte approprié, ce qui permet aux utilisateurs de personnaliser la partie non-GPU de leur serveur haut de gamme.
Grâce à une combinaison d’un grand nombre de nœuds de supercalculateurs, le H200 finira par former un supercalculateur massif, et certains centres de calcul intensif ont annoncé qu’ils intégraient le système GH200 dans leur équipement de calcul intensif.
Selon l’annonce officielle de NVIDIA, le German Ulich Supercomputing Center utilisera la superpuce GH200 dans le supercalculateur Jupiter, qui contient 24 000 nœuds GH200 et une puissance de 18,2 mégawatts, soit l’équivalent de plus de 18 000 kilowatts d’électricité par heure.
Le système devrait être installé en 2024, et une fois en ligne, Jupiter sera le plus grand supercalculateur basé sur Hopper jamais annoncé.
Jupiter disposera d’environ 93 (10^18) FLOPS de puissance de calcul IA, 1E de FLOPS de taux de calcul FP64, 1,2 Po de bande passante par seconde, 10,9 Po de LPDDR5X et 2,2 Po de mémoire HBM3.
Alors, quelles sont les premières façons pour les praticiens de l’IA de faire l’expérience de GH200 ?
Oracle et CoreWeave ont également annoncé leur intention de proposer des instances GH200 l’année prochaine, et Amazon, Google Cloud et Microsoft Azure seront également les premiers fournisseurs de services cloud à déployer des instances GH200.
Nvidia lui-même fournira également l’accès au GH200 via sa plate-forme NVIDIA LaunchPad.
En ce qui concerne les fabricants de matériel, ASUS, GIGABYTE et d’autres fabricants prévoient de commencer à vendre des équipements de serveur équipés de GH200 d’ici la fin de l’année.
Liens de référence :
[1]
[2]
[3]