Voyant que ChatGPT n'a cessé d'exploser pendant plusieurs mois, au cours desquels des géants de la technologie tels que Microsoft, Google et Meta sont entrés dans le jeu les uns après les autres, c'est maintenant qu'Intel a officiellement annoncé sa "concurrence".
Au cours du week-end, lors de la Conférence internationale de supercalcul (ISC) sur les hautes performances (HPC) à Hambourg, en Allemagne, Intel a non seulement démontré son leadership dans les charges de travail HPC et IA, mais a également annoncé un plan surprenant : Tribute National Laboratory s'est associé pour développer un modèle d'IA générative Aurora genAI avec le supercalculateur Aurora, et le nombre de paramètres atteindra 1 000 milliards !
Sachez que la taille des paramètres de ChatGPT n'est que de 175 milliards, c'est-à-dire que le modèle Aurora genAI sera au moins 5 fois plus grand que lui.
(photo du site officiel d'Intel)
Le modèle d'IA sera alimenté par le supercalcul Aurora
Il est entendu que le modèle Intel Aurora genAI sera basé sur deux frameworks : Megatron de NVIDIA et DeepSpeed de Microsoft.
▶ Megatron : une architecture pour la formation distribuée de modèles de langage à grande échelle, optimisée spécifiquement pour Transformer, prend non seulement en charge le parallélisme des données dans la formation distribuée traditionnelle, mais prend également en charge le parallélisme des modèles.
▶ DeepSpeed : Concentrez-vous sur l'optimisation de la formation de modèles d'apprentissage en profondeur à grande échelle. En améliorant l'échelle, la vitesse, le coût et la disponibilité, il libère la capacité de former 100 milliards de modèles de paramètres et favorise grandement la formation de modèles à grande échelle.
En plus de ces deux cadres, le modèle Aurora genAI sera également propulsé par le supercalculateur Aurora, le supercalculateur Intel conçu pour le Laboratoire national d'Argonne, qui a finalement pris forme après plusieurs retards.
Selon les informations publiques actuelles, le supercalculateur Aurora est alimenté par les puces des séries Intel Xeon CPU Max et Xeon GPU Max, avec un total de 10 624 nœuds, 63 744 GPU Ponte Vecchio, 21 248 CPU Sapphire Rapids Xeon et 1 024 stockage d'objets asynchrones distribués (DAOS ) nœuds de stockage et 10,9 Po de mémoire persistante DDR5 Optane.
En outre, Intel a également révélé les premiers résultats de performances du supercalculateur Aurora : "Le supercalcul Aurora a des performances de pointe sur les charges de travail scientifiques et d'ingénierie, 2 fois les performances du GPU AMD MI250 et des applications de mécanique quantique QMCPACK améliorées par rapport au H100." 20% et mise à l'échelle presque linéaire à des centaines de nœuds.
Il convient de mentionner que, par rapport à l'objectif initial de 1 Exaflop, il est prévu que lorsque le supercalculateur Aurora sera lancé cette année, il fournira des performances de calcul en virgule flottante à double précision de plus de 2 Exaflops, soit plus que Frontier, qui s'est classé à plusieurs reprises premier dans la liste mondiale des supercalculateurs Top 500. Les supercalculateurs (1,194 Exaflop/s) sont encore plus élevés.
Modèle d'IA générative axé sur la science
Avec la puissante fondation de supercalcul Aurora, il est prévu que l'échelle du modèle Aurora genAI ne soit pas petite. Selon l'introduction officielle d'Intel, le Laboratoire national d'Argonne dirige une collaboration internationale pour le modèle Aurora genAI.
"Ce projet vise à exploiter tout le potentiel du supercalculateur Aurora pour générer une ressource pouvant être utilisée dans la science en aval dans les laboratoires du DOE et en collaboration avec d'autres agences", a déclaré Rick Stevens, directeur adjoint du laboratoire d'Argonne.
Dans l'ensemble, Aurora genAI est un modèle d'IA générative axé sur la science, il sera donc formé sur du texte générique, du code, du texte scientifique et des données scientifiques de la biologie, de la chimie, de la science des matériaux, de la physique, de la médecine, etc.
Les modèles d'IA qui en résultent, avec jusqu'à 1 billion de paramètres, allant de la conception de molécules et de matériaux à la connaissance combinée de millions de sources, peuvent être utilisés dans une variété d'applications scientifiques : biologie des systèmes, recherche sur le cancer, science du climat, recherche en cosmologie , chimie des polymères et matériaux, etc. Au-delà de la science, les modèles Aurora genAI pourraient potentiellement être utilisés dans d'autres domaines, tels que la modélisation financière, le traitement du langage naturel, la traduction automatique, la reconnaissance d'images et la reconnaissance vocale, entre autres.
Achèvement prévu en 2024
De plus, plus d'informations sur le modèle Aurora genAI d'Intel n'ont pas encore été dévoilées, mais selon les médias étrangers, Intel prévoit de développer et de compléter le modèle Aurora genAI en 2024 - si tout se passe bien, nous n'attendrons peut-être pas trop longtemps.
La publication de cette nouvelle a attiré l'attention de nombreuses personnes, et l'entrée d'Intel dans le modèle d'IA a annoncé le début de 1 billion de paramètres, ce qui fait que les gens attendent avec impatience le développement futur de produits concurrents tels que GPT-4 :
▶ "Le paramètre de trillion devrait être une limite spéciale, mais vous pouvez aussi être sceptique et dire que c'est juste un nombre entier énorme dont il faut se soucier. Il ne fait aucun doute que si ce modèle est similaire à GPT-4, cela ajoutera un point de données Mais avec les entreprises qui annoncent ceci et cela, je me demande si nous atteindrons un pic en juin.
▶ "Les gens construisent de nouveaux systèmes avec le H100, et il existe déjà des GPU IA nettement meilleurs, et si cela continue, NVIDIA devra peut-être annoncer une nouvelle carte plus tôt pour rester en tête."
▶ "Je suppose que GPT-4 ne continuera pas à maintenir SOTA (état de l'art, fait référence à la meilleure méthode ou modèle dans une tâche spécifique) dans de nombreux tests de référence bientôt, et peut-être qu'il sera également dans le monde à l'avenir. supercalculateur le plus rapide pour la formation. Pour référence, le supercalculateur OpenAI a environ 10 000 GPU, tandis qu'Aurora a 63 744 GPU.
Lien de référence :
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
5 fois plus grand que ChatGPT ! Intel a officiellement annoncé un grand modèle d'IA de 1 billion de paramètres, qui devrait être achevé en 2024
Organiser | Zheng Liyuan
Liste | CSDN (ID : CSDNnews)
Voyant que ChatGPT n'a cessé d'exploser pendant plusieurs mois, au cours desquels des géants de la technologie tels que Microsoft, Google et Meta sont entrés dans le jeu les uns après les autres, c'est maintenant qu'Intel a officiellement annoncé sa "concurrence".
Au cours du week-end, lors de la Conférence internationale de supercalcul (ISC) sur les hautes performances (HPC) à Hambourg, en Allemagne, Intel a non seulement démontré son leadership dans les charges de travail HPC et IA, mais a également annoncé un plan surprenant : Tribute National Laboratory s'est associé pour développer un modèle d'IA générative Aurora genAI avec le supercalculateur Aurora, et le nombre de paramètres atteindra 1 000 milliards !
Sachez que la taille des paramètres de ChatGPT n'est que de 175 milliards, c'est-à-dire que le modèle Aurora genAI sera au moins 5 fois plus grand que lui.
Le modèle d'IA sera alimenté par le supercalcul Aurora
Il est entendu que le modèle Intel Aurora genAI sera basé sur deux frameworks : Megatron de NVIDIA et DeepSpeed de Microsoft.
▶ Megatron : une architecture pour la formation distribuée de modèles de langage à grande échelle, optimisée spécifiquement pour Transformer, prend non seulement en charge le parallélisme des données dans la formation distribuée traditionnelle, mais prend également en charge le parallélisme des modèles.
▶ DeepSpeed : Concentrez-vous sur l'optimisation de la formation de modèles d'apprentissage en profondeur à grande échelle. En améliorant l'échelle, la vitesse, le coût et la disponibilité, il libère la capacité de former 100 milliards de modèles de paramètres et favorise grandement la formation de modèles à grande échelle.
En plus de ces deux cadres, le modèle Aurora genAI sera également propulsé par le supercalculateur Aurora, le supercalculateur Intel conçu pour le Laboratoire national d'Argonne, qui a finalement pris forme après plusieurs retards.
Selon les informations publiques actuelles, le supercalculateur Aurora est alimenté par les puces des séries Intel Xeon CPU Max et Xeon GPU Max, avec un total de 10 624 nœuds, 63 744 GPU Ponte Vecchio, 21 248 CPU Sapphire Rapids Xeon et 1 024 stockage d'objets asynchrones distribués (DAOS ) nœuds de stockage et 10,9 Po de mémoire persistante DDR5 Optane.
Il convient de mentionner que, par rapport à l'objectif initial de 1 Exaflop, il est prévu que lorsque le supercalculateur Aurora sera lancé cette année, il fournira des performances de calcul en virgule flottante à double précision de plus de 2 Exaflops, soit plus que Frontier, qui s'est classé à plusieurs reprises premier dans la liste mondiale des supercalculateurs Top 500. Les supercalculateurs (1,194 Exaflop/s) sont encore plus élevés.
Modèle d'IA générative axé sur la science
Avec la puissante fondation de supercalcul Aurora, il est prévu que l'échelle du modèle Aurora genAI ne soit pas petite. Selon l'introduction officielle d'Intel, le Laboratoire national d'Argonne dirige une collaboration internationale pour le modèle Aurora genAI.
"Ce projet vise à exploiter tout le potentiel du supercalculateur Aurora pour générer une ressource pouvant être utilisée dans la science en aval dans les laboratoires du DOE et en collaboration avec d'autres agences", a déclaré Rick Stevens, directeur adjoint du laboratoire d'Argonne.
Dans l'ensemble, Aurora genAI est un modèle d'IA générative axé sur la science, il sera donc formé sur du texte générique, du code, du texte scientifique et des données scientifiques de la biologie, de la chimie, de la science des matériaux, de la physique, de la médecine, etc.
Les modèles d'IA qui en résultent, avec jusqu'à 1 billion de paramètres, allant de la conception de molécules et de matériaux à la connaissance combinée de millions de sources, peuvent être utilisés dans une variété d'applications scientifiques : biologie des systèmes, recherche sur le cancer, science du climat, recherche en cosmologie , chimie des polymères et matériaux, etc. Au-delà de la science, les modèles Aurora genAI pourraient potentiellement être utilisés dans d'autres domaines, tels que la modélisation financière, le traitement du langage naturel, la traduction automatique, la reconnaissance d'images et la reconnaissance vocale, entre autres.
Achèvement prévu en 2024
De plus, plus d'informations sur le modèle Aurora genAI d'Intel n'ont pas encore été dévoilées, mais selon les médias étrangers, Intel prévoit de développer et de compléter le modèle Aurora genAI en 2024 - si tout se passe bien, nous n'attendrons peut-être pas trop longtemps.
La publication de cette nouvelle a attiré l'attention de nombreuses personnes, et l'entrée d'Intel dans le modèle d'IA a annoncé le début de 1 billion de paramètres, ce qui fait que les gens attendent avec impatience le développement futur de produits concurrents tels que GPT-4 :
▶ "Le paramètre de trillion devrait être une limite spéciale, mais vous pouvez aussi être sceptique et dire que c'est juste un nombre entier énorme dont il faut se soucier. Il ne fait aucun doute que si ce modèle est similaire à GPT-4, cela ajoutera un point de données Mais avec les entreprises qui annoncent ceci et cela, je me demande si nous atteindrons un pic en juin.
▶ "Les gens construisent de nouveaux systèmes avec le H100, et il existe déjà des GPU IA nettement meilleurs, et si cela continue, NVIDIA devra peut-être annoncer une nouvelle carte plus tôt pour rester en tête."
▶ "Je suppose que GPT-4 ne continuera pas à maintenir SOTA (état de l'art, fait référence à la meilleure méthode ou modèle dans une tâche spécifique) dans de nombreux tests de référence bientôt, et peut-être qu'il sera également dans le monde à l'avenir. supercalculateur le plus rapide pour la formation. Pour référence, le supercalculateur OpenAI a environ 10 000 GPU, tandis qu'Aurora a 63 744 GPU.
Lien de référence :