Cet article a été publié pour la première fois sur l’application Titanium Media
Ces trois nouvelles puces Nvidia AI ne sont pas des « versions améliorées », mais des « versions réduites », dont le HGX H20 est limité en termes de bande passante et de vitesse de calcul, et le prix du H20 devrait diminuer, mais il sera toujours plus élevé que la puce AI domestique 910B.
Source de l’image : Générée par Unbounded AI
Le 10 novembre, il a récemment été rapporté que le géant des puces NVIDIA (NVIDIA) lancerait trois puces d’IA pour le marché chinois basées sur H100 en réponse aux derniers contrôles à l’exportation de puces aux États-Unis.
Selon le document de spécification, Nvidia lancera bientôt de nouveaux produits pour les clients chinois nommés HGX H20, L20 PCle et L2 PCle, qui sont basés sur les architectures Hopper et Ada Lovelace de Nvidia. À en juger par les spécifications et la dénomination, les trois produits sont destinés à la formation, à l’inférence et aux scénarios de périphérie, et seront annoncés dès le 16 novembre, le délai de livraison de l’échantillon de produit est de novembre à décembre de cette année et le délai de production de masse est de décembre de cette année à janvier de l’année prochaine.
Titanium Media App a appris d’un certain nombre d’entreprises de la chaîne industrielle NVIDIA que les nouvelles ci-dessus sont vraies.
Titanium Media App a également appris en exclusivité que les trois puces d’IA de NVIDIA ne sont pas des « versions améliorées », mais des « versions réduites ». Théoriquement, la puissance de calcul globale est inférieure d’environ 80 % à celle de la puce GPU NVIDIA H100, c’est-à-dire que H20 est égal à 20 % des performances de puissance de calcul complètes de H100, et l’ajout de mémoire vidéo HBM et de modules d’interconnexion NVLink améliore le coût de la puissance de calcul. Par conséquent, bien que le prix du HGX H20 diminue par rapport au H100, on s’attend à ce que le prix de ce produit soit toujours plus élevé que celui de la puce AI domestique 910B.
« Cela équivaut à élargir les voies de l’autoroute, mais l’entrée de la barrière de péage n’est pas élargie, ce qui limite la circulation. De plus, techniquement, grâce au verrouillage du matériel et du logiciel, les performances de la puce peuvent être contrôlées avec précision, et il n’est pas nécessaire de remplacer la ligne de production à grande échelle, même si le matériel est mis à niveau, les performances peuvent toujours être ajustées selon les besoins. À l’heure actuelle, le nouveau H20 a des performances « bloquées » à la source. Une source de l’industrie a expliqué la nouvelle puce H20 : « Par exemple, il fallait 20 jours pour exécuter une tâche avec H100, mais maintenant cela peut prendre 100 jours pour que H20 s’exécute à nouveau. » "
Malgré la publication d’une nouvelle série de restrictions sur les puces aux États-Unis, Nvidia ne semble pas avoir abandonné l’énorme marché chinois de la puissance de calcul de l’IA.
Dans le même temps, le 910B est beaucoup plus élevé que les produits de la série NVIDIA A100/H100 en termes de consommation de puissance de calcul et de chauffage, et n’est pas compatible avec CUDA, qui est difficile de répondre pleinement aux besoins d’entraînement des modèles des centres de calcul intelligents à long terme.
Jusqu’à présent, Nvidia n’a officiellement fait aucun commentaire à ce sujet.
Le 17 octobre de cette année, le Bureau de l’industrie et de la sécurité (BIS) du département américain du Commerce a publié de nouvelles réglementations de contrôle des exportations de puces, imposant de nouveaux contrôles à l’exportation sur les produits semi-conducteurs, y compris les puces d’IA haute performance de Nvidia, et les restrictions sont entrées en vigueur le 23 octobre. Le dépôt de Nvidia auprès de la SEC américaine montre que les produits interdits qui prennent effet immédiatement comprennent A800, H800 et L40S, les puces d’IA les plus puissantes.
De plus, les processeurs L40 et RTX 4090 conservent la fenêtre d’origine de 30 jours.
Le 31 octobre, on a appris que Nvidia pourrait être contraint d’annuler une commande de puces avancées d’une valeur de 5 milliards de dollars, et le cours de l’action de Nvidia a fortement chuté en raison de la nouvelle. Auparavant, les A800 et H800 de Nvidia exclusivement fournis pour la Chine ne pouvaient pas être vendus normalement sur le marché chinois en raison de la nouvelle réglementation aux États-Unis, et ces deux puces étaient appelées les « versions castrées » de l’A100 et du H100, et Nvidia a réduit les performances de la puce afin de se conformer aux réglementations précédentes aux États-Unis.
Le 31 octobre, Zhang Xin, porte-parole du Conseil chinois pour la promotion du commerce international, a déclaré que les nouvelles règles de contrôle des exportations de semi-conducteurs vers la Chine par les États-Unis avaient encore renforcé les restrictions sur l’exportation de puces et d’équipements de fabrication de semi-conducteurs liés à l’intelligence artificielle vers la Chine, et inclus un certain nombre d’entités chinoises dans la « liste des entités » de contrôle des exportations. Ces mesures prises par les États-Unis ont gravement violé les principes de l’économie de marché et les règles économiques et commerciales internationales, et ont exacerbé le risque de déchirure et de fragmentation de la chaîne d’approvisionnement mondiale des semi-conducteurs. L’interdiction des exportations de puces vers la Chine mise en œuvre par les États-Unis depuis le second semestre 2022 modifie profondément l’offre et la demande mondiales, provoquant un déséquilibre de l’offre de puces en 2023, affectant le modèle de l’industrie mondiale des puces et nuisant aux intérêts des entreprises de divers pays, y compris les entreprises chinoises.
Comparaison des paramètres de performance des NVIDIA HGX H20, L20, L2 et d’autres produits
Titanium Media App a appris que les nouvelles puces d’IA HGX H20, L20 et L2 sont basées sur les architectures Hopper et Ada de NVIDIA respectivement, qui conviennent à l’entraînement au cloud, à l’inférence cloud et à l’inférence edge.
Parmi eux, les deux derniers produits d’inférence d’IA L20 et L2 ont des solutions similaires de « substitution domestique » et compatibles CUDA, tandis que le HGX H20 est basé sur les produits de puce d’entraînement H100 et AI par castration du firmware, remplaçant principalement A100/H800.
Selon les documents, le nouveau H20 dispose d’une technologie d’emballage avancée CoWoS et ajoute une HBM3 (mémoire haute performance) à 96 Go, mais le coût augmente également de 240 dollars américains ; La puissance de calcul dense FP16 de H20 atteint 148 TFLOPS (trillions d’opérations en virgule flottante par seconde), ce qui représente environ 15 % de la puissance de calcul de H100, il doit donc ajouter des coûts d’algorithme et de personnel supplémentaires ; NVLink passe de 400 Go/s à 900 Go/s. Le taux d’interconnexion sera considérablement amélioré.
D’après l’évaluation, H100/H800 est le schéma de pratique courant des clusters de puissance de calcul. Parmi eux, la limite théorique de H100 est de 50 000 cartes et la puissance de calcul maximale est de 100 000 P, le cluster d’entraînement maximal de H800 est de 20 000 à 30 000 cartes, avec une puissance de calcul totale de 40 000 P, et le cluster d’entraînement maximum de A100 est de 16 000 cartes et la puissance de calcul maximale est de 9600P.
Cependant, la limite théorique de la nouvelle puce H20 est de 50 000 cartes, mais la puissance de calcul de chaque carte est de 0,148P, et la puissance de calcul totale est de près de 7400P, ce qui est inférieur à celui des H100/H800 et A100. Par conséquent, l’échelle du cluster H20 est loin de l’échelle théorique de H100, et sur la base de l’estimation de la puissance de calcul et de l’équilibre des communications, la puissance de calcul globale médiane raisonnable est d’environ 3000P, et plus de coûts et plus de puissance de calcul doivent être ajoutés pour compléter l’entraînement du modèle de paramètres de niveau 100 milliards.
Deux experts de l’industrie des semi-conducteurs ont déclaré à Titanium Media App que, sur la base de l’estimation des paramètres de performance actuels, il est très probable que les produits GPU Nvidia B100 ne seront plus vendus sur le marché chinois l’année prochaine.
Dans l’ensemble, si les grandes entreprises de modèles veulent effectuer un entraînement de grands modèles avec des paramètres tels que GPT-4, l’échelle des clusters de puissance de calcul est le noyau, et à l’heure actuelle, seuls H800 et H100 peuvent être compétents pour l’entraînement de grands modèles, tandis que les performances du 910B domestique se situent entre A100 et H100, ce qui n’est qu’un « choix de secours de dernier recours ».
Maintenant, le nouveau H20 lancé par Nvidia est plus adapté à l’entraînement et à l’inférence de modèles verticaux, ce qui ne peut pas répondre aux besoins d’entraînement des grands modèles de niveau billion, mais les performances globales sont légèrement supérieures à celles du 910B, couplées à l’écologie CUDA de NVIDIA, bloquant ainsi le seul choix pour les cartes nationales sur le marché chinois des puces d’IA à l’avenir en vertu de l’ordonnance de restriction des puces américaines.
Selon le dernier rapport financier, au cours du trimestre clos le 30 juillet, plus de 85 % des 13,5 milliards de dollars de ventes de Nvidia provenaient des États-Unis et de la Chine, et seulement environ 14 % des ventes provenaient d’autres pays et régions.
Affecté par l’annonce du H20, à la clôture de la bourse américaine le 9 novembre, le cours de l’action Nvidia a légèrement augmenté de 0,81 % pour clôturer à 469,5 $ par action. Au cours des cinq derniers jours de bourse, Nvidia a augmenté de plus de 10 %, avec une valeur marchande de 1,16 billion de dollars.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Nvidia bloque les puces d’IA domestiques, et la « China Special Edition » est devenue une « version rétrécie »
Source de l’article : Titanium Media
Auteur : Lin Zhijia
Editeur : Ma Jinnan
Cet article a été publié pour la première fois sur l’application Titanium Media
Le 10 novembre, il a récemment été rapporté que le géant des puces NVIDIA (NVIDIA) lancerait trois puces d’IA pour le marché chinois basées sur H100 en réponse aux derniers contrôles à l’exportation de puces aux États-Unis.
Selon le document de spécification, Nvidia lancera bientôt de nouveaux produits pour les clients chinois nommés HGX H20, L20 PCle et L2 PCle, qui sont basés sur les architectures Hopper et Ada Lovelace de Nvidia. À en juger par les spécifications et la dénomination, les trois produits sont destinés à la formation, à l’inférence et aux scénarios de périphérie, et seront annoncés dès le 16 novembre, le délai de livraison de l’échantillon de produit est de novembre à décembre de cette année et le délai de production de masse est de décembre de cette année à janvier de l’année prochaine.
Titanium Media App a appris d’un certain nombre d’entreprises de la chaîne industrielle NVIDIA que les nouvelles ci-dessus sont vraies.
Titanium Media App a également appris en exclusivité que les trois puces d’IA de NVIDIA ne sont pas des « versions améliorées », mais des « versions réduites ». Théoriquement, la puissance de calcul globale est inférieure d’environ 80 % à celle de la puce GPU NVIDIA H100, c’est-à-dire que H20 est égal à 20 % des performances de puissance de calcul complètes de H100, et l’ajout de mémoire vidéo HBM et de modules d’interconnexion NVLink améliore le coût de la puissance de calcul. Par conséquent, bien que le prix du HGX H20 diminue par rapport au H100, on s’attend à ce que le prix de ce produit soit toujours plus élevé que celui de la puce AI domestique 910B.
« Cela équivaut à élargir les voies de l’autoroute, mais l’entrée de la barrière de péage n’est pas élargie, ce qui limite la circulation. De plus, techniquement, grâce au verrouillage du matériel et du logiciel, les performances de la puce peuvent être contrôlées avec précision, et il n’est pas nécessaire de remplacer la ligne de production à grande échelle, même si le matériel est mis à niveau, les performances peuvent toujours être ajustées selon les besoins. À l’heure actuelle, le nouveau H20 a des performances « bloquées » à la source. Une source de l’industrie a expliqué la nouvelle puce H20 : « Par exemple, il fallait 20 jours pour exécuter une tâche avec H100, mais maintenant cela peut prendre 100 jours pour que H20 s’exécute à nouveau. » "
Malgré la publication d’une nouvelle série de restrictions sur les puces aux États-Unis, Nvidia ne semble pas avoir abandonné l’énorme marché chinois de la puissance de calcul de l’IA.
Dans le même temps, le 910B est beaucoup plus élevé que les produits de la série NVIDIA A100/H100 en termes de consommation de puissance de calcul et de chauffage, et n’est pas compatible avec CUDA, qui est difficile de répondre pleinement aux besoins d’entraînement des modèles des centres de calcul intelligents à long terme.
Jusqu’à présent, Nvidia n’a officiellement fait aucun commentaire à ce sujet.
Le 17 octobre de cette année, le Bureau de l’industrie et de la sécurité (BIS) du département américain du Commerce a publié de nouvelles réglementations de contrôle des exportations de puces, imposant de nouveaux contrôles à l’exportation sur les produits semi-conducteurs, y compris les puces d’IA haute performance de Nvidia, et les restrictions sont entrées en vigueur le 23 octobre. Le dépôt de Nvidia auprès de la SEC américaine montre que les produits interdits qui prennent effet immédiatement comprennent A800, H800 et L40S, les puces d’IA les plus puissantes.
De plus, les processeurs L40 et RTX 4090 conservent la fenêtre d’origine de 30 jours.
Le 31 octobre, on a appris que Nvidia pourrait être contraint d’annuler une commande de puces avancées d’une valeur de 5 milliards de dollars, et le cours de l’action de Nvidia a fortement chuté en raison de la nouvelle. Auparavant, les A800 et H800 de Nvidia exclusivement fournis pour la Chine ne pouvaient pas être vendus normalement sur le marché chinois en raison de la nouvelle réglementation aux États-Unis, et ces deux puces étaient appelées les « versions castrées » de l’A100 et du H100, et Nvidia a réduit les performances de la puce afin de se conformer aux réglementations précédentes aux États-Unis.
Le 31 octobre, Zhang Xin, porte-parole du Conseil chinois pour la promotion du commerce international, a déclaré que les nouvelles règles de contrôle des exportations de semi-conducteurs vers la Chine par les États-Unis avaient encore renforcé les restrictions sur l’exportation de puces et d’équipements de fabrication de semi-conducteurs liés à l’intelligence artificielle vers la Chine, et inclus un certain nombre d’entités chinoises dans la « liste des entités » de contrôle des exportations. Ces mesures prises par les États-Unis ont gravement violé les principes de l’économie de marché et les règles économiques et commerciales internationales, et ont exacerbé le risque de déchirure et de fragmentation de la chaîne d’approvisionnement mondiale des semi-conducteurs. L’interdiction des exportations de puces vers la Chine mise en œuvre par les États-Unis depuis le second semestre 2022 modifie profondément l’offre et la demande mondiales, provoquant un déséquilibre de l’offre de puces en 2023, affectant le modèle de l’industrie mondiale des puces et nuisant aux intérêts des entreprises de divers pays, y compris les entreprises chinoises.
Titanium Media App a appris que les nouvelles puces d’IA HGX H20, L20 et L2 sont basées sur les architectures Hopper et Ada de NVIDIA respectivement, qui conviennent à l’entraînement au cloud, à l’inférence cloud et à l’inférence edge.
Parmi eux, les deux derniers produits d’inférence d’IA L20 et L2 ont des solutions similaires de « substitution domestique » et compatibles CUDA, tandis que le HGX H20 est basé sur les produits de puce d’entraînement H100 et AI par castration du firmware, remplaçant principalement A100/H800.
Selon les documents, le nouveau H20 dispose d’une technologie d’emballage avancée CoWoS et ajoute une HBM3 (mémoire haute performance) à 96 Go, mais le coût augmente également de 240 dollars américains ; La puissance de calcul dense FP16 de H20 atteint 148 TFLOPS (trillions d’opérations en virgule flottante par seconde), ce qui représente environ 15 % de la puissance de calcul de H100, il doit donc ajouter des coûts d’algorithme et de personnel supplémentaires ; NVLink passe de 400 Go/s à 900 Go/s. Le taux d’interconnexion sera considérablement amélioré.
D’après l’évaluation, H100/H800 est le schéma de pratique courant des clusters de puissance de calcul. Parmi eux, la limite théorique de H100 est de 50 000 cartes et la puissance de calcul maximale est de 100 000 P, le cluster d’entraînement maximal de H800 est de 20 000 à 30 000 cartes, avec une puissance de calcul totale de 40 000 P, et le cluster d’entraînement maximum de A100 est de 16 000 cartes et la puissance de calcul maximale est de 9600P.
Cependant, la limite théorique de la nouvelle puce H20 est de 50 000 cartes, mais la puissance de calcul de chaque carte est de 0,148P, et la puissance de calcul totale est de près de 7400P, ce qui est inférieur à celui des H100/H800 et A100. Par conséquent, l’échelle du cluster H20 est loin de l’échelle théorique de H100, et sur la base de l’estimation de la puissance de calcul et de l’équilibre des communications, la puissance de calcul globale médiane raisonnable est d’environ 3000P, et plus de coûts et plus de puissance de calcul doivent être ajoutés pour compléter l’entraînement du modèle de paramètres de niveau 100 milliards.
Deux experts de l’industrie des semi-conducteurs ont déclaré à Titanium Media App que, sur la base de l’estimation des paramètres de performance actuels, il est très probable que les produits GPU Nvidia B100 ne seront plus vendus sur le marché chinois l’année prochaine.
Dans l’ensemble, si les grandes entreprises de modèles veulent effectuer un entraînement de grands modèles avec des paramètres tels que GPT-4, l’échelle des clusters de puissance de calcul est le noyau, et à l’heure actuelle, seuls H800 et H100 peuvent être compétents pour l’entraînement de grands modèles, tandis que les performances du 910B domestique se situent entre A100 et H100, ce qui n’est qu’un « choix de secours de dernier recours ».
Maintenant, le nouveau H20 lancé par Nvidia est plus adapté à l’entraînement et à l’inférence de modèles verticaux, ce qui ne peut pas répondre aux besoins d’entraînement des grands modèles de niveau billion, mais les performances globales sont légèrement supérieures à celles du 910B, couplées à l’écologie CUDA de NVIDIA, bloquant ainsi le seul choix pour les cartes nationales sur le marché chinois des puces d’IA à l’avenir en vertu de l’ordonnance de restriction des puces américaines.
Selon le dernier rapport financier, au cours du trimestre clos le 30 juillet, plus de 85 % des 13,5 milliards de dollars de ventes de Nvidia provenaient des États-Unis et de la Chine, et seulement environ 14 % des ventes provenaient d’autres pays et régions.
Affecté par l’annonce du H20, à la clôture de la bourse américaine le 9 novembre, le cours de l’action Nvidia a légèrement augmenté de 0,81 % pour clôturer à 469,5 $ par action. Au cours des cinq derniers jours de bourse, Nvidia a augmenté de plus de 10 %, avec une valeur marchande de 1,16 billion de dollars.