¡El chip de IA más potente del mundo está llegando!El rendimiento del H200 de próxima generación de Nvidia se disparó en un 90% y se confirmó que no se venderá en China
Solo ha pasado más de medio año desde el lanzamiento del nuevo producto NVIDIA DGX GH200, y hoy, Huang Jenxun una vez más detonó a la audiencia en medio de la noche.
Titanium Media App aprendidoEn la noche del 13 de noviembre, hora de Pekín, el gigante estadounidense de chips NVIDIA (NVIDIA) lanzó el chip de IA más potente del mundo: la GPU NVIDIA H200 Tensor Core (unidad de procesamiento gráfico).
La nueva NVIDIA H200 es una actualización de la actual H100 y se basa en la arquitectura de superchip NVIDIA Hopper con el más alto rendimiento y capacidades avanzadas de tecnología de memoria para el entrenamiento y la inferencia de modelos a gran escala a hiperescala, lo que mejora la IA generativa y las cargas de trabajo de computación de alto rendimiento (HPC).
La H200 es la primera GPU que ofrece 4,8 TB por segundo y 141 GB de memoria HBM3e. En comparación con el H100, el H200 casi duplica la capacidad y aumenta el ancho de banda en 2,4 veces. Cuando se utiliza para la inferencia o la generación de preguntas para modelos grandes como Llama2 y GPT-3, el rendimiento de H200 es entre un 60% y un 90% (1,6-1,9x) mejor que el de H100. Como resultado, H200 se puede implementar en varios tipos de centros de datos, incluidos los locales, la nube, la nube híbrida y el lado del borde.
Al mismo tiempo, en comparación con la CPU (unidad central de procesamiento), el H200 logra una velocidad de resultados "aterradora" bajo HPC: ** 110 veces más rápido. **
** Para el mercado chino, en la mañana del 14 de noviembre, Nvidia confirmó a Titanium Media App en un correo electrónico que el H200 no podrá venderse en el mercado chino sin obtener una licencia de exportación. **
Se entiende que NVIDIA H200 comenzará a suministrarse a clientes globales y proveedores de servicios en la nube en el segundo trimestre de 2024, y se espera que compita con el chip de IA MI300X de AMD.
Procesador NVIDIA HGX H200 (fuente: sitio web oficial de Nvidia)
En concreto, el nuevo H200 tiene un excelente rendimiento en el entrenamiento de modelos ultragrandes y el rendimiento de inferencia gracias a tecnologías de software y hardware como la arquitectura NVIDIA Hopper y el software dedicado TensorRT-LLM. En comparación con el H100, el H200 casi duplica la velocidad de inferencia del modelo grande de código abierto Llama 2 (70 mil millones de parámetros), y se espera que las futuras actualizaciones de software aporten liderazgo y mejoras adicionales en el rendimiento al H200.
Según NVIDIA, el H200 puede alcanzar 989 billones de operaciones de punto flotante en TF32 Tensor Cores y 3.958 TFLOPS (3.958 billones de operaciones de punto flotante por segundo) en INT8 Tensor Cores.
No solo eso, la plataforma de servidor acelerado HGX H200 construida sobre el chip H200 tiene el soporte de interconexión de alta velocidad de NVLink y NVSwitch. Ocho HGX H200 proporcionan más de 32 petaflops (1000 billones de operaciones de punto flotante por segundo) de computación de aprendizaje profundo FP8 y 1,1 TB de memoria agregada de gran ancho de banda para admitir un mayor rendimiento para cargas de trabajo como la investigación científica y la IA, incluido el entrenamiento y la inferencia de modelos grandes con más de 175 mil millones de parámetros.
Comparación de las especificaciones de rendimiento de NVIDIA H200, H100 y A100 (Fuente: anandtech)
Según el análisis de Anandtech, de acuerdo con las especificaciones actuales, el rendimiento de computación acelerado de H200 se puede entender como la mitad del superchip GH200 Hopper lanzado hace medio año, pero la diferencia es que HBM3 se reemplaza por HBM3e, el ancho de banda de la memoria aumenta de 80 GB a 141 GB y la velocidad aumenta a 4,8 TB / s, lo que permite a NVIDIA aumentar la velocidad de procesamiento y la capacidad de ancho de banda del contenido. Según el ancho de banda total y el ancho del bus de memoria, la frecuencia de memoria del H200 aumenta en aproximadamente un 25% en comparación con el H100.
Titanium Media App confirmó de Nvidia que el nuevo H200 no se venderá a China sin una licencia de exportación, porque los parámetros del H200 son más altos que la línea roja de rendimiento anunciada por el Departamento de Comercio de EE. UU. el 17 de octubre: el rendimiento de procesamiento total del circuito integrado (utilizado en el centro de datos) de múltiples unidades de procesamiento digital es 2400-4800, y la "densidad de rendimiento" es superior a 1,6 y menor que 5,92.
A principios de noviembre, Nvidia ha anunciado a los distribuidores la información del producto de la "Edición especial de China" HGX H20, L20 PCle y L2 PCle, que están destinadas a escenarios de entrenamiento, inferencia y borde, y se anunciarán el 16 de noviembre como muy pronto, y la producción en masa será de diciembre de 2023 a enero de 2024. Entre ellos, HGX H20 está limitado en términos de ancho de banda y velocidad de cómputo, y la potencia de cómputo integral teórica es aproximadamente un 80% menor que la de NVIDIA H100 y, por supuesto, será más "reducible" que H200.
Cabe mencionar que, además del H200, basado en los chips de IA basados en las arquitecturas Grace, Hopper y Grace Hopper que ahora vende NVIDIA, la compañía lanzó hoy una nueva plataforma con cuatro chips de IA Grace Hopper GH200, llamada NVIDIA Quad GH200.
La Quad GH200 proporciona 288 núcleos ArmCPU y un total de 2,3 TB de memoria de alta velocidad, y superpone cuatro GH200 para conectarlos con 8 chips y 4 topologías NVLink para formar una potente plataforma informática impulsada por CPU+GPU, que puede instalarse en sistemas de infraestructura para proporcionar una potencia informática más fácil de usar y más potente.
Según Raymond James, una institución financiera estadounidense, el chip H100 cuesta sólo 3.320 dólares, pero el precio al por mayor de Nvidia para sus clientes sigue siendo de 25.000 a 40.000 dólares. Esto dio como resultado márgenes de beneficio de H100 o hasta el 1000%, lo que lo convierte en el chip más rentable de la historia.
Según el sitio web oficial de NVIDIA, la NVIDIA H200 impulsará más de 40 supercomputadoras de IA. Empresas como CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud y otras serán los primeros proveedores de servicios en la nube en implementar instancias basadas en H200. Al mismo tiempo, integradores de sistemas como Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., también utilizarán el H200 para actualizar sus sistemas existentes.
Al mismo tiempo, Nvidia también anunció una asociación con Jupiter para proporcionar una nueva supercomputadora basada en 24.000 (23.762) GH200, con un consumo de energía tan bajo como 18,2 megavatios, que se instalará en las instalaciones del Centro de Investigación Jülich en Alemania para la investigación básica en los campos de la ciencia de los materiales, el descubrimiento de fármacos, la ingeniería industrial y la computación cuántica. El sistema de supercomputación se entregará e instalará el próximo año.
Además, Nvidia también insinuó en su sitio web oficial que el chip de IA Nvidia B100 anunciado el próximo año tendrá una mayor actualización de rendimiento. "La arquitectura NVIDIA Hopper ofrece un salto de rendimiento sin precedentes con respecto al pasado. "
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¡El chip de IA más potente del mundo está llegando!El rendimiento del H200 de próxima generación de Nvidia se disparó en un 90% y se confirmó que no se venderá en China
Fuente original: Titanium Media
Autor: Lin Zhijia
Solo ha pasado más de medio año desde el lanzamiento del nuevo producto NVIDIA DGX GH200, y hoy, Huang Jenxun una vez más detonó a la audiencia en medio de la noche.
Titanium Media App aprendidoEn la noche del 13 de noviembre, hora de Pekín, el gigante estadounidense de chips NVIDIA (NVIDIA) lanzó el chip de IA más potente del mundo: la GPU NVIDIA H200 Tensor Core (unidad de procesamiento gráfico).
La nueva NVIDIA H200 es una actualización de la actual H100 y se basa en la arquitectura de superchip NVIDIA Hopper con el más alto rendimiento y capacidades avanzadas de tecnología de memoria para el entrenamiento y la inferencia de modelos a gran escala a hiperescala, lo que mejora la IA generativa y las cargas de trabajo de computación de alto rendimiento (HPC).
La H200 es la primera GPU que ofrece 4,8 TB por segundo y 141 GB de memoria HBM3e. En comparación con el H100, el H200 casi duplica la capacidad y aumenta el ancho de banda en 2,4 veces. Cuando se utiliza para la inferencia o la generación de preguntas para modelos grandes como Llama2 y GPT-3, el rendimiento de H200 es entre un 60% y un 90% (1,6-1,9x) mejor que el de H100. Como resultado, H200 se puede implementar en varios tipos de centros de datos, incluidos los locales, la nube, la nube híbrida y el lado del borde.
Al mismo tiempo, en comparación con la CPU (unidad central de procesamiento), el H200 logra una velocidad de resultados "aterradora" bajo HPC: ** 110 veces más rápido. **
** Para el mercado chino, en la mañana del 14 de noviembre, Nvidia confirmó a Titanium Media App en un correo electrónico que el H200 no podrá venderse en el mercado chino sin obtener una licencia de exportación. **
Se entiende que NVIDIA H200 comenzará a suministrarse a clientes globales y proveedores de servicios en la nube en el segundo trimestre de 2024, y se espera que compita con el chip de IA MI300X de AMD.
En concreto, el nuevo H200 tiene un excelente rendimiento en el entrenamiento de modelos ultragrandes y el rendimiento de inferencia gracias a tecnologías de software y hardware como la arquitectura NVIDIA Hopper y el software dedicado TensorRT-LLM. En comparación con el H100, el H200 casi duplica la velocidad de inferencia del modelo grande de código abierto Llama 2 (70 mil millones de parámetros), y se espera que las futuras actualizaciones de software aporten liderazgo y mejoras adicionales en el rendimiento al H200.
Según NVIDIA, el H200 puede alcanzar 989 billones de operaciones de punto flotante en TF32 Tensor Cores y 3.958 TFLOPS (3.958 billones de operaciones de punto flotante por segundo) en INT8 Tensor Cores.
No solo eso, la plataforma de servidor acelerado HGX H200 construida sobre el chip H200 tiene el soporte de interconexión de alta velocidad de NVLink y NVSwitch. Ocho HGX H200 proporcionan más de 32 petaflops (1000 billones de operaciones de punto flotante por segundo) de computación de aprendizaje profundo FP8 y 1,1 TB de memoria agregada de gran ancho de banda para admitir un mayor rendimiento para cargas de trabajo como la investigación científica y la IA, incluido el entrenamiento y la inferencia de modelos grandes con más de 175 mil millones de parámetros.
Según el análisis de Anandtech, de acuerdo con las especificaciones actuales, el rendimiento de computación acelerado de H200 se puede entender como la mitad del superchip GH200 Hopper lanzado hace medio año, pero la diferencia es que HBM3 se reemplaza por HBM3e, el ancho de banda de la memoria aumenta de 80 GB a 141 GB y la velocidad aumenta a 4,8 TB / s, lo que permite a NVIDIA aumentar la velocidad de procesamiento y la capacidad de ancho de banda del contenido. Según el ancho de banda total y el ancho del bus de memoria, la frecuencia de memoria del H200 aumenta en aproximadamente un 25% en comparación con el H100.
Titanium Media App confirmó de Nvidia que el nuevo H200 no se venderá a China sin una licencia de exportación, porque los parámetros del H200 son más altos que la línea roja de rendimiento anunciada por el Departamento de Comercio de EE. UU. el 17 de octubre: el rendimiento de procesamiento total del circuito integrado (utilizado en el centro de datos) de múltiples unidades de procesamiento digital es 2400-4800, y la "densidad de rendimiento" es superior a 1,6 y menor que 5,92.
A principios de noviembre, Nvidia ha anunciado a los distribuidores la información del producto de la "Edición especial de China" HGX H20, L20 PCle y L2 PCle, que están destinadas a escenarios de entrenamiento, inferencia y borde, y se anunciarán el 16 de noviembre como muy pronto, y la producción en masa será de diciembre de 2023 a enero de 2024. Entre ellos, HGX H20 está limitado en términos de ancho de banda y velocidad de cómputo, y la potencia de cómputo integral teórica es aproximadamente un 80% menor que la de NVIDIA H100 y, por supuesto, será más "reducible" que H200.
Cabe mencionar que, además del H200, basado en los chips de IA basados en las arquitecturas Grace, Hopper y Grace Hopper que ahora vende NVIDIA, la compañía lanzó hoy una nueva plataforma con cuatro chips de IA Grace Hopper GH200, llamada NVIDIA Quad GH200.
La Quad GH200 proporciona 288 núcleos ArmCPU y un total de 2,3 TB de memoria de alta velocidad, y superpone cuatro GH200 para conectarlos con 8 chips y 4 topologías NVLink para formar una potente plataforma informática impulsada por CPU+GPU, que puede instalarse en sistemas de infraestructura para proporcionar una potencia informática más fácil de usar y más potente.
Según Raymond James, una institución financiera estadounidense, el chip H100 cuesta sólo 3.320 dólares, pero el precio al por mayor de Nvidia para sus clientes sigue siendo de 25.000 a 40.000 dólares. Esto dio como resultado márgenes de beneficio de H100 o hasta el 1000%, lo que lo convierte en el chip más rentable de la historia.
Según el sitio web oficial de NVIDIA, la NVIDIA H200 impulsará más de 40 supercomputadoras de IA. Empresas como CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud y otras serán los primeros proveedores de servicios en la nube en implementar instancias basadas en H200. Al mismo tiempo, integradores de sistemas como Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., también utilizarán el H200 para actualizar sus sistemas existentes.
Al mismo tiempo, Nvidia también anunció una asociación con Jupiter para proporcionar una nueva supercomputadora basada en 24.000 (23.762) GH200, con un consumo de energía tan bajo como 18,2 megavatios, que se instalará en las instalaciones del Centro de Investigación Jülich en Alemania para la investigación básica en los campos de la ciencia de los materiales, el descubrimiento de fármacos, la ingeniería industrial y la computación cuántica. El sistema de supercomputación se entregará e instalará el próximo año.