Nvidia Lao Huang explodiu novamente com uma nova geração de chips GPUH200.
O site oficial disse sem cerimônia: "A GPU mais poderosa do mundo, construída para IA e supercomputação".
Ouviu dizer que todas as empresas de IA reclamam de memória insuficiente?
Desta vez, a grande memória de 141GB é diretamente aumentada em 76% em comparação com os 80GB de H100.
Como a primeira GPU a ser equipada com memória HBM3e, a largura de banda da memória também foi aumentada de 3,35 TB/s para 4,8 TB/s, um aumento de 43%.
O que isso significa para a IA?
Com o suporte do HBM3e, o H200 quase dobra o desempenho de inferência do Llama-70B, e o GPT3-175B também pode ser melhorado em 60%.
Aqui está outra boa notícia para as empresas de IA:
O H200 é totalmente compatível com o H100, o que significa que adicionar o H200 a um sistema existente não requer quaisquer ajustes.
O chip de IA mais forte só pode ser usado por meio ano
Exceto pela atualização de memória, o H200 é basicamente o mesmo que o H100, que também pertence à arquitetura Hopper.
O processo de 4nm da TSMC, 80 bilhões de transistores, NVLink 4 900GB por segundo de interconexão de alta velocidade, todos foram completamente herdados.
Mesmo o pico de poder de computação permanece o mesmo, e os dados ainda estão familiarizados com FP64 Vetor 33.5TFlops e FP64 Tensor 66.9TFlops.
Quanto ao porquê de a memória ser de 141GB, a AnandTech analisaA própria memória HBM3e tem uma capacidade física de 144GB, que é composta por 6 pilhas de 24GB.
Por razões de produção em massa, a Nvidia** retém uma pequena parte como redundância** para melhorar o rendimento.
Em comparação com o A100 lançado em 2020, o H200 é 18 vezes mais rápido do que a inferência do GPT-3 175B apenas atualizando a memória.
Espera-se que o H200 seja lançado no segundo trimestre de 2024, mas o nome H200, o chip de IA mais forte, só pode ser possuído por meio ano.
Também no quarto trimestre de 2024, o B100 baseado na arquitetura Blackwell de próxima geração também estará disponível, o desempenho exato ainda não é conhecido e o gráfico sugere um crescimento exponencial.
Vários centros de supercomputação implantarão nós de supercomputação GH200
Além do chip H200 em si, a Nvidia também lançou uma série de produtos de cluster compostos por ele desta vez.
A primeira é a plataforma HGX H200, que é equipada com 8 H200 na placa transportadora HGX, com uma memória de vídeo total de 1,1 TB e uma velocidade de operação de ponto flutuante de 8 bits de mais de 32P(10^15) FLOPS, o que é consistente com os dados H100.
A HGX usa as tecnologias de interconexão de alta velocidade NVLink e NVSwitch da NVIDIA para executar uma ampla gama de cargas de trabalho de aplicativos com desempenho máximo, incluindo treinamento e inferência para modelos grandes de 175B.
A natureza autônoma da placa HGX permite que ela seja conectada a um sistema host adequado, permitindo que os usuários personalizem a parte não-GPU de seu servidor high-end.
O próximo é o nó de supercomputação Quad GH200 – consiste em 4 GH200s, e o GH200 é uma combinação de H200 e CPU Grace.
O nó Quad GH200 oferecerá 288 núcleos de CPU Arm e um total de 2,3TB de memória de alta velocidade.
Através de uma combinação de um grande número de nós de supercomputação, o H200 acabará por formar um supercomputador massivo, e alguns centros de supercomputação anunciaram que estão a integrar o sistema GH200 nos seus equipamentos de supercomputação.
De acordo com o anúncio oficial da NVIDIA, o Centro de Supercomputação alemão Ulich usará o superchip GH200 no supercomputador Júpiter, que contém 24.000 nós GH200 e uma potência de 18,2 megawatts, equivalente a mais de 18.000 quilowatts de eletricidade por hora.
O sistema está programado para ser instalado em 2024 e, uma vez online, Júpiter será o maior supercomputador baseado em Hopper já anunciado.
Júpiter terá aproximadamente 93 (10^18) de FLOPS de poder de computação de IA, 1E de FLOPS de taxa de computação FP64, 1,2 PB de largura de banda por segundo, 10,9 PB de LPDDR5X e outros 2,2 PB de memória HBM3.
Além de Júpiter, centros de supercomputação como o Japan Joint Center for Advanced High Performance Computing, o Texas Advanced Computing Center e o National Supercomputing Application Center da Universidade de Illinois em Urbana-Champaign também anunciaram que usarão o GH200 para atualizar seus equipamentos de supercomputação.
Então, quais são as primeiras maneiras para os profissionais de IA experimentarem o GH200?
A Oracle e a CoreWeave também anunciaram planos para oferecer instâncias GH200 no próximo ano, e Amazon, Google Cloud e Microsoft Azure também serão os primeiros provedores de serviços de nuvem a implantar instâncias GH200.
A própria Nvidia também fornecerá acesso ao GH200 através de sua plataforma NVIDIA LaunchPad.
Em termos de fabricantes de hardware, ASUS, GIGABYTE e outros fabricantes planejam começar a vender equipamentos de servidor equipados com GH200 até o final deste ano.
Links de referência:
[1]
[2]
[3]
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
O chip de treinamento modelo mais poderoso H200 é lançado!141G grande memória, inferência AI é aumentada em até 90%, e também é compatível com H100
Fonte do artigo: qubits
Nvidia Lao Huang explodiu novamente com uma nova geração de chips GPUH200.
O site oficial disse sem cerimônia: "A GPU mais poderosa do mundo, construída para IA e supercomputação".
Desta vez, a grande memória de 141GB é diretamente aumentada em 76% em comparação com os 80GB de H100.
Como a primeira GPU a ser equipada com memória HBM3e, a largura de banda da memória também foi aumentada de 3,35 TB/s para 4,8 TB/s, um aumento de 43%.
Com o suporte do HBM3e, o H200 quase dobra o desempenho de inferência do Llama-70B, e o GPT3-175B também pode ser melhorado em 60%.
O H200 é totalmente compatível com o H100, o que significa que adicionar o H200 a um sistema existente não requer quaisquer ajustes.
O chip de IA mais forte só pode ser usado por meio ano
Exceto pela atualização de memória, o H200 é basicamente o mesmo que o H100, que também pertence à arquitetura Hopper.
O processo de 4nm da TSMC, 80 bilhões de transistores, NVLink 4 900GB por segundo de interconexão de alta velocidade, todos foram completamente herdados.
Mesmo o pico de poder de computação permanece o mesmo, e os dados ainda estão familiarizados com FP64 Vetor 33.5TFlops e FP64 Tensor 66.9TFlops.
Por razões de produção em massa, a Nvidia** retém uma pequena parte como redundância** para melhorar o rendimento.
Em comparação com o A100 lançado em 2020, o H200 é 18 vezes mais rápido do que a inferência do GPT-3 175B apenas atualizando a memória.
Espera-se que o H200 seja lançado no segundo trimestre de 2024, mas o nome H200, o chip de IA mais forte, só pode ser possuído por meio ano.
Também no quarto trimestre de 2024, o B100 baseado na arquitetura Blackwell de próxima geração também estará disponível, o desempenho exato ainda não é conhecido e o gráfico sugere um crescimento exponencial.
Vários centros de supercomputação implantarão nós de supercomputação GH200
Além do chip H200 em si, a Nvidia também lançou uma série de produtos de cluster compostos por ele desta vez.
A primeira é a plataforma HGX H200, que é equipada com 8 H200 na placa transportadora HGX, com uma memória de vídeo total de 1,1 TB e uma velocidade de operação de ponto flutuante de 8 bits de mais de 32P(10^15) FLOPS, o que é consistente com os dados H100.
A HGX usa as tecnologias de interconexão de alta velocidade NVLink e NVSwitch da NVIDIA para executar uma ampla gama de cargas de trabalho de aplicativos com desempenho máximo, incluindo treinamento e inferência para modelos grandes de 175B.
A natureza autônoma da placa HGX permite que ela seja conectada a um sistema host adequado, permitindo que os usuários personalizem a parte não-GPU de seu servidor high-end.
Através de uma combinação de um grande número de nós de supercomputação, o H200 acabará por formar um supercomputador massivo, e alguns centros de supercomputação anunciaram que estão a integrar o sistema GH200 nos seus equipamentos de supercomputação.
De acordo com o anúncio oficial da NVIDIA, o Centro de Supercomputação alemão Ulich usará o superchip GH200 no supercomputador Júpiter, que contém 24.000 nós GH200 e uma potência de 18,2 megawatts, equivalente a mais de 18.000 quilowatts de eletricidade por hora.
O sistema está programado para ser instalado em 2024 e, uma vez online, Júpiter será o maior supercomputador baseado em Hopper já anunciado.
Júpiter terá aproximadamente 93 (10^18) de FLOPS de poder de computação de IA, 1E de FLOPS de taxa de computação FP64, 1,2 PB de largura de banda por segundo, 10,9 PB de LPDDR5X e outros 2,2 PB de memória HBM3.
Então, quais são as primeiras maneiras para os profissionais de IA experimentarem o GH200?
A Oracle e a CoreWeave também anunciaram planos para oferecer instâncias GH200 no próximo ano, e Amazon, Google Cloud e Microsoft Azure também serão os primeiros provedores de serviços de nuvem a implantar instâncias GH200.
A própria Nvidia também fornecerá acesso ao GH200 através de sua plataforma NVIDIA LaunchPad.
Em termos de fabricantes de hardware, ASUS, GIGABYTE e outros fabricantes planejam começar a vender equipamentos de servidor equipados com GH200 até o final deste ano.
Links de referência:
[1]
[2]
[3]