O chip de IA mais poderoso do mundo está chegando!O desempenho H200 de próxima geração da Nvidia subiu 90%, e foi confirmado que ele não será vendido na China
Faz apenas mais de meio ano desde o lançamento do novo produto NVIDIA DGX GH200, e hoje, Huang Jenxun mais uma vez detonou o público no meio da noite.
Titanium Media App aprendeuNa noite de 13 de novembro, hora de Pequim, a gigante americana de chips NVIDIA (NVIDIA) lançou o chip de IA mais poderoso do mundo - NVIDIA H200 Tensor Core GPU (unidade de processamento gráfico).
O novo NVIDIA H200 é uma atualização para o H100 atual e é baseado na arquitetura de superchip NVIDIA Hopper com o mais alto desempenho e recursos avançados de tecnologia de memória para treinamento e inferência de modelos em larga escala em hiperescala, aprimorando cargas de trabalho de IA generativa e computação de alto desempenho (HPC).
A H200 é a primeira GPU a oferecer 4,8 TB por segundo e 141 GB de memória HBM3e. Em comparação com o H100, o H200 quase dobra a capacidade e aumenta a largura de banda em 2,4x. Quando usado para inferência ou geração de perguntas para modelos grandes como Llama2 e GPT-3, o desempenho do H200 é 60% a 90% (1,6-1,9x) melhor do que o H100. Como resultado, o H200 pode ser implantado em vários tipos de data centers, incluindo on-premises, cloud, hybrid cloud e edge-side.
Ao mesmo tempo, em comparação com a CPU (unidade central de processamento), o H200 atinge uma velocidade "aterrorizante" de resultados em HPC: ** 110 vezes mais rápido. **
**Para o mercado chinês, na manhã de 14 de novembro, a Nvidia confirmou ao Titanium Media App em um e-mail que o H200 não poderá ser vendido no mercado chinês sem obter uma licença de exportação. **
Entende-se que o NVIDIA H200 começará a ser fornecido a clientes globais e provedores de serviços em nuvem no segundo trimestre de 2024, e espera-se que compita com o chip de IA MI300X da AMD.
Processador NVIDIA HGX H200 (fonte: site oficial da Nvidia)
Especificamente, o novo H200 tem excelente desempenho em treinamento de modelos ultragrandes e desempenho de inferência graças a tecnologias de software e hardware, como a arquitetura NVIDIA Hopper e o software dedicado TensorRT-LLM. Em comparação com o H100, o H200 quase dobra a velocidade de inferência do modelo grande de código aberto Llama 2 (70 bilhões de parâmetros), e espera-se que futuras atualizações de software tragam liderança de desempenho adicional e melhorias para o H200.
De acordo com a NVIDIA, o H200 pode atingir 989 trilhões de operações de ponto flutuante em TF32 Tensor Cores e 3.958 TFLOPS (3,958 trilhões de operações de ponto flutuante por segundo) em INT8 Tensor Cores.
Não só isso, a plataforma de servidor acelerado HGX H200 construída no chip H200 tem o suporte de interconexão de alta velocidade de NVLink e NVSwitch. Oito HGX H200s fornecem mais de 32 petaflops (1000 trilhões de operações de ponto flutuante por segundo) de computação de aprendizado profundo FP8 e 1,1 TB de memória agregada de alta largura de banda para suportar maior desempenho para cargas de trabalho como pesquisa científica e IA, incluindo treinamento de grandes modelos e inferência com mais de 175 bilhões de parâmetros.
Comparação das especificações de desempenho do NVIDIA H200, H100 e A100 (Fonte: anandtech)
De acordo com a análise da Anandtech, de acordo com as especificações atuais, o desempenho de computação acelerada do H200 pode ser entendido como metade do superchip GH200 Hopper lançado há meio ano, mas a diferença é que o HBM3 é substituído pelo HBM3e, a largura de banda da memória é aumentada de 80GB para 141GB e a velocidade é aumentada para 4,8TB/s, o que permite à NVIDIA aumentar a velocidade de processamento e a capacidade de largura de banda do conteúdo. Com base na largura de banda total e na largura do barramento de memória, a frequência de memória do H200 aumenta em cerca de 25% em comparação com o H100.
A Titanium Media App confirmou da Nvidia que o novo H200 não será vendido para a China sem uma licença de exportação, porque os parâmetros do H200 são superiores à linha vermelha de desempenho anunciada pelo Departamento de Comércio dos EUA em 17 de outubro: o desempenho total de processamento do circuito integrado (usado no data center) de várias unidades de processamento digital é de 2400-4800, e a "densidade de desempenho" é maior que 1,6 e menor que 5,92.
No início de novembro, a Nvidia anunciou aos revendedores as informações de produtos da "China Special Edition" HGX H20, L20 PCle e L2 PCle, que visam cenários de treinamento, inferência e borda, e serão anunciados em 16 de novembro, no mínimo, e a produção em massa será de dezembro de 2023 a janeiro de 2024. Entre eles, HGX H20 é limitado em termos de largura de banda e velocidade de computação, e o poder de computação teórico abrangente é cerca de 80% menor do que o da NVIDIA H100, e, claro, será mais "encolhendo" do que H200.
Vale ressaltar que, além do H200, baseado nos chips de IA baseados nas arquiteturas Grace, Hopper e Grace Hopper que a NVIDIA agora vende, a empresa lançou hoje uma nova plataforma com quatro chips de IA Grace Hopper GH200, chamada NVIDIA Quad GH200.
O Quad GH200 fornece 288 núcleos ArmCPU e um total de 2,3TB de memória de alta velocidade, e sobrepõe quatro GH200s para conectá-los com 8 chips e 4 topologias NVLink para formar uma poderosa plataforma de computação alimentada por CPU + GPU, que pode ser instalada em sistemas de infraestrutura para fornecer mais fácil de usar e poder de computação mais forte.
De acordo com Raymond James, uma instituição financeira dos EUA, o chip H100 custa apenas US $ 3.320, mas o preço da Nvidia para seus clientes ainda é tão alto quanto US $ 25.000 a US $ 40.000. Isso resultou em margens de lucro H100 ou tão altas quanto 1000%, tornando-o o chip mais lucrativo de todos os tempos.
De acordo com o site oficial da NVIDIA, o NVIDIA H200 alimentará mais de 40 supercomputadores de IA. Empresas como CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud e outras serão os primeiros provedores de serviços de nuvem a implantar instâncias baseadas em H200. Ao mesmo tempo, integradores de sistemas como Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., também usarão o H200 para atualizar seus sistemas existentes.
Ao mesmo tempo, a Nvidia também anunciou uma parceria com a Jupiter para fornecer um novo supercomputador baseado em 24.000 (23.762) GH200s, com consumo de energia tão baixo quanto 18,2 megawatts, que será instalado nas instalações do Centro de Pesquisa Jülich, na Alemanha, para pesquisa básica nas áreas de ciência dos materiais, descoberta de medicamentos, engenharia industrial e computação quântica. O sistema de supercomputação será entregue e instalado no próximo ano.
Além disso, a Nvidia também deu a entender em seu site oficial que o chip Nvidia B100 AI anunciado no próximo ano terá uma atualização de desempenho maior. "A arquitetura NVIDIA Hopper oferece um salto sem precedentes no desempenho em relação ao passado. "
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
O chip de IA mais poderoso do mundo está chegando!O desempenho H200 de próxima geração da Nvidia subiu 90%, e foi confirmado que ele não será vendido na China
Fonte original: Titanium Media
Autor: Lin Zhijia
Faz apenas mais de meio ano desde o lançamento do novo produto NVIDIA DGX GH200, e hoje, Huang Jenxun mais uma vez detonou o público no meio da noite.
Titanium Media App aprendeuNa noite de 13 de novembro, hora de Pequim, a gigante americana de chips NVIDIA (NVIDIA) lançou o chip de IA mais poderoso do mundo - NVIDIA H200 Tensor Core GPU (unidade de processamento gráfico).
O novo NVIDIA H200 é uma atualização para o H100 atual e é baseado na arquitetura de superchip NVIDIA Hopper com o mais alto desempenho e recursos avançados de tecnologia de memória para treinamento e inferência de modelos em larga escala em hiperescala, aprimorando cargas de trabalho de IA generativa e computação de alto desempenho (HPC).
A H200 é a primeira GPU a oferecer 4,8 TB por segundo e 141 GB de memória HBM3e. Em comparação com o H100, o H200 quase dobra a capacidade e aumenta a largura de banda em 2,4x. Quando usado para inferência ou geração de perguntas para modelos grandes como Llama2 e GPT-3, o desempenho do H200 é 60% a 90% (1,6-1,9x) melhor do que o H100. Como resultado, o H200 pode ser implantado em vários tipos de data centers, incluindo on-premises, cloud, hybrid cloud e edge-side.
Ao mesmo tempo, em comparação com a CPU (unidade central de processamento), o H200 atinge uma velocidade "aterrorizante" de resultados em HPC: ** 110 vezes mais rápido. **
**Para o mercado chinês, na manhã de 14 de novembro, a Nvidia confirmou ao Titanium Media App em um e-mail que o H200 não poderá ser vendido no mercado chinês sem obter uma licença de exportação. **
Entende-se que o NVIDIA H200 começará a ser fornecido a clientes globais e provedores de serviços em nuvem no segundo trimestre de 2024, e espera-se que compita com o chip de IA MI300X da AMD.
Especificamente, o novo H200 tem excelente desempenho em treinamento de modelos ultragrandes e desempenho de inferência graças a tecnologias de software e hardware, como a arquitetura NVIDIA Hopper e o software dedicado TensorRT-LLM. Em comparação com o H100, o H200 quase dobra a velocidade de inferência do modelo grande de código aberto Llama 2 (70 bilhões de parâmetros), e espera-se que futuras atualizações de software tragam liderança de desempenho adicional e melhorias para o H200.
De acordo com a NVIDIA, o H200 pode atingir 989 trilhões de operações de ponto flutuante em TF32 Tensor Cores e 3.958 TFLOPS (3,958 trilhões de operações de ponto flutuante por segundo) em INT8 Tensor Cores.
Não só isso, a plataforma de servidor acelerado HGX H200 construída no chip H200 tem o suporte de interconexão de alta velocidade de NVLink e NVSwitch. Oito HGX H200s fornecem mais de 32 petaflops (1000 trilhões de operações de ponto flutuante por segundo) de computação de aprendizado profundo FP8 e 1,1 TB de memória agregada de alta largura de banda para suportar maior desempenho para cargas de trabalho como pesquisa científica e IA, incluindo treinamento de grandes modelos e inferência com mais de 175 bilhões de parâmetros.
De acordo com a análise da Anandtech, de acordo com as especificações atuais, o desempenho de computação acelerada do H200 pode ser entendido como metade do superchip GH200 Hopper lançado há meio ano, mas a diferença é que o HBM3 é substituído pelo HBM3e, a largura de banda da memória é aumentada de 80GB para 141GB e a velocidade é aumentada para 4,8TB/s, o que permite à NVIDIA aumentar a velocidade de processamento e a capacidade de largura de banda do conteúdo. Com base na largura de banda total e na largura do barramento de memória, a frequência de memória do H200 aumenta em cerca de 25% em comparação com o H100.
A Titanium Media App confirmou da Nvidia que o novo H200 não será vendido para a China sem uma licença de exportação, porque os parâmetros do H200 são superiores à linha vermelha de desempenho anunciada pelo Departamento de Comércio dos EUA em 17 de outubro: o desempenho total de processamento do circuito integrado (usado no data center) de várias unidades de processamento digital é de 2400-4800, e a "densidade de desempenho" é maior que 1,6 e menor que 5,92.
No início de novembro, a Nvidia anunciou aos revendedores as informações de produtos da "China Special Edition" HGX H20, L20 PCle e L2 PCle, que visam cenários de treinamento, inferência e borda, e serão anunciados em 16 de novembro, no mínimo, e a produção em massa será de dezembro de 2023 a janeiro de 2024. Entre eles, HGX H20 é limitado em termos de largura de banda e velocidade de computação, e o poder de computação teórico abrangente é cerca de 80% menor do que o da NVIDIA H100, e, claro, será mais "encolhendo" do que H200.
Vale ressaltar que, além do H200, baseado nos chips de IA baseados nas arquiteturas Grace, Hopper e Grace Hopper que a NVIDIA agora vende, a empresa lançou hoje uma nova plataforma com quatro chips de IA Grace Hopper GH200, chamada NVIDIA Quad GH200.
O Quad GH200 fornece 288 núcleos ArmCPU e um total de 2,3TB de memória de alta velocidade, e sobrepõe quatro GH200s para conectá-los com 8 chips e 4 topologias NVLink para formar uma poderosa plataforma de computação alimentada por CPU + GPU, que pode ser instalada em sistemas de infraestrutura para fornecer mais fácil de usar e poder de computação mais forte.
De acordo com Raymond James, uma instituição financeira dos EUA, o chip H100 custa apenas US $ 3.320, mas o preço da Nvidia para seus clientes ainda é tão alto quanto US $ 25.000 a US $ 40.000. Isso resultou em margens de lucro H100 ou tão altas quanto 1000%, tornando-o o chip mais lucrativo de todos os tempos.
De acordo com o site oficial da NVIDIA, o NVIDIA H200 alimentará mais de 40 supercomputadores de IA. Empresas como CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud e outras serão os primeiros provedores de serviços de nuvem a implantar instâncias baseadas em H200. Ao mesmo tempo, integradores de sistemas como Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, etc., também usarão o H200 para atualizar seus sistemas existentes.
Ao mesmo tempo, a Nvidia também anunciou uma parceria com a Jupiter para fornecer um novo supercomputador baseado em 24.000 (23.762) GH200s, com consumo de energia tão baixo quanto 18,2 megawatts, que será instalado nas instalações do Centro de Pesquisa Jülich, na Alemanha, para pesquisa básica nas áreas de ciência dos materiais, descoberta de medicamentos, engenharia industrial e computação quântica. O sistema de supercomputação será entregue e instalado no próximo ano.