5 vezes maior que o ChatGPT! A Intel anunciou oficialmente um modelo grande de AI de 1 trilhão de parâmetros, que está planejado para ser concluído em 2024
Vendo que o ChatGPT continuou a explodir por vários meses, durante os quais gigantes da tecnologia como Microsoft, Google e Meta entraram no jogo um após o outro, agora a Intel finalmente anunciou oficialmente sua "concorrência".
No fim de semana, na Conferência Internacional de Supercomputação (ISC) High Performance Conference (HPC) em Hamburgo, Alemanha, a Intel não apenas demonstrou sua liderança em cargas de trabalho de HPC e IA, mas também anunciou um plano surpreendente: o Tribute National Laboratory se uniu para desenvolver um modelo AI generativo Aurora genAI com o supercomputador Aurora, e o número de parâmetros chegará a 1 trilhão!
Esteja ciente de que o tamanho do parâmetro do ChatGPT é de apenas 175 bilhões, ou seja, o modelo Aurora genAI será pelo menos 5 vezes maior que ele.
(imagem do site oficial da Intel)
Modelo AI será alimentado pela supercomputação Aurora
Entende-se que o modelo Intel Aurora genAI será baseado em dois frameworks: o Megatron da NVIDIA e o DeepSpeed da Microsoft.
▶ Megatron: Uma arquitetura para treinamento distribuído de modelos de linguagem em grande escala, otimizada especificamente para o Transformer, não apenas suporta o paralelismo de dados no treinamento distribuído tradicional, mas também suporta o paralelismo de modelo.
▶ DeepSpeed: Foco na otimização do treinamento de modelos de aprendizado profundo em grande escala. Ao melhorar a escala, velocidade, custo e disponibilidade, libera a capacidade de treinar modelos de 100 bilhões de parâmetros e promove muito o treinamento de modelos em grande escala.
Além dessas duas estruturas, o modelo Aurora genAI também será alimentado pelo supercomputador Aurora - o supercomputador que a Intel projetou para o Argonne National Laboratory, que finalmente tomou forma após vários atrasos.
De acordo com as informações públicas atuais, o supercomputador Aurora é alimentado pelos chips da série Intel Xeon CPU Max e Xeon GPU Max, com um total de 10.624 nós, 63.744 GPUs Ponte Vecchio, 21.248 CPUs Sapphire Rapids Xeon e 1.024 Object Storage assíncrono distribuído (DAOS). ) nós de armazenamento e 10,9 PB de memória persistente DDR5 Optane.
Além disso, a Intel também revelou os primeiros resultados de desempenho do supercomputador Aurora: "A supercomputação Aurora tem desempenho líder em cargas de trabalho científicas e de engenharia, 2 vezes o desempenho da GPU AMD MI250 e aplicativos de mecânica quântica QMCPACK aprimorados em comparação com o H100." 20% e dimensionamento quase linear para centenas de nós."
Vale a pena mencionar que, em comparação com a meta original de 1 Exaflop, espera-se que quando o supercomputador Aurora for lançado este ano, ele fornecerá desempenho de computação de ponto flutuante de precisão dupla de mais de 2 Exaflops - mais do que o Frontier, que classificou-se repetidamente em primeiro lugar na lista global de supercomputação Top 500. Os supercomputadores (1.194 Exaflop/s) são ainda maiores.
Modelo de IA generativa com foco na ciência
Com a poderosa base de supercomputação Aurora, está destinado que a escala do modelo Aurora genAI não seja pequena. De acordo com a apresentação oficial da Intel, o Argonne National Laboratory está liderando uma colaboração internacional para o modelo Aurora genAI.
"Este projeto visa aproveitar todo o potencial do supercomputador Aurora para gerar um recurso que pode ser usado em ciência a jusante nos laboratórios do DOE e em colaboração com outras agências", disse Rick Stevens, vice-diretor do laboratório Argonne.
No geral, o Aurora genAI é um modelo de IA generativa com foco na ciência, por isso será treinado em texto genérico, código, texto científico e dados científicos de biologia, química, ciência dos materiais, física, medicina, etc.
Os modelos de IA resultantes, com até 1 trilhão de parâmetros, variando desde o design de moléculas e materiais até o conhecimento combinado de milhões de fontes, podem ser usados em uma variedade de aplicações científicas: biologia de sistemas, pesquisa sobre câncer, ciência climática, pesquisa cosmológica , química de polímeros e materiais, etc. Além da ciência, os modelos Aurora genAI podem ser usados em outros campos, como modelagem financeira, processamento de linguagem natural, tradução automática, reconhecimento de imagem e reconhecimento de fala, entre outros.
Planejado para ser concluído em 2024
Além disso, mais informações sobre o modelo Aurora genAI da Intel ainda não foram divulgadas, mas de acordo com relatos da mídia estrangeira, a Intel planeja desenvolver e concluir o modelo Aurora genAI em 2024 - se tudo correr bem, talvez não demoremos muito.
O lançamento desta notícia atraiu a atenção de muitas pessoas, e a entrada da Intel no modelo AI anunciou o início de 1 trilhão de parâmetros, o que deixa as pessoas ansiosas pelo desenvolvimento futuro de produtos concorrentes, como o GPT-4:
▶ "O parâmetro trilhão deve ser um limite especial, mas você também pode ser cético e dizer que é apenas um grande número inteiro para se preocupar. Não há dúvida de que, se esse modelo for semelhante ao GPT-4, isso adicionará um ponto de dados ... Mas com as empresas anunciando isso e aquilo, me pergunto se atingiremos o pico em junho.
▶ "As pessoas estão construindo novos sistemas com o H100, e já existem GPUs AI significativamente melhores por aí e, se isso continuar, a NVIDIA pode precisar anunciar uma nova placa mais cedo para ficar à frente."
▶ "Acho que o GPT-4 não continuará a manter o SOTA (estado da arte, refere-se ao melhor método ou modelo em uma tarefa específica) em muitos testes de benchmark em breve, e talvez também esteja no mundo no futuro. supercomputador mais rápido para treinamento. Para referência, o supercomputador OpenAI tem cerca de 10.000 GPUs, enquanto o Aurora tem 63.744 GPUs."
Link de referência:
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
5 vezes maior que o ChatGPT! A Intel anunciou oficialmente um modelo grande de AI de 1 trilhão de parâmetros, que está planejado para ser concluído em 2024
Organizar | Zheng Liyuan
Listagem | CSDN (ID: CSDNnews)
Vendo que o ChatGPT continuou a explodir por vários meses, durante os quais gigantes da tecnologia como Microsoft, Google e Meta entraram no jogo um após o outro, agora a Intel finalmente anunciou oficialmente sua "concorrência".
No fim de semana, na Conferência Internacional de Supercomputação (ISC) High Performance Conference (HPC) em Hamburgo, Alemanha, a Intel não apenas demonstrou sua liderança em cargas de trabalho de HPC e IA, mas também anunciou um plano surpreendente: o Tribute National Laboratory se uniu para desenvolver um modelo AI generativo Aurora genAI com o supercomputador Aurora, e o número de parâmetros chegará a 1 trilhão!
Esteja ciente de que o tamanho do parâmetro do ChatGPT é de apenas 175 bilhões, ou seja, o modelo Aurora genAI será pelo menos 5 vezes maior que ele.
Modelo AI será alimentado pela supercomputação Aurora
Entende-se que o modelo Intel Aurora genAI será baseado em dois frameworks: o Megatron da NVIDIA e o DeepSpeed da Microsoft.
▶ Megatron: Uma arquitetura para treinamento distribuído de modelos de linguagem em grande escala, otimizada especificamente para o Transformer, não apenas suporta o paralelismo de dados no treinamento distribuído tradicional, mas também suporta o paralelismo de modelo.
▶ DeepSpeed: Foco na otimização do treinamento de modelos de aprendizado profundo em grande escala. Ao melhorar a escala, velocidade, custo e disponibilidade, libera a capacidade de treinar modelos de 100 bilhões de parâmetros e promove muito o treinamento de modelos em grande escala.
Além dessas duas estruturas, o modelo Aurora genAI também será alimentado pelo supercomputador Aurora - o supercomputador que a Intel projetou para o Argonne National Laboratory, que finalmente tomou forma após vários atrasos.
De acordo com as informações públicas atuais, o supercomputador Aurora é alimentado pelos chips da série Intel Xeon CPU Max e Xeon GPU Max, com um total de 10.624 nós, 63.744 GPUs Ponte Vecchio, 21.248 CPUs Sapphire Rapids Xeon e 1.024 Object Storage assíncrono distribuído (DAOS). ) nós de armazenamento e 10,9 PB de memória persistente DDR5 Optane.
Vale a pena mencionar que, em comparação com a meta original de 1 Exaflop, espera-se que quando o supercomputador Aurora for lançado este ano, ele fornecerá desempenho de computação de ponto flutuante de precisão dupla de mais de 2 Exaflops - mais do que o Frontier, que classificou-se repetidamente em primeiro lugar na lista global de supercomputação Top 500. Os supercomputadores (1.194 Exaflop/s) são ainda maiores.
Modelo de IA generativa com foco na ciência
Com a poderosa base de supercomputação Aurora, está destinado que a escala do modelo Aurora genAI não seja pequena. De acordo com a apresentação oficial da Intel, o Argonne National Laboratory está liderando uma colaboração internacional para o modelo Aurora genAI.
"Este projeto visa aproveitar todo o potencial do supercomputador Aurora para gerar um recurso que pode ser usado em ciência a jusante nos laboratórios do DOE e em colaboração com outras agências", disse Rick Stevens, vice-diretor do laboratório Argonne.
No geral, o Aurora genAI é um modelo de IA generativa com foco na ciência, por isso será treinado em texto genérico, código, texto científico e dados científicos de biologia, química, ciência dos materiais, física, medicina, etc.
Os modelos de IA resultantes, com até 1 trilhão de parâmetros, variando desde o design de moléculas e materiais até o conhecimento combinado de milhões de fontes, podem ser usados em uma variedade de aplicações científicas: biologia de sistemas, pesquisa sobre câncer, ciência climática, pesquisa cosmológica , química de polímeros e materiais, etc. Além da ciência, os modelos Aurora genAI podem ser usados em outros campos, como modelagem financeira, processamento de linguagem natural, tradução automática, reconhecimento de imagem e reconhecimento de fala, entre outros.
Planejado para ser concluído em 2024
Além disso, mais informações sobre o modelo Aurora genAI da Intel ainda não foram divulgadas, mas de acordo com relatos da mídia estrangeira, a Intel planeja desenvolver e concluir o modelo Aurora genAI em 2024 - se tudo correr bem, talvez não demoremos muito.
O lançamento desta notícia atraiu a atenção de muitas pessoas, e a entrada da Intel no modelo AI anunciou o início de 1 trilhão de parâmetros, o que deixa as pessoas ansiosas pelo desenvolvimento futuro de produtos concorrentes, como o GPT-4:
▶ "O parâmetro trilhão deve ser um limite especial, mas você também pode ser cético e dizer que é apenas um grande número inteiro para se preocupar. Não há dúvida de que, se esse modelo for semelhante ao GPT-4, isso adicionará um ponto de dados ... Mas com as empresas anunciando isso e aquilo, me pergunto se atingiremos o pico em junho.
▶ "As pessoas estão construindo novos sistemas com o H100, e já existem GPUs AI significativamente melhores por aí e, se isso continuar, a NVIDIA pode precisar anunciar uma nova placa mais cedo para ficar à frente."
▶ "Acho que o GPT-4 não continuará a manter o SOTA (estado da arte, refere-se ao melhor método ou modelo em uma tarefa específica) em muitos testes de benchmark em breve, e talvez também esteja no mundo no futuro. supercomputador mais rápido para treinamento. Para referência, o supercomputador OpenAI tem cerca de 10.000 GPUs, enquanto o Aurora tem 63.744 GPUs."
Link de referência: