Al ver que ChatGPT ha seguido explotando durante varios meses, durante los cuales gigantes tecnológicos como Microsoft, Google y Meta han ingresado al juego uno tras otro, ahora Intel finalmente ha anunciado oficialmente su "participación".
Durante el fin de semana, en la Conferencia de Alto Rendimiento (HPC) de la Conferencia Internacional de Supercomputación (ISC) en Hamburgo, Alemania, Intel no solo demostró su liderazgo en cargas de trabajo de HPC e IA, sino que también anunció un plan sorprendente: Tribute National Laboratory se unió para desarrollar un modelo de IA generativa Aurora genAI con la supercomputadora Aurora, ¡y la cantidad de parámetros alcanzará 1 billón!
Tenga en cuenta que el tamaño del parámetro de ChatGPT es solo 175 mil millones, es decir, el modelo Aurora genAI será al menos 5 veces más grande que él.
(imagen del sitio web oficial de Intel)
El modelo de IA estará impulsado por la supercomputación Aurora
Se entiende que el modelo Intel Aurora genAI se basará en dos marcos: Megatron de NVIDIA y DeepSpeed de Microsoft.
▶ Megatron: una arquitectura para el entrenamiento distribuido de modelos de lenguaje a gran escala, optimizada específicamente para Transformer, no solo admite el paralelismo de datos en el entrenamiento distribuido tradicional, sino que también admite el paralelismo de modelos.
▶ DeepSpeed: concéntrese en optimizar el entrenamiento de modelos de aprendizaje profundo a gran escala. Al mejorar la escala, la velocidad, el costo y la disponibilidad, libera la capacidad de entrenar 100 000 millones de modelos de parámetros y promueve en gran medida el entrenamiento de modelos a gran escala.
Además de estos dos marcos, el modelo Aurora genAI también estará impulsado por la supercomputadora Aurora, la supercomputadora diseñada por Intel para el Laboratorio Nacional de Argonne, que finalmente tomó forma después de varios retrasos.
Según la información pública actual, la supercomputadora Aurora funciona con chips de la serie Intel Xeon CPU Max y Xeon GPU Max, con un total de 10,624 nodos, 63,744 GPU Ponte Vecchio, 21,248 CPU Sapphire Rapids Xeon y 1,024 almacenamiento de objetos asíncronos distribuidos (DAOS). ) nodos de almacenamiento y 10,9 PB de memoria persistente DDR5 Optane.
Además, Intel también reveló los primeros resultados de rendimiento de la supercomputadora Aurora: "La supercomputación Aurora tiene un rendimiento líder en cargas de trabajo científicas y de ingeniería, 2 veces el rendimiento de la GPU AMD MI250 y aplicaciones de mecánica cuántica QMCPACK mejoradas en comparación con H100 20% y casi lineal escalando a cientos de nodos".
Vale la pena mencionar que, en comparación con el objetivo original de 1 Exaflop, se espera que cuando se lance la supercomputadora Aurora este año, proporcione un rendimiento informático de punto flotante de doble precisión de más de 2 Exaflops, más que Frontier, que ha ocupado repetidamente el primer lugar en la lista mundial de supercomputación Top 500. Las supercomputadoras (1.194 Exaflop/s) están aún más arriba.
Modelo de IA generativo centrado en la ciencia
Con la poderosa base de supercomputación Aurora, está destinado que la escala del modelo Aurora genAI no sea pequeña. Según la presentación oficial de Intel, el Laboratorio Nacional de Argonne está liderando una colaboración internacional para el modelo Aurora genAI.
"Este proyecto tiene como objetivo aprovechar todo el potencial de la supercomputadora Aurora para generar un recurso que pueda usarse en la ciencia posterior en los laboratorios del DOE y en colaboración con otras agencias", dijo Rick Stevens, subdirector de laboratorio de Argonne.
En general, Aurora genAI es un modelo de IA generativo centrado en la ciencia, por lo que se entrenará en texto genérico, código, texto científico y datos científicos de biología, química, ciencia de los materiales, física, medicina, etc.
Los modelos de IA resultantes, con hasta 1 billón de parámetros, que van desde el diseño de moléculas y materiales hasta el conocimiento combinado de millones de fuentes, se pueden utilizar en una variedad de aplicaciones científicas: biología de sistemas, investigación del cáncer, ciencia climática, investigación cosmológica. , química de polímeros y materiales, etc. Más allá de la ciencia, los modelos Aurora genAI podrían usarse potencialmente en otros campos, como el modelado financiero, el procesamiento del lenguaje natural, la traducción automática, el reconocimiento de imágenes y el reconocimiento de voz, entre otros.
Planificado para completarse en 2024
Además, Intel aún no ha revelado más información sobre el modelo Aurora genAI, pero según informes de medios extranjeros, Intel planea desarrollar y completar el modelo Aurora genAI en 2024; si sale bien, tal vez no esperemos demasiado.
El lanzamiento de esta noticia atrajo la atención de muchas personas, y la entrada de Intel en el modelo de IA anunció el inicio de 1 billón de parámetros, lo que hace que la gente anhele el desarrollo futuro de productos de la competencia como GPT-4:
▶ "El parámetro trillón debería ser un límite especial, pero también puede ser escéptico y decir que es solo un gran número entero del que preocuparse. No hay duda de que si este modelo es similar a GPT-4, esto agregará un punto de datos Pero con las empresas anunciando esto y anunciando aquello, me pregunto si alcanzaremos el punto máximo en junio”.
▶ "La gente está construyendo nuevos sistemas con la H100, y ya existen GPU de IA significativamente mejores, y si esto continúa, es posible que NVIDIA deba anunciar una nueva tarjeta antes para mantenerse a la vanguardia".
▶ "Supongo que GPT-4 no seguirá manteniendo SOTA (estado del arte, se refiere al mejor método o modelo en una tarea específica) en muchas pruebas comparativas pronto, y tal vez también estará en el mundo en el futuro. supercomputadora más rápida para entrenamiento. Como referencia, la supercomputadora OpenAI tiene alrededor de 10,000 GPU, mientras que Aurora tiene 63,744 GPU".
Link de referencia:
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¡5 veces más grande que ChatGPT! Intel anunció oficialmente un modelo grande de IA de 1 billón de parámetros, que se planea completar en 2024
Organizar | Zheng Liyuan
Listado | CSDN (ID: CSDNnews)
Al ver que ChatGPT ha seguido explotando durante varios meses, durante los cuales gigantes tecnológicos como Microsoft, Google y Meta han ingresado al juego uno tras otro, ahora Intel finalmente ha anunciado oficialmente su "participación".
Durante el fin de semana, en la Conferencia de Alto Rendimiento (HPC) de la Conferencia Internacional de Supercomputación (ISC) en Hamburgo, Alemania, Intel no solo demostró su liderazgo en cargas de trabajo de HPC e IA, sino que también anunció un plan sorprendente: Tribute National Laboratory se unió para desarrollar un modelo de IA generativa Aurora genAI con la supercomputadora Aurora, ¡y la cantidad de parámetros alcanzará 1 billón!
Tenga en cuenta que el tamaño del parámetro de ChatGPT es solo 175 mil millones, es decir, el modelo Aurora genAI será al menos 5 veces más grande que él.
El modelo de IA estará impulsado por la supercomputación Aurora
Se entiende que el modelo Intel Aurora genAI se basará en dos marcos: Megatron de NVIDIA y DeepSpeed de Microsoft.
▶ Megatron: una arquitectura para el entrenamiento distribuido de modelos de lenguaje a gran escala, optimizada específicamente para Transformer, no solo admite el paralelismo de datos en el entrenamiento distribuido tradicional, sino que también admite el paralelismo de modelos.
▶ DeepSpeed: concéntrese en optimizar el entrenamiento de modelos de aprendizaje profundo a gran escala. Al mejorar la escala, la velocidad, el costo y la disponibilidad, libera la capacidad de entrenar 100 000 millones de modelos de parámetros y promueve en gran medida el entrenamiento de modelos a gran escala.
Además de estos dos marcos, el modelo Aurora genAI también estará impulsado por la supercomputadora Aurora, la supercomputadora diseñada por Intel para el Laboratorio Nacional de Argonne, que finalmente tomó forma después de varios retrasos.
Según la información pública actual, la supercomputadora Aurora funciona con chips de la serie Intel Xeon CPU Max y Xeon GPU Max, con un total de 10,624 nodos, 63,744 GPU Ponte Vecchio, 21,248 CPU Sapphire Rapids Xeon y 1,024 almacenamiento de objetos asíncronos distribuidos (DAOS). ) nodos de almacenamiento y 10,9 PB de memoria persistente DDR5 Optane.
Vale la pena mencionar que, en comparación con el objetivo original de 1 Exaflop, se espera que cuando se lance la supercomputadora Aurora este año, proporcione un rendimiento informático de punto flotante de doble precisión de más de 2 Exaflops, más que Frontier, que ha ocupado repetidamente el primer lugar en la lista mundial de supercomputación Top 500. Las supercomputadoras (1.194 Exaflop/s) están aún más arriba.
Modelo de IA generativo centrado en la ciencia
Con la poderosa base de supercomputación Aurora, está destinado que la escala del modelo Aurora genAI no sea pequeña. Según la presentación oficial de Intel, el Laboratorio Nacional de Argonne está liderando una colaboración internacional para el modelo Aurora genAI.
"Este proyecto tiene como objetivo aprovechar todo el potencial de la supercomputadora Aurora para generar un recurso que pueda usarse en la ciencia posterior en los laboratorios del DOE y en colaboración con otras agencias", dijo Rick Stevens, subdirector de laboratorio de Argonne.
En general, Aurora genAI es un modelo de IA generativo centrado en la ciencia, por lo que se entrenará en texto genérico, código, texto científico y datos científicos de biología, química, ciencia de los materiales, física, medicina, etc.
Los modelos de IA resultantes, con hasta 1 billón de parámetros, que van desde el diseño de moléculas y materiales hasta el conocimiento combinado de millones de fuentes, se pueden utilizar en una variedad de aplicaciones científicas: biología de sistemas, investigación del cáncer, ciencia climática, investigación cosmológica. , química de polímeros y materiales, etc. Más allá de la ciencia, los modelos Aurora genAI podrían usarse potencialmente en otros campos, como el modelado financiero, el procesamiento del lenguaje natural, la traducción automática, el reconocimiento de imágenes y el reconocimiento de voz, entre otros.
Planificado para completarse en 2024
Además, Intel aún no ha revelado más información sobre el modelo Aurora genAI, pero según informes de medios extranjeros, Intel planea desarrollar y completar el modelo Aurora genAI en 2024; si sale bien, tal vez no esperemos demasiado.
El lanzamiento de esta noticia atrajo la atención de muchas personas, y la entrada de Intel en el modelo de IA anunció el inicio de 1 billón de parámetros, lo que hace que la gente anhele el desarrollo futuro de productos de la competencia como GPT-4:
▶ "El parámetro trillón debería ser un límite especial, pero también puede ser escéptico y decir que es solo un gran número entero del que preocuparse. No hay duda de que si este modelo es similar a GPT-4, esto agregará un punto de datos Pero con las empresas anunciando esto y anunciando aquello, me pregunto si alcanzaremos el punto máximo en junio”.
▶ "La gente está construyendo nuevos sistemas con la H100, y ya existen GPU de IA significativamente mejores, y si esto continúa, es posible que NVIDIA deba anunciar una nueva tarjeta antes para mantenerse a la vanguardia".
▶ "Supongo que GPT-4 no seguirá manteniendo SOTA (estado del arte, se refiere al mejor método o modelo en una tarea específica) en muchas pruebas comparativas pronto, y tal vez también estará en el mundo en el futuro. supercomputadora más rápida para entrenamiento. Como referencia, la supercomputadora OpenAI tiene alrededor de 10,000 GPU, mientras que Aurora tiene 63,744 GPU".
Link de referencia: