Видя, что ChatGPT продолжает бурно развиваться уже несколько месяцев, в течение которых технологические гиганты, такие как Microsoft, Google и Meta, вступают в игру один за другим, теперь Intel наконец-то официально объявила о своем «конкурсе».
В минувшие выходные на Международной суперкомпьютерной конференции (ISC) High Performance Conference (HPC) в Гамбурге, Германия, Intel не только продемонстрировала свое лидерство в рабочих нагрузках HPC и ИИ, но и обнародовала неожиданный план: Национальная лаборатория Tribute объединила усилия для разработки генеративную AI-модель Aurora genAI с суперкомпьютером Aurora, а количество параметров достигнет 1 триллиона!
Учтите, что размер параметра ChatGPT всего 175 миллиардов, то есть модель Aurora genAI будет как минимум в 5 раз больше ее.
(картинка с официального сайта Intel)
Модель с искусственным интеллектом будет работать на базе суперкомпьютеров Aurora
Предполагается, что модель Intel Aurora genAI будет основана на двух платформах: Megatron от NVIDIA и DeepSpeed от Microsoft.
▶ Megatron: архитектура для распределенного обучения крупномасштабных языковых моделей, оптимизированная специально для Transformer, не только поддерживает параллелизм данных в традиционном распределенном обучении, но также поддерживает параллелизм моделей.
▶ DeepSpeed: сосредоточьтесь на оптимизации обучения крупномасштабных моделей глубокого обучения.Улучшая масштаб, скорость, стоимость и доступность, высвобождается возможность обучать модели со 100 миллиардами параметров, что значительно способствует обучению крупномасштабных моделей.
В дополнение к этим двум платформам модель Aurora genAI также будет работать на суперкомпьютере Aurora — суперкомпьютере Intel, разработанном для Аргоннской национальной лаборатории, который, наконец, обрел форму после различных задержек.
Согласно текущей общедоступной информации, суперкомпьютер Aurora оснащен чипами серий Intel Xeon CPU Max и Xeon GPU Max с общим числом узлов 10 624, 63 744 графических процессоров Ponte Vecchio, 21 248 процессоров Sapphire Rapids Xeon и 1024 распределенных асинхронных объектных хранилищ (DAOS). ) узлов хранения и 10,9 ПБ энергонезависимой памяти DDR5 Optane.
Кроме того, Intel также обнародовала ранние результаты производительности суперкомпьютера Aurora: «Суперкомпьютер Aurora имеет лучшую производительность при выполнении научных и инженерных рабочих нагрузок, производительность графического процессора AMD MI250 в 2 раза выше, а приложения квантовой механики QMCPACK улучшены по сравнению с H100». почти линейное масштабирование до сотен узлов».
Стоит отметить, что по сравнению с первоначальной целью в 1 экзафлоп ожидается, что когда суперкомпьютер Aurora будет запущен в этом году, он обеспечит производительность вычислений с плавающей запятой двойной точности более 2 экзафлопс — больше, чем Frontier, который неоднократно занимал первые места в мировом рейтинге суперкомпьютеров Top500.
Научно-ориентированная генеративная модель ИИ
Благодаря мощной базе суперкомпьютеров Aurora масштаб модели Aurora genAI не будет маленьким. Согласно официальному заявлению Intel, Аргоннская национальная лаборатория возглавляет международное сотрудничество по модели Aurora genAI.
«Этот проект направлен на использование всего потенциала суперкомпьютера Aurora для создания ресурса, который можно использовать в последующих научных исследованиях в лабораториях Министерства энергетики и в сотрудничестве с другими агентствами», — сказал Рик Стивенс, заместитель директора лаборатории в Аргонне.
В целом, Aurora genAI представляет собой генеративную модель искусственного интеллекта, ориентированную на науку, поэтому она будет обучаться на общем тексте, коде, научном тексте и научных данных из биологии, химии, материаловедения, физики, медицины и т. д.
Полученные в результате модели ИИ, содержащие до 1 триллиона параметров, от проектирования молекул и материалов до объединенных знаний из миллионов источников, могут использоваться в различных научных приложениях: системной биологии, исследованиях рака, климатологии, космологических исследованиях. , полимерная химия и материалы и др. Помимо науки, модели Aurora genAI потенциально могут использоваться в других областях, таких как финансовое моделирование, обработка естественного языка, машинный перевод, распознавание изображений и распознавание речи.
Планируется завершить в 2024 году
Кроме того, больше информации о модели Aurora genAI Intel пока не баловала, но, по сообщениям зарубежных СМИ, Intel планирует разработать и завершить модель Aurora genAI в 2024 году — если все пойдет хорошо, возможно, мы не будем слишком долго ждать.
Выход этой новости привлек внимание многих людей, а вхождение Intel в модель ИИ объявило о начале 1 триллиона параметров, что заставляет людей с нетерпением ждать будущего развития конкурирующих продуктов, таких как GPT-4:
▶ «Параметр триллион должен быть особым пределом, но вы также можете скептически сказать, что это просто огромное целое число, о котором нужно заботиться. Нет сомнений, что если эта модель похожа на GPT-4, это добавит точку данных , Но с компаниями, объявляющими то и это, интересно, достигнем ли мы пика в июне».
▶ «Люди создают новые системы с помощью H100, и уже существуют значительно более совершенные графические процессоры для искусственного интеллекта, и если это продолжится, NVIDIA, возможно, придется анонсировать новую карту раньше, чтобы оставаться впереди».
▶ «Я предполагаю, что GPT-4 не будет продолжать поддерживать SOTA (современное состояние, относится к лучшему методу или модели в конкретной задаче) во многих тестах производительности в ближайшее время, и, возможно, это также будет в мире в будущем. самый быстрый суперкомпьютер для обучения. Для справки: суперкомпьютер OpenAI имеет около 10 000 графических процессоров, а Aurora — 63 744 графических процессора».
Справочная ссылка:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
В 5 раз больше, чем ChatGPT! Intel официально анонсировала большую модель ИИ с 1 триллионом параметров, которую планируется завершить в 2024 году.
Организовать | Чжэн Лиюань
Листинг | CSDN (ID: CSDNnews)
Видя, что ChatGPT продолжает бурно развиваться уже несколько месяцев, в течение которых технологические гиганты, такие как Microsoft, Google и Meta, вступают в игру один за другим, теперь Intel наконец-то официально объявила о своем «конкурсе».
В минувшие выходные на Международной суперкомпьютерной конференции (ISC) High Performance Conference (HPC) в Гамбурге, Германия, Intel не только продемонстрировала свое лидерство в рабочих нагрузках HPC и ИИ, но и обнародовала неожиданный план: Национальная лаборатория Tribute объединила усилия для разработки генеративную AI-модель Aurora genAI с суперкомпьютером Aurora, а количество параметров достигнет 1 триллиона!
Учтите, что размер параметра ChatGPT всего 175 миллиардов, то есть модель Aurora genAI будет как минимум в 5 раз больше ее.
Модель с искусственным интеллектом будет работать на базе суперкомпьютеров Aurora
Предполагается, что модель Intel Aurora genAI будет основана на двух платформах: Megatron от NVIDIA и DeepSpeed от Microsoft.
▶ Megatron: архитектура для распределенного обучения крупномасштабных языковых моделей, оптимизированная специально для Transformer, не только поддерживает параллелизм данных в традиционном распределенном обучении, но также поддерживает параллелизм моделей.
▶ DeepSpeed: сосредоточьтесь на оптимизации обучения крупномасштабных моделей глубокого обучения.Улучшая масштаб, скорость, стоимость и доступность, высвобождается возможность обучать модели со 100 миллиардами параметров, что значительно способствует обучению крупномасштабных моделей.
В дополнение к этим двум платформам модель Aurora genAI также будет работать на суперкомпьютере Aurora — суперкомпьютере Intel, разработанном для Аргоннской национальной лаборатории, который, наконец, обрел форму после различных задержек.
Согласно текущей общедоступной информации, суперкомпьютер Aurora оснащен чипами серий Intel Xeon CPU Max и Xeon GPU Max с общим числом узлов 10 624, 63 744 графических процессоров Ponte Vecchio, 21 248 процессоров Sapphire Rapids Xeon и 1024 распределенных асинхронных объектных хранилищ (DAOS). ) узлов хранения и 10,9 ПБ энергонезависимой памяти DDR5 Optane.
Стоит отметить, что по сравнению с первоначальной целью в 1 экзафлоп ожидается, что когда суперкомпьютер Aurora будет запущен в этом году, он обеспечит производительность вычислений с плавающей запятой двойной точности более 2 экзафлопс — больше, чем Frontier, который неоднократно занимал первые места в мировом рейтинге суперкомпьютеров Top500.
Научно-ориентированная генеративная модель ИИ
Благодаря мощной базе суперкомпьютеров Aurora масштаб модели Aurora genAI не будет маленьким. Согласно официальному заявлению Intel, Аргоннская национальная лаборатория возглавляет международное сотрудничество по модели Aurora genAI.
«Этот проект направлен на использование всего потенциала суперкомпьютера Aurora для создания ресурса, который можно использовать в последующих научных исследованиях в лабораториях Министерства энергетики и в сотрудничестве с другими агентствами», — сказал Рик Стивенс, заместитель директора лаборатории в Аргонне.
В целом, Aurora genAI представляет собой генеративную модель искусственного интеллекта, ориентированную на науку, поэтому она будет обучаться на общем тексте, коде, научном тексте и научных данных из биологии, химии, материаловедения, физики, медицины и т. д.
Полученные в результате модели ИИ, содержащие до 1 триллиона параметров, от проектирования молекул и материалов до объединенных знаний из миллионов источников, могут использоваться в различных научных приложениях: системной биологии, исследованиях рака, климатологии, космологических исследованиях. , полимерная химия и материалы и др. Помимо науки, модели Aurora genAI потенциально могут использоваться в других областях, таких как финансовое моделирование, обработка естественного языка, машинный перевод, распознавание изображений и распознавание речи.
Планируется завершить в 2024 году
Кроме того, больше информации о модели Aurora genAI Intel пока не баловала, но, по сообщениям зарубежных СМИ, Intel планирует разработать и завершить модель Aurora genAI в 2024 году — если все пойдет хорошо, возможно, мы не будем слишком долго ждать.
Выход этой новости привлек внимание многих людей, а вхождение Intel в модель ИИ объявило о начале 1 триллиона параметров, что заставляет людей с нетерпением ждать будущего развития конкурирующих продуктов, таких как GPT-4:
▶ «Параметр триллион должен быть особым пределом, но вы также можете скептически сказать, что это просто огромное целое число, о котором нужно заботиться. Нет сомнений, что если эта модель похожа на GPT-4, это добавит точку данных , Но с компаниями, объявляющими то и это, интересно, достигнем ли мы пика в июне».
▶ «Люди создают новые системы с помощью H100, и уже существуют значительно более совершенные графические процессоры для искусственного интеллекта, и если это продолжится, NVIDIA, возможно, придется анонсировать новую карту раньше, чтобы оставаться впереди».
▶ «Я предполагаю, что GPT-4 не будет продолжать поддерживать SOTA (современное состояние, относится к лучшему методу или модели в конкретной задаче) во многих тестах производительности в ближайшее время, и, возможно, это также будет в мире в будущем. самый быстрый суперкомпьютер для обучения. Для справки: суперкомпьютер OpenAI имеет около 10 000 графических процессоров, а Aurora — 63 744 графических процессора».
Справочная ссылка: