Прошло всего полгода с момента выхода нового продукта NVIDIA DGX GH200, и сегодня Хуан Дженсюнь в очередной раз взорвал аудиторию посреди ночи.
Стало известно Titanium Media AppВечером 13 ноября по пекинскому времени американский чиповый гигант NVIDIA (NVIDIA) выпустил самый мощный в мире чип искусственного интеллекта - графический процессор NVIDIA H200 Tensor Core GPU.
Новый NVIDIA H200 является обновлением текущей версии H100 и основан на архитектуре суперчипа NVIDIA Hopper с высочайшей производительностью и расширенными возможностями технологии памяти для гипермасштабируемого обучения крупномасштабных моделей и логических выводов, улучшая рабочие нагрузки генеративного искусственного интеллекта и высокопроизводительных вычислений (HPC).
H200 — первый графический процессор с производительностью 4,8 ТБ в секунду и 141 ГБ памяти HBM3e. По сравнению с H100, H200 почти вдвое увеличивает емкость и увеличивает пропускную способность в 2,4 раза. При использовании для логических выводов или генерации вопросов для больших моделей, таких как Llama2 и GPT-3, производительность H200 на 60–90% (1,6–1,9x) выше, чем у H100. В результате H200 можно развертывать в различных типах центров обработки данных, включая локальные, облачные, гибридные и периферийные.
В то же время, по сравнению с CPU (центральным процессором), H200 достигает «ужасающей» скорости получения результатов при HPC: ** в 110 раз быстрее. **
** Утром 14 ноября Nvidia подтвердила Titanium Media App в электронном письме, что H200 не сможет продаваться на китайском рынке без получения экспортной лицензии. **
Предполагается, что NVIDIA H200 начнет поставляться глобальным клиентам и поставщикам облачных услуг во втором квартале 2024 года и, как ожидается, будет конкурировать с чипом AMD MI300X AI.
Процессор NVIDIA HGX H200 (источник: официальный сайт Nvidia)
В частности, новый H200 обладает превосходной производительностью при обучении сверхбольших моделей и производительности логического вывода благодаря программным и аппаратным технологиям, таким как архитектура NVIDIA Hopper и специальное программное обеспечение TensorRT-LLM. По сравнению с H100, H200 почти вдвое превосходит большую модель с открытым исходным кодом Llama 2 (70 миллиардов параметров), и ожидается, что будущие обновления программного обеспечения принесут H200 дополнительное лидерство в производительности и улучшения.
По данным NVIDIA, H200 может достигать 989 триллионов операций с плавающей запятой в тензорных ядрах TF32 и 3 958 терафлопс (3 958 триллионов операций с плавающей запятой в секунду) в тензорных ядрах INT8.
Мало того, ускоренная серверная платформа HGX H200, построенная на чипе H200, имеет поддержку высокоскоростных соединений NVLink и NVSwitch. Восемь HGX H200 обеспечивают более 32 петафлопс (1000 триллионов операций с плавающей запятой в секунду) вычислений глубокого обучения FP8 и 1,1 ТБ совокупной памяти с высокой пропускной способностью для поддержки более высокой производительности для таких рабочих нагрузок, как научные исследования и искусственный интеллект, включая обучение больших моделей и логический вывод с более чем 175 миллиардами параметров.
Сравнение характеристик производительности NVIDIA H200, H100 и A100 (Источник: anandtech)
Согласно анализу Anandtech, согласно текущим спецификациям, ускоренную вычислительную производительность H200 можно понимать как половину суперчипа GH200 Hopper, выпущенного полгода назад, но разница в том, что HBM3 заменен на HBM3e, пропускная способность памяти увеличена с 80 ГБ до 141 ГБ, а скорость увеличена до 4,8 ТБ/с, что позволяет NVIDIA увеличить скорость обработки и пропускную способность контента. Исходя из общей пропускной способности и ширины шины памяти, частота памяти H200 увеличивается примерно на 25% по сравнению с H100.
В Titanium Media App подтвердили от Nvidia, что новый H200 не будет продаваться в Китай без экспортной лицензии, потому что параметры H200 выше красной линии производительности, объявленной Министерством торговли США 17 октября: суммарная производительность обработки интегральной схемы (используемой в дата-центре) нескольких цифровых процессоров составляет 2400-4800, а «плотность производительности» больше 1,6 и меньше 5,92.
В начале ноября Nvidia объявила дилерам информацию о продукте «China Special Edition» HGX H20, L20 PCle и L2 PCle, которые предназначены для сценариев обучения, инференса и периферийных вычислений, и будут анонсированы не ранее 16 ноября, а массовое производство будет с декабря 2023 года по январь 2024 года. Среди них HGX H20 ограничен с точки зрения пропускной способности и скорости вычислений, а теоретическая комплексная вычислительная мощность примерно на 80% ниже, чем у NVIDIA H100, и конечно же она будет более «сжиматься», чем H200.
Стоит отметить, что в дополнение к H200, основанному на чипах искусственного интеллекта на базе архитектур Grace, Hopper и Grace Hopper, которые сейчас продает NVIDIA, компания сегодня запустила новую платформу с четырьмя чипами Grace Hopper GH200 AI, получившую название NVIDIA Quad GH200.
Quad GH200 предоставляет 288 ядер ArmCPU и в общей сложности 2,3 ТБ высокоскоростной памяти, а также накладывает четыре GH200 для соединения их с 8 чипами и 4 топологиями NVLink, чтобы сформировать мощную вычислительную платформу на базе CPU+GPU, которая может быть установлена в инфраструктурных системах для обеспечения более простой в использовании и более высокой вычислительной мощности.
По данным американского финансового учреждения Raymond James, чип H100 стоит всего 3320 долларов, но оптовая цена Nvidia для своих клиентов по-прежнему составляет от 25 000 до 40 000 долларов. Это привело к тому, что маржа прибыли H100 достигала 1000%, что сделало его самым прибыльным чипом за всю историю.
Согласно официальному сайту NVIDIA, NVIDIA H200 будет работать на более чем 40 суперкомпьютерах с искусственным интеллектом. Такие компании, как CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud и другие, станут первыми поставщиками облачных услуг, которые развернут инстансы на базе H200. В то же время системные интеграторы, такие как Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron и т.д., также будут использовать H200 для обновления своих существующих систем.
В то же время Nvidia также объявила о партнерстве с Jupiter для создания нового суперкомпьютера на базе 24 000 (23 762) GH200 с энергопотреблением всего 18,2 мегаватт, который будет установлен в исследовательском центре Юлиха в Германии для фундаментальных исследований в области материаловедения, разработки лекарств, промышленной инженерии и квантовых вычислений. Суперкомпьютерный комплекс будет поставлен и установлен в следующем году.
Кроме того, Nvidia также намекнула на своем официальном сайте, что анонсированный в следующем году AI-чип Nvidia B100 будет иметь больший апгрейд производительности. "Архитектура NVIDIA Hopper обеспечивает беспрецедентный скачок в производительности по сравнению с прошлыми годами. "
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Производительность Nvidia H200 следующего поколения взлетела на 90%, и было подтверждено, что он не будет продаваться в Китае
Первоисточник: Titanium Media
Автор: Линь Чжицзя
Прошло всего полгода с момента выхода нового продукта NVIDIA DGX GH200, и сегодня Хуан Дженсюнь в очередной раз взорвал аудиторию посреди ночи.
Стало известно Titanium Media AppВечером 13 ноября по пекинскому времени американский чиповый гигант NVIDIA (NVIDIA) выпустил самый мощный в мире чип искусственного интеллекта - графический процессор NVIDIA H200 Tensor Core GPU.
Новый NVIDIA H200 является обновлением текущей версии H100 и основан на архитектуре суперчипа NVIDIA Hopper с высочайшей производительностью и расширенными возможностями технологии памяти для гипермасштабируемого обучения крупномасштабных моделей и логических выводов, улучшая рабочие нагрузки генеративного искусственного интеллекта и высокопроизводительных вычислений (HPC).
H200 — первый графический процессор с производительностью 4,8 ТБ в секунду и 141 ГБ памяти HBM3e. По сравнению с H100, H200 почти вдвое увеличивает емкость и увеличивает пропускную способность в 2,4 раза. При использовании для логических выводов или генерации вопросов для больших моделей, таких как Llama2 и GPT-3, производительность H200 на 60–90% (1,6–1,9x) выше, чем у H100. В результате H200 можно развертывать в различных типах центров обработки данных, включая локальные, облачные, гибридные и периферийные.
В то же время, по сравнению с CPU (центральным процессором), H200 достигает «ужасающей» скорости получения результатов при HPC: ** в 110 раз быстрее. **
** Утром 14 ноября Nvidia подтвердила Titanium Media App в электронном письме, что H200 не сможет продаваться на китайском рынке без получения экспортной лицензии. **
Предполагается, что NVIDIA H200 начнет поставляться глобальным клиентам и поставщикам облачных услуг во втором квартале 2024 года и, как ожидается, будет конкурировать с чипом AMD MI300X AI.
В частности, новый H200 обладает превосходной производительностью при обучении сверхбольших моделей и производительности логического вывода благодаря программным и аппаратным технологиям, таким как архитектура NVIDIA Hopper и специальное программное обеспечение TensorRT-LLM. По сравнению с H100, H200 почти вдвое превосходит большую модель с открытым исходным кодом Llama 2 (70 миллиардов параметров), и ожидается, что будущие обновления программного обеспечения принесут H200 дополнительное лидерство в производительности и улучшения.
По данным NVIDIA, H200 может достигать 989 триллионов операций с плавающей запятой в тензорных ядрах TF32 и 3 958 терафлопс (3 958 триллионов операций с плавающей запятой в секунду) в тензорных ядрах INT8.
Мало того, ускоренная серверная платформа HGX H200, построенная на чипе H200, имеет поддержку высокоскоростных соединений NVLink и NVSwitch. Восемь HGX H200 обеспечивают более 32 петафлопс (1000 триллионов операций с плавающей запятой в секунду) вычислений глубокого обучения FP8 и 1,1 ТБ совокупной памяти с высокой пропускной способностью для поддержки более высокой производительности для таких рабочих нагрузок, как научные исследования и искусственный интеллект, включая обучение больших моделей и логический вывод с более чем 175 миллиардами параметров.
Согласно анализу Anandtech, согласно текущим спецификациям, ускоренную вычислительную производительность H200 можно понимать как половину суперчипа GH200 Hopper, выпущенного полгода назад, но разница в том, что HBM3 заменен на HBM3e, пропускная способность памяти увеличена с 80 ГБ до 141 ГБ, а скорость увеличена до 4,8 ТБ/с, что позволяет NVIDIA увеличить скорость обработки и пропускную способность контента. Исходя из общей пропускной способности и ширины шины памяти, частота памяти H200 увеличивается примерно на 25% по сравнению с H100.
В Titanium Media App подтвердили от Nvidia, что новый H200 не будет продаваться в Китай без экспортной лицензии, потому что параметры H200 выше красной линии производительности, объявленной Министерством торговли США 17 октября: суммарная производительность обработки интегральной схемы (используемой в дата-центре) нескольких цифровых процессоров составляет 2400-4800, а «плотность производительности» больше 1,6 и меньше 5,92.
В начале ноября Nvidia объявила дилерам информацию о продукте «China Special Edition» HGX H20, L20 PCle и L2 PCle, которые предназначены для сценариев обучения, инференса и периферийных вычислений, и будут анонсированы не ранее 16 ноября, а массовое производство будет с декабря 2023 года по январь 2024 года. Среди них HGX H20 ограничен с точки зрения пропускной способности и скорости вычислений, а теоретическая комплексная вычислительная мощность примерно на 80% ниже, чем у NVIDIA H100, и конечно же она будет более «сжиматься», чем H200.
Стоит отметить, что в дополнение к H200, основанному на чипах искусственного интеллекта на базе архитектур Grace, Hopper и Grace Hopper, которые сейчас продает NVIDIA, компания сегодня запустила новую платформу с четырьмя чипами Grace Hopper GH200 AI, получившую название NVIDIA Quad GH200.
Quad GH200 предоставляет 288 ядер ArmCPU и в общей сложности 2,3 ТБ высокоскоростной памяти, а также накладывает четыре GH200 для соединения их с 8 чипами и 4 топологиями NVLink, чтобы сформировать мощную вычислительную платформу на базе CPU+GPU, которая может быть установлена в инфраструктурных системах для обеспечения более простой в использовании и более высокой вычислительной мощности.
По данным американского финансового учреждения Raymond James, чип H100 стоит всего 3320 долларов, но оптовая цена Nvidia для своих клиентов по-прежнему составляет от 25 000 до 40 000 долларов. Это привело к тому, что маржа прибыли H100 достигала 1000%, что сделало его самым прибыльным чипом за всю историю.
Согласно официальному сайту NVIDIA, NVIDIA H200 будет работать на более чем 40 суперкомпьютерах с искусственным интеллектом. Такие компании, как CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud и другие, станут первыми поставщиками облачных услуг, которые развернут инстансы на базе H200. В то же время системные интеграторы, такие как Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron и т.д., также будут использовать H200 для обновления своих существующих систем.
В то же время Nvidia также объявила о партнерстве с Jupiter для создания нового суперкомпьютера на базе 24 000 (23 762) GH200 с энергопотреблением всего 18,2 мегаватт, который будет установлен в исследовательском центре Юлиха в Германии для фундаментальных исследований в области материаловедения, разработки лекарств, промышленной инженерии и квантовых вычислений. Суперкомпьютерный комплекс будет поставлен и установлен в следующем году.