Найпотужніший у світі чіп зі штучним інтелектом наближається!Продуктивність Nvidia H200 наступного покоління злетіла на 90%, і було підтверджено, що він не буде продаватися в Китаї
З моменту виходу нового продукту NVIDIA DGX GH200 минуло лише понад півроку, а сьогодні Хуан Цзеньсюнь вкотре підірвав публіку посеред ночі.
Про це стало відомо Titanium Media AppУвечері 13 листопада за пекінським часом американський чіп-гігант NVIDIA (NVIDIA) випустив найпотужніший у світі чіп зі штучним інтелектом – NVIDIA H200 Tensor Core GPU (графічний процесор).
Нова NVIDIA H200 є оновленням поточної моделі H100 і базується на архітектурі суперчіпа NVIDIA Hopper з найвищою продуктивністю та розширеними можливостями технології пам'яті для гіпермасштабованого великомасштабного навчання моделей та висновків, покращення генеративного штучного інтелекту та робочих навантажень високопродуктивних обчислень (HPC).
H200 є першим графічним процесором, який пропонує 4,8 ТБ на секунду та 141 ГБ пам'яті HBM3e. У порівнянні з H100, H200 майже подвоює ємність і збільшує пропускну здатність в 2,4 рази. При використанні для висновків або генерації запитань для великих моделей, таких як Llama2 і GPT-3, продуктивність H200 на 60-90% (1,6-1,9x) краща, ніж H100. Як результат, H200 можна розгортати в різних типах центрів обробки даних, включаючи локальні, хмарні, гібридні хмарні та периферійні.
При цьому, в порівнянні з CPU (центральним процесором), H200 досягає «жахливої» швидкості результатів при HPC: ** в 110 разів швидше. **
**Для китайського ринку вранці 14 листопада Nvidia підтвердила Titanium Media App в електронному листі, що H200 не можна буде продавати на китайському ринку без отримання експортної ліцензії. **
Зрозуміло, що NVIDIA H200 почне поставлятися глобальним клієнтам і постачальникам хмарних послуг у другому кварталі 2024 року і, як очікується, конкуруватиме з чіпом AMD MI300X AI.
Процесор NVIDIA HGX H200 (джерело: офіційний сайт Nvidia)
Зокрема, новий H200 має чудову продуктивність у навчанні надвеликих моделей та продуктивності висновків завдяки програмним та апаратним технологіям, таким як архітектура NVIDIA Hopper та спеціальне програмне забезпечення TensorRT-LLM. У порівнянні з H100, H200 майже вдвічі збільшує швидкість висновків, ніж велика модель Llama 2 (70 мільярдів параметрів) з відкритим вихідним кодом, і очікується, що майбутні оновлення програмного забезпечення принесуть H200 додаткове лідерство в продуктивності та покращення.
За даними NVIDIA, H200 може досягати 989 трильйонів операцій з плаваючою комою в тензорних ядрах TF32 і 3 958 TFLOPS (3 958 трильйонів операцій з плаваючою комою в секунду) в тензорних ядрах INT8.
Мало того, прискорена серверна платформа HGX H200, побудована на чіпі H200, має підтримку високошвидкісного взаємоз'єднання NVLink і NVSwitch. Вісім HGX H200 забезпечують понад 32 петафлопс (1000 трильйонів операцій з плаваючою комою в секунду) обчислень глибокого навчання FP8 і 1,1 ТБ сукупної пам'яті з високою пропускною здатністю для підтримки більш високої продуктивності для робочих навантажень, таких як наукові дослідження і штучний інтелект, включаючи навчання великих моделей і висновок з більш ніж 175 мільярдами параметрів.
Порівняння технічних характеристик NVIDIA H200, H100 і A100 (Джерело: anandtech)
Згідно з аналізом Anandtech, згідно з поточними специфікаціями, під прискореною обчислювальною продуктивністю H200 можна розуміти половину суперчіпа GH200 Hopper, випущеного півроку тому, але різниця полягає в тому, що HBM3 замінюється на HBM3e, пропускна здатність пам'яті збільшується з 80 ГБ до 141 ГБ, а швидкість збільшується до 4,8 ТБ/с, що дозволяє NVIDIA збільшити швидкість обробки та пропускну здатність контенту. Виходячи із загальної пропускної здатності та ширини шини пам'яті, частота пам'яті H200 збільшується приблизно на 25% порівняно з H100.
Titanium Media App підтвердила у Nvidia, що новий H200 не буде продаватися в Китай без експортної ліцензії, тому що параметри H200 вище червоної лінії продуктивності, оголошеної Міністерством торгівлі США 17 жовтня: сумарна продуктивність обробки інтегральної схеми (використовуваної в центрі обробки даних) декількох цифрових процесорів становить 2400-4800, а «щільність продуктивності» більше 1,6 і менше 5,92.
На початку листопада Nvidia оголосила дилерам інформацію про продукти «China Special Edition» HGX H20, L20 PCle та L2 PCle, які спрямовані на навчання, висновки та периферійні сценарії, і будуть оголошені не раніше 16 листопада, а масове виробництво триватиме з грудня 2023 року по січень 2024 року. Серед них HGX H20 обмежена в плані пропускної здатності і швидкості обчислень, а теоретична комплексна обчислювальна потужність приблизно на 80% нижче, ніж у NVIDIA H100, і звичайно ж вона буде більш «скорочуватися», ніж H200.
Варто згадати, що на додаток до H200, заснованого на чіпах штучного інтелекту на основі архітектур Grace, Hopper і Grace Hopper, які зараз продає NVIDIA, компанія сьогодні запустила нову платформу з чотирма чіпами Grace Hopper GH200 AI, яка отримала назву NVIDIA Quad GH200.
Quad GH200 надає 288 ядер ArmCPU і загалом 2,3 ТБ високошвидкісної пам'яті, а також накладає чотири GH200 для з'єднання їх з 8 чіпами та 4 топологіями NVLink, щоб сформувати потужну обчислювальну платформу на базі CPU+GPU, яку можна встановити в інфраструктурні системи, щоб забезпечити простішу у використанні та сильнішу обчислювальну потужність.
За даними американської фінансової установи Реймонда Джеймса, чіп H100 коштує всього 3 320 доларів, але основна ціна Nvidia для своїх клієнтів все ще становить від 25 000 до 40 000 доларів. Це призвело до прибутку H100 або до 1000%, що зробило його найприбутковішим чіпом за всю історію.
Згідно з офіційним сайтом NVIDIA, NVIDIA H200 працюватиме на понад 40 суперкомп'ютерах зі штучним інтелектом. Такі компанії, як CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud та інші, стануть першими постачальниками хмарних послуг, які розгорнуть інстанси на базі H200. У той же час системні інтегратори, такі як Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron і т.д., також будуть використовувати H200 для оновлення своїх існуючих систем.
У той же час Nvidia також оголосила про партнерство з Jupiter для надання нового суперкомп'ютера на базі 24 000 (23 762) GH200 з енергоспоживанням до 18,2 мегават, який буде встановлений на об'єкті Дослідницького центру Юліха в Німеччині для фундаментальних досліджень у галузі матеріалознавства, відкриття ліків, промислового машинобудування та квантових обчислень. Суперкомп'ютерна система буде поставлена і встановлена в наступному році.
Крім того, Nvidia також натякнула на своєму офіційному сайті, що анонсований наступного року чіп Nvidia B100 AI матиме більший апгрейд продуктивності. «Архітектура NVIDIA Hopper забезпечує безпрецедентний стрибок у продуктивності порівняно з минулим. "
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Найпотужніший у світі чіп зі штучним інтелектом наближається!Продуктивність Nvidia H200 наступного покоління злетіла на 90%, і було підтверджено, що він не буде продаватися в Китаї
Першоджерело: Titanium Media
Автор: Лінь Чжицзя
З моменту виходу нового продукту NVIDIA DGX GH200 минуло лише понад півроку, а сьогодні Хуан Цзеньсюнь вкотре підірвав публіку посеред ночі.
Про це стало відомо Titanium Media AppУвечері 13 листопада за пекінським часом американський чіп-гігант NVIDIA (NVIDIA) випустив найпотужніший у світі чіп зі штучним інтелектом – NVIDIA H200 Tensor Core GPU (графічний процесор).
Нова NVIDIA H200 є оновленням поточної моделі H100 і базується на архітектурі суперчіпа NVIDIA Hopper з найвищою продуктивністю та розширеними можливостями технології пам'яті для гіпермасштабованого великомасштабного навчання моделей та висновків, покращення генеративного штучного інтелекту та робочих навантажень високопродуктивних обчислень (HPC).
H200 є першим графічним процесором, який пропонує 4,8 ТБ на секунду та 141 ГБ пам'яті HBM3e. У порівнянні з H100, H200 майже подвоює ємність і збільшує пропускну здатність в 2,4 рази. При використанні для висновків або генерації запитань для великих моделей, таких як Llama2 і GPT-3, продуктивність H200 на 60-90% (1,6-1,9x) краща, ніж H100. Як результат, H200 можна розгортати в різних типах центрів обробки даних, включаючи локальні, хмарні, гібридні хмарні та периферійні.
При цьому, в порівнянні з CPU (центральним процесором), H200 досягає «жахливої» швидкості результатів при HPC: ** в 110 разів швидше. **
**Для китайського ринку вранці 14 листопада Nvidia підтвердила Titanium Media App в електронному листі, що H200 не можна буде продавати на китайському ринку без отримання експортної ліцензії. **
Зрозуміло, що NVIDIA H200 почне поставлятися глобальним клієнтам і постачальникам хмарних послуг у другому кварталі 2024 року і, як очікується, конкуруватиме з чіпом AMD MI300X AI.
Зокрема, новий H200 має чудову продуктивність у навчанні надвеликих моделей та продуктивності висновків завдяки програмним та апаратним технологіям, таким як архітектура NVIDIA Hopper та спеціальне програмне забезпечення TensorRT-LLM. У порівнянні з H100, H200 майже вдвічі збільшує швидкість висновків, ніж велика модель Llama 2 (70 мільярдів параметрів) з відкритим вихідним кодом, і очікується, що майбутні оновлення програмного забезпечення принесуть H200 додаткове лідерство в продуктивності та покращення.
За даними NVIDIA, H200 може досягати 989 трильйонів операцій з плаваючою комою в тензорних ядрах TF32 і 3 958 TFLOPS (3 958 трильйонів операцій з плаваючою комою в секунду) в тензорних ядрах INT8.
Мало того, прискорена серверна платформа HGX H200, побудована на чіпі H200, має підтримку високошвидкісного взаємоз'єднання NVLink і NVSwitch. Вісім HGX H200 забезпечують понад 32 петафлопс (1000 трильйонів операцій з плаваючою комою в секунду) обчислень глибокого навчання FP8 і 1,1 ТБ сукупної пам'яті з високою пропускною здатністю для підтримки більш високої продуктивності для робочих навантажень, таких як наукові дослідження і штучний інтелект, включаючи навчання великих моделей і висновок з більш ніж 175 мільярдами параметрів.
Згідно з аналізом Anandtech, згідно з поточними специфікаціями, під прискореною обчислювальною продуктивністю H200 можна розуміти половину суперчіпа GH200 Hopper, випущеного півроку тому, але різниця полягає в тому, що HBM3 замінюється на HBM3e, пропускна здатність пам'яті збільшується з 80 ГБ до 141 ГБ, а швидкість збільшується до 4,8 ТБ/с, що дозволяє NVIDIA збільшити швидкість обробки та пропускну здатність контенту. Виходячи із загальної пропускної здатності та ширини шини пам'яті, частота пам'яті H200 збільшується приблизно на 25% порівняно з H100.
Titanium Media App підтвердила у Nvidia, що новий H200 не буде продаватися в Китай без експортної ліцензії, тому що параметри H200 вище червоної лінії продуктивності, оголошеної Міністерством торгівлі США 17 жовтня: сумарна продуктивність обробки інтегральної схеми (використовуваної в центрі обробки даних) декількох цифрових процесорів становить 2400-4800, а «щільність продуктивності» більше 1,6 і менше 5,92.
На початку листопада Nvidia оголосила дилерам інформацію про продукти «China Special Edition» HGX H20, L20 PCle та L2 PCle, які спрямовані на навчання, висновки та периферійні сценарії, і будуть оголошені не раніше 16 листопада, а масове виробництво триватиме з грудня 2023 року по січень 2024 року. Серед них HGX H20 обмежена в плані пропускної здатності і швидкості обчислень, а теоретична комплексна обчислювальна потужність приблизно на 80% нижче, ніж у NVIDIA H100, і звичайно ж вона буде більш «скорочуватися», ніж H200.
Варто згадати, що на додаток до H200, заснованого на чіпах штучного інтелекту на основі архітектур Grace, Hopper і Grace Hopper, які зараз продає NVIDIA, компанія сьогодні запустила нову платформу з чотирма чіпами Grace Hopper GH200 AI, яка отримала назву NVIDIA Quad GH200.
Quad GH200 надає 288 ядер ArmCPU і загалом 2,3 ТБ високошвидкісної пам'яті, а також накладає чотири GH200 для з'єднання їх з 8 чіпами та 4 топологіями NVLink, щоб сформувати потужну обчислювальну платформу на базі CPU+GPU, яку можна встановити в інфраструктурні системи, щоб забезпечити простішу у використанні та сильнішу обчислювальну потужність.
За даними американської фінансової установи Реймонда Джеймса, чіп H100 коштує всього 3 320 доларів, але основна ціна Nvidia для своїх клієнтів все ще становить від 25 000 до 40 000 доларів. Це призвело до прибутку H100 або до 1000%, що зробило його найприбутковішим чіпом за всю історію.
Згідно з офіційним сайтом NVIDIA, NVIDIA H200 працюватиме на понад 40 суперкомп'ютерах зі штучним інтелектом. Такі компанії, як CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud та інші, стануть першими постачальниками хмарних послуг, які розгорнуть інстанси на базі H200. У той же час системні інтегратори, такі як Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron і т.д., також будуть використовувати H200 для оновлення своїх існуючих систем.
У той же час Nvidia також оголосила про партнерство з Jupiter для надання нового суперкомп'ютера на базі 24 000 (23 762) GH200 з енергоспоживанням до 18,2 мегават, який буде встановлений на об'єкті Дослідницького центру Юліха в Німеччині для фундаментальних досліджень у галузі матеріалознавства, відкриття ліків, промислового машинобудування та квантових обчислень. Суперкомп'ютерна система буде поставлена і встановлена в наступному році.