Nvidia Lao Huang meledak lagi dengan chip GPU generasi baruH200.
Situs web resmi tanpa basa-basi mengatakan, "GPU paling kuat di dunia, dibangun untuk AI dan superkomputer".
Mendengar bahwa semua perusahaan AI mengeluh tentang tidak cukup memori?
Kali ini, memori besar 141GB langsung meningkat 76% dibandingkan dengan H100 80GB.
Sebagai GPU pertama yang dilengkapi dengan memori HBM3e, bandwidth memori juga telah ditingkatkan dari 3,35TB/dtk menjadi 4,8TB/dtk, meningkat sebesar 43%.
Apa artinya bagi AI?
Dengan dukungan HBM3e, H200 hampir menggandakan kinerja inferensi Llama-70B, dan GPT3-175B juga dapat ditingkatkan sebesar 60%.
Inilah kabar baik lainnya bagi perusahaan AI:
H200 sepenuhnya kompatibel dengan H100, yang berarti bahwa menambahkan H200 ke sistem yang ada tidak memerlukan penyesuaian.
** Chip AI terkuat hanya dapat digunakan selama setengah tahun **
Kecuali untuk peningkatan memori, H200 pada dasarnya sama dengan H100, yang juga termasuk dalam arsitektur Hopper.
Proses 4nm TSMC, 80 miliar transistor, interkoneksi berkecepatan tinggi NVLink 4 900GB per detik, semuanya telah sepenuhnya diwariskan.
Bahkan daya komputasi puncak tetap sama, dan datanya masih akrab dengan FP64 Vector 33.5TFlops dan FP64 Tensor 66.9TFlops.
Adapun mengapa memorinya 141GB, AnandTech menganalisis ** Memori HBM3e sendiri memiliki kapasitas fisik 144GB, yang terdiri dari 6 tumpukan 24GB **.
Untuk alasan produksi massal, Nvidia** mempertahankan sebagian kecil sebagai redundansi** untuk meningkatkan hasil.
Dibandingkan dengan A100 yang dirilis pada tahun 2020, H200 18 kali lebih cepat daripada inferensi GPT-3 175B hanya dengan meningkatkan memori.
H200 diperkirakan akan diluncurkan pada kuartal kedua tahun 2024, tetapi nama H200, chip AI terkuat, hanya dapat dimiliki selama setengah tahun.
Juga pada kuartal keempat tahun 2024, B100 berdasarkan arsitektur Blackwell generasi berikutnya juga akan tersedia, kinerja pastinya belum diketahui, dan grafik mengisyaratkan pertumbuhan eksponensial.
Beberapa pusat superkomputer akan menggunakan node superkomputer GH200
Selain chip H200 sendiri, Nvidia juga merilis serangkaian produk cluster yang terdiri darinya kali ini.
Yang pertama adalah platform HGX H200, yang dilengkapi dengan 8 H200 ke papan pembawa HGX, dengan total memori video 1,1TB, dan kecepatan operasi floating-point 8-bit lebih dari 32P (10 ^ 15) FLOPS, yang konsisten dengan data H100.
HGX menggunakan teknologi interkoneksi berkecepatan tinggi NVLink dan NVSwitch NVIDIA untuk menjalankan berbagai beban kerja aplikasi pada performa puncak, termasuk pelatihan dan inferensi untuk model besar 175B.
Sifat papan HGX yang berdiri sendiri memungkinkannya untuk dicolokkan ke sistem host yang sesuai, memungkinkan pengguna untuk menyesuaikan bagian non-GPU dari server high-end mereka.
Selanjutnya adalah node superkomputer Quad GH200 – terdiri dari 4 GH200, dan GH200 adalah kombinasi dari H200 dan Grace CPU.
Node Quad GH200 akan menawarkan 288 core CPU Arm dan total 2,3TB memori berkecepatan tinggi.
Melalui kombinasi sejumlah besar node superkomputer, H200 pada akhirnya akan membentuk superkomputer besar, dan beberapa pusat superkomputer telah mengumumkan bahwa mereka mengintegrasikan sistem GH200 ke dalam peralatan superkomputer mereka.
Menurut pengumuman resmi NVIDIA, Pusat Superkomputer Ulich Jerman akan menggunakan superchip GH200 di superkomputer Jupiter, yang berisi 24.000 node GH200 dan kekuatan 18,2 megawatt, setara dengan lebih dari 18.000 kilowatt listrik per jam.
Sistem ini dijadwalkan akan dipasang pada tahun 2024, dan setelah online, Jupiter akan menjadi superkomputer berbasis Hopper terbesar yang pernah diumumkan.
Jupiter akan memiliki sekitar 93 (10^18) FLOPS daya komputasi AI, 1E FLOPS tingkat komputasi FP64, 1,2 PB bandwidth per detik, 10,9 PB LPDDR5X dan 2,2 PB memori HBM3 lainnya.
Selain Jupiter, pusat superkomputer seperti Japan Joint Center for Advanced High Performance Computing, Texas Advanced Computing Center, dan National Supercomputing Application Center di University of Illinois di Urbana-Champaign juga telah mengumumkan bahwa mereka akan menggunakan GH200 untuk meningkatkan peralatan superkomputer mereka.
Jadi, apa cara awal bagi praktisi AI untuk mengalami GH200?
Oracle dan CoreWeave juga telah mengumumkan rencana untuk menawarkan instance GH200 tahun depan, dan Amazon, Google Cloud, dan Microsoft Azure juga akan menjadi penyedia layanan cloud pertama yang menyebarkan instance GH200.
Nvidia sendiri juga akan menyediakan akses ke GH200 melalui platform NVIDIA LaunchPad-nya.
Dalam hal produsen perangkat keras, ASUS, GIGABYTE dan produsen lain berencana untuk mulai menjual peralatan server yang dilengkapi GH200 pada akhir tahun ini.
Link Referensi:
[1]
[2]
[3]
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Chip pelatihan model paling kuat H200 dirilis!Memori besar 141G, inferensi AI meningkat hingga 90%, dan juga kompatibel dengan H100
Sumber artikel: qubits
Nvidia Lao Huang meledak lagi dengan chip GPU generasi baruH200.
Situs web resmi tanpa basa-basi mengatakan, "GPU paling kuat di dunia, dibangun untuk AI dan superkomputer".
Kali ini, memori besar 141GB langsung meningkat 76% dibandingkan dengan H100 80GB.
Sebagai GPU pertama yang dilengkapi dengan memori HBM3e, bandwidth memori juga telah ditingkatkan dari 3,35TB/dtk menjadi 4,8TB/dtk, meningkat sebesar 43%.
Dengan dukungan HBM3e, H200 hampir menggandakan kinerja inferensi Llama-70B, dan GPT3-175B juga dapat ditingkatkan sebesar 60%.
H200 sepenuhnya kompatibel dengan H100, yang berarti bahwa menambahkan H200 ke sistem yang ada tidak memerlukan penyesuaian.
** Chip AI terkuat hanya dapat digunakan selama setengah tahun **
Kecuali untuk peningkatan memori, H200 pada dasarnya sama dengan H100, yang juga termasuk dalam arsitektur Hopper.
Proses 4nm TSMC, 80 miliar transistor, interkoneksi berkecepatan tinggi NVLink 4 900GB per detik, semuanya telah sepenuhnya diwariskan.
Bahkan daya komputasi puncak tetap sama, dan datanya masih akrab dengan FP64 Vector 33.5TFlops dan FP64 Tensor 66.9TFlops.
Untuk alasan produksi massal, Nvidia** mempertahankan sebagian kecil sebagai redundansi** untuk meningkatkan hasil.
Dibandingkan dengan A100 yang dirilis pada tahun 2020, H200 18 kali lebih cepat daripada inferensi GPT-3 175B hanya dengan meningkatkan memori.
H200 diperkirakan akan diluncurkan pada kuartal kedua tahun 2024, tetapi nama H200, chip AI terkuat, hanya dapat dimiliki selama setengah tahun.
Juga pada kuartal keempat tahun 2024, B100 berdasarkan arsitektur Blackwell generasi berikutnya juga akan tersedia, kinerja pastinya belum diketahui, dan grafik mengisyaratkan pertumbuhan eksponensial.
Beberapa pusat superkomputer akan menggunakan node superkomputer GH200
Selain chip H200 sendiri, Nvidia juga merilis serangkaian produk cluster yang terdiri darinya kali ini.
Yang pertama adalah platform HGX H200, yang dilengkapi dengan 8 H200 ke papan pembawa HGX, dengan total memori video 1,1TB, dan kecepatan operasi floating-point 8-bit lebih dari 32P (10 ^ 15) FLOPS, yang konsisten dengan data H100.
HGX menggunakan teknologi interkoneksi berkecepatan tinggi NVLink dan NVSwitch NVIDIA untuk menjalankan berbagai beban kerja aplikasi pada performa puncak, termasuk pelatihan dan inferensi untuk model besar 175B.
Sifat papan HGX yang berdiri sendiri memungkinkannya untuk dicolokkan ke sistem host yang sesuai, memungkinkan pengguna untuk menyesuaikan bagian non-GPU dari server high-end mereka.
Melalui kombinasi sejumlah besar node superkomputer, H200 pada akhirnya akan membentuk superkomputer besar, dan beberapa pusat superkomputer telah mengumumkan bahwa mereka mengintegrasikan sistem GH200 ke dalam peralatan superkomputer mereka.
Menurut pengumuman resmi NVIDIA, Pusat Superkomputer Ulich Jerman akan menggunakan superchip GH200 di superkomputer Jupiter, yang berisi 24.000 node GH200 dan kekuatan 18,2 megawatt, setara dengan lebih dari 18.000 kilowatt listrik per jam.
Sistem ini dijadwalkan akan dipasang pada tahun 2024, dan setelah online, Jupiter akan menjadi superkomputer berbasis Hopper terbesar yang pernah diumumkan.
Jupiter akan memiliki sekitar 93 (10^18) FLOPS daya komputasi AI, 1E FLOPS tingkat komputasi FP64, 1,2 PB bandwidth per detik, 10,9 PB LPDDR5X dan 2,2 PB memori HBM3 lainnya.
Jadi, apa cara awal bagi praktisi AI untuk mengalami GH200?
Oracle dan CoreWeave juga telah mengumumkan rencana untuk menawarkan instance GH200 tahun depan, dan Amazon, Google Cloud, dan Microsoft Azure juga akan menjadi penyedia layanan cloud pertama yang menyebarkan instance GH200.
Nvidia sendiri juga akan menyediakan akses ke GH200 melalui platform NVIDIA LaunchPad-nya.
Dalam hal produsen perangkat keras, ASUS, GIGABYTE dan produsen lain berencana untuk mulai menjual peralatan server yang dilengkapi GH200 pada akhir tahun ini.
Link Referensi:
[1]
[2]
[3]