Baru lebih dari setengah tahun sejak rilis produk NVIDIA DGX GH200 baru, dan hari ini, Huang Jenxun sekali lagi meledakkan penonton di tengah malam.
Titanium Media App belajarPada malam 13 November, waktu Beijing, raksasa chip Amerika NVIDIA (NVIDIA) merilis chip AI paling kuat di dunia - NVIDIA H200 Tensor Core GPU (unit pemrosesan grafis).
NVIDIA H200 yang baru adalah peningkatan ke H100 saat ini dan didasarkan pada arsitektur superchip NVIDIA Hopper dengan kinerja tertinggi dan kemampuan teknologi memori canggih untuk pelatihan dan inferensi model skala besar hyperscale, meningkatkan AI generatif dan beban kerja komputasi kinerja tinggi (HPC).
H200 adalah GPU pertama yang menawarkan 4,8 TB per detik dan memori HBM3e 141GB. Dibandingkan dengan H100, H200 hampir dua kali lipat kapasitas dan meningkatkan bandwidth sebesar 2,4x. Ketika digunakan untuk inferensi atau pembuatan pertanyaan untuk model besar seperti Llama2 dan GPT-3, kinerja H200 adalah 60% hingga 90% (1,6-1,9x) lebih baik daripada H100. Akibatnya, H200 dapat digunakan di berbagai jenis pusat data, termasuk on-premise, cloud, hybrid cloud, dan edge-side.
Pada saat yang sama, dibandingkan dengan CPU (central processing unit), H200 mencapai kecepatan hasil yang "menakutkan" di bawah HPC: ** 110 kali lebih cepat. **
**Untuk pasar Cina, pada pagi hari tanggal 14 November, Nvidia mengkonfirmasi kepada Titanium Media App dalam email bahwa H200 tidak akan dapat dijual di pasar Cina tanpa memperoleh lisensi ekspor. **
Dapat dipahami bahwa NVIDIA H200 akan mulai dipasok ke pelanggan global dan penyedia layanan cloud pada kuartal kedua tahun 2024, dan diperkirakan akan bersaing dengan chip AI MI300X AMD.
Prosesor NVIDIA HGX H200 (sumber: situs web resmi Nvidia)
Secara khusus, H200 baru memiliki kinerja yang sangat baik dalam pelatihan model ultra-besar dan kinerja inferensi berkat teknologi perangkat lunak dan perangkat keras seperti arsitektur NVIDIA Hopper dan perangkat lunak khusus TensorRT-LLM. Dibandingkan dengan H100, H200 hampir dua kali lipat kecepatan inferensi model besar open-source Llama 2 (70 miliar parameter), dan pembaruan perangkat lunak di masa depan diharapkan dapat membawa kepemimpinan kinerja tambahan dan peningkatan pada H200.
Menurut NVIDIA, H200 dapat mencapai 989 triliun operasi floating-point di TF32 Tensor Cores dan 3.958 TFLOPS (3.958 triliun operasi floating-point per detik) di INT8 Tensor Cores.
Tidak hanya itu, platform server terakselerasi HGX H200 yang dibangun di atas chip H200 memiliki dukungan interkoneksi berkecepatan tinggi dari NVLink dan NVSwitch. Delapan HGX H200 menyediakan lebih dari 32 petaflop (1000 triliun operasi floating-point per detik) komputasi deep learning FP8 dan memori bandwidth tinggi agregat 1,1TB untuk mendukung performa yang lebih tinggi untuk beban kerja seperti penelitian ilmiah dan AI, termasuk pelatihan model besar dan inferensi dengan lebih dari 175 miliar parameter.
Perbandingan spesifikasi kinerja NVIDIA H200, H100 dan A100 (Sumber: anandtech)
Menurut analisis Anandtech, menurut spesifikasi saat ini, kinerja komputasi H200 yang dipercepat dapat dipahami sebagai setengah dari superchip GH200 Hopper yang dirilis setengah tahun yang lalu, tetapi perbedaannya adalah HBM3 digantikan oleh HBM3e, bandwidth memori ditingkatkan dari 80GB menjadi 141GB, dan kecepatannya ditingkatkan menjadi 4,8TB/dtk, yang memungkinkan NVIDIA untuk meningkatkan kecepatan pemrosesan dan kapasitas bandwidth konten. Berdasarkan total bandwidth dan lebar bus memori, frekuensi memori H200 meningkat sekitar 25% dibandingkan dengan H100.
Titanium Media App mengkonfirmasi dari Nvidia bahwa H200 baru tidak akan dijual ke China tanpa lisensi ekspor, karena parameter H200 lebih tinggi dari garis merah kinerja yang diumumkan oleh Departemen Perdagangan AS pada 17 Oktober: total kinerja pemrosesan sirkuit terpadu (digunakan di pusat data) dari beberapa unit pemrosesan digital adalah 2400-4800, dan "kepadatan kinerja" lebih besar dari 1,6 dan kurang dari 5,92.
Pada awal November, Nvidia telah mengumumkan kepada dealer informasi produk "China Special Edition" HGX H20, L20 PCle, dan L2 PCle, yang ditujukan untuk pelatihan, inferensi, dan skenario tepi, dan akan diumumkan paling cepat pada 16 November, dan produksi massal akan dimulai dari Desember 2023 hingga Januari 2024. Diantaranya, HGX H20 terbatas dalam hal bandwidth dan kecepatan komputasi, dan daya komputasi komprehensif teoritis sekitar 80% lebih rendah daripada NVIDIA H100, dan tentu saja akan lebih "menyusut" daripada H200.
Perlu disebutkan bahwa, selain H200, berdasarkan chip AI berdasarkan arsitektur Grace, Hopper dan Grace Hopper yang sekarang dijual NVIDIA, perusahaan hari ini meluncurkan platform baru dengan empat chip AI Grace Hopper GH200, yang disebut NVIDIA Quad GH200.
Quad GH200 menyediakan 288 inti ArmCPU dan total 2,3TB memori berkecepatan tinggi, dan melapiskan empat GH200 untuk menghubungkannya dengan 8 chip dan 4 topologi NVLink untuk membentuk platform komputasi yang kuat yang didukung oleh CPU + GPU, yang dapat dipasang dalam sistem infrastruktur untuk memberikan daya komputasi yang lebih mudah digunakan dan lebih kuat.
Menurut Raymond James, sebuah lembaga keuangan AS, chip H100 harganya hanya $ 3.320, tetapi harga massal Nvidia untuk pelanggannya masih setinggi $ 25.000 hingga $ 40.000. Ini menghasilkan margin keuntungan H100 atau setinggi 1000%, menjadikannya chip paling menguntungkan yang pernah ada.
Menurut situs resmi NVIDIA, NVIDIA H200 akan memberi daya lebih dari 40 superkomputer AI. Perusahaan termasuk CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud, dan lainnya akan menjadi penyedia layanan cloud pertama yang menerapkan instans berbasis H200. Pada saat yang sama, integrator sistem seperti Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, dll., Juga akan menggunakan H200 untuk memperbarui sistem yang ada.
Pada saat yang sama, Nvidia juga mengumumkan kemitraan dengan Jupiter untuk menyediakan superkomputer baru berdasarkan 24.000 (23.762) GH200, dengan konsumsi daya serendah 18,2 megawatt, yang akan dipasang di fasilitas Pusat Penelitian Jülich di Jerman untuk penelitian dasar di bidang ilmu material, penemuan obat, teknik industri dan komputasi kuantum. Sistem superkomputer akan dikirimkan dan dipasang tahun depan.
Selain itu, Nvidia juga mengisyaratkan di situs resminya bahwa chip AI Nvidia B100 yang diumumkan tahun depan akan memiliki peningkatan kinerja yang lebih besar. "Arsitektur NVIDIA Hopper memberikan lompatan kinerja yang belum pernah terjadi sebelumnya di masa lalu. "
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Kinerja H200 generasi berikutnya Nvidia melonjak sebesar 90%, dan dipastikan tidak akan dijual di China
Sumber asli: Titanium Media
Penulis: Lin Zhijia
Baru lebih dari setengah tahun sejak rilis produk NVIDIA DGX GH200 baru, dan hari ini, Huang Jenxun sekali lagi meledakkan penonton di tengah malam.
Titanium Media App belajarPada malam 13 November, waktu Beijing, raksasa chip Amerika NVIDIA (NVIDIA) merilis chip AI paling kuat di dunia - NVIDIA H200 Tensor Core GPU (unit pemrosesan grafis).
NVIDIA H200 yang baru adalah peningkatan ke H100 saat ini dan didasarkan pada arsitektur superchip NVIDIA Hopper dengan kinerja tertinggi dan kemampuan teknologi memori canggih untuk pelatihan dan inferensi model skala besar hyperscale, meningkatkan AI generatif dan beban kerja komputasi kinerja tinggi (HPC).
H200 adalah GPU pertama yang menawarkan 4,8 TB per detik dan memori HBM3e 141GB. Dibandingkan dengan H100, H200 hampir dua kali lipat kapasitas dan meningkatkan bandwidth sebesar 2,4x. Ketika digunakan untuk inferensi atau pembuatan pertanyaan untuk model besar seperti Llama2 dan GPT-3, kinerja H200 adalah 60% hingga 90% (1,6-1,9x) lebih baik daripada H100. Akibatnya, H200 dapat digunakan di berbagai jenis pusat data, termasuk on-premise, cloud, hybrid cloud, dan edge-side.
Pada saat yang sama, dibandingkan dengan CPU (central processing unit), H200 mencapai kecepatan hasil yang "menakutkan" di bawah HPC: ** 110 kali lebih cepat. **
**Untuk pasar Cina, pada pagi hari tanggal 14 November, Nvidia mengkonfirmasi kepada Titanium Media App dalam email bahwa H200 tidak akan dapat dijual di pasar Cina tanpa memperoleh lisensi ekspor. **
Dapat dipahami bahwa NVIDIA H200 akan mulai dipasok ke pelanggan global dan penyedia layanan cloud pada kuartal kedua tahun 2024, dan diperkirakan akan bersaing dengan chip AI MI300X AMD.
Secara khusus, H200 baru memiliki kinerja yang sangat baik dalam pelatihan model ultra-besar dan kinerja inferensi berkat teknologi perangkat lunak dan perangkat keras seperti arsitektur NVIDIA Hopper dan perangkat lunak khusus TensorRT-LLM. Dibandingkan dengan H100, H200 hampir dua kali lipat kecepatan inferensi model besar open-source Llama 2 (70 miliar parameter), dan pembaruan perangkat lunak di masa depan diharapkan dapat membawa kepemimpinan kinerja tambahan dan peningkatan pada H200.
Menurut NVIDIA, H200 dapat mencapai 989 triliun operasi floating-point di TF32 Tensor Cores dan 3.958 TFLOPS (3.958 triliun operasi floating-point per detik) di INT8 Tensor Cores.
Tidak hanya itu, platform server terakselerasi HGX H200 yang dibangun di atas chip H200 memiliki dukungan interkoneksi berkecepatan tinggi dari NVLink dan NVSwitch. Delapan HGX H200 menyediakan lebih dari 32 petaflop (1000 triliun operasi floating-point per detik) komputasi deep learning FP8 dan memori bandwidth tinggi agregat 1,1TB untuk mendukung performa yang lebih tinggi untuk beban kerja seperti penelitian ilmiah dan AI, termasuk pelatihan model besar dan inferensi dengan lebih dari 175 miliar parameter.
Menurut analisis Anandtech, menurut spesifikasi saat ini, kinerja komputasi H200 yang dipercepat dapat dipahami sebagai setengah dari superchip GH200 Hopper yang dirilis setengah tahun yang lalu, tetapi perbedaannya adalah HBM3 digantikan oleh HBM3e, bandwidth memori ditingkatkan dari 80GB menjadi 141GB, dan kecepatannya ditingkatkan menjadi 4,8TB/dtk, yang memungkinkan NVIDIA untuk meningkatkan kecepatan pemrosesan dan kapasitas bandwidth konten. Berdasarkan total bandwidth dan lebar bus memori, frekuensi memori H200 meningkat sekitar 25% dibandingkan dengan H100.
Titanium Media App mengkonfirmasi dari Nvidia bahwa H200 baru tidak akan dijual ke China tanpa lisensi ekspor, karena parameter H200 lebih tinggi dari garis merah kinerja yang diumumkan oleh Departemen Perdagangan AS pada 17 Oktober: total kinerja pemrosesan sirkuit terpadu (digunakan di pusat data) dari beberapa unit pemrosesan digital adalah 2400-4800, dan "kepadatan kinerja" lebih besar dari 1,6 dan kurang dari 5,92.
Pada awal November, Nvidia telah mengumumkan kepada dealer informasi produk "China Special Edition" HGX H20, L20 PCle, dan L2 PCle, yang ditujukan untuk pelatihan, inferensi, dan skenario tepi, dan akan diumumkan paling cepat pada 16 November, dan produksi massal akan dimulai dari Desember 2023 hingga Januari 2024. Diantaranya, HGX H20 terbatas dalam hal bandwidth dan kecepatan komputasi, dan daya komputasi komprehensif teoritis sekitar 80% lebih rendah daripada NVIDIA H100, dan tentu saja akan lebih "menyusut" daripada H200.
Perlu disebutkan bahwa, selain H200, berdasarkan chip AI berdasarkan arsitektur Grace, Hopper dan Grace Hopper yang sekarang dijual NVIDIA, perusahaan hari ini meluncurkan platform baru dengan empat chip AI Grace Hopper GH200, yang disebut NVIDIA Quad GH200.
Quad GH200 menyediakan 288 inti ArmCPU dan total 2,3TB memori berkecepatan tinggi, dan melapiskan empat GH200 untuk menghubungkannya dengan 8 chip dan 4 topologi NVLink untuk membentuk platform komputasi yang kuat yang didukung oleh CPU + GPU, yang dapat dipasang dalam sistem infrastruktur untuk memberikan daya komputasi yang lebih mudah digunakan dan lebih kuat.
Menurut Raymond James, sebuah lembaga keuangan AS, chip H100 harganya hanya $ 3.320, tetapi harga massal Nvidia untuk pelanggannya masih setinggi $ 25.000 hingga $ 40.000. Ini menghasilkan margin keuntungan H100 atau setinggi 1000%, menjadikannya chip paling menguntungkan yang pernah ada.
Menurut situs resmi NVIDIA, NVIDIA H200 akan memberi daya lebih dari 40 superkomputer AI. Perusahaan termasuk CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud, dan lainnya akan menjadi penyedia layanan cloud pertama yang menerapkan instans berbasis H200. Pada saat yang sama, integrator sistem seperti Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, dll., Juga akan menggunakan H200 untuk memperbarui sistem yang ada.
Pada saat yang sama, Nvidia juga mengumumkan kemitraan dengan Jupiter untuk menyediakan superkomputer baru berdasarkan 24.000 (23.762) GH200, dengan konsumsi daya serendah 18,2 megawatt, yang akan dipasang di fasilitas Pusat Penelitian Jülich di Jerman untuk penelitian dasar di bidang ilmu material, penemuan obat, teknik industri dan komputasi kuantum. Sistem superkomputer akan dikirimkan dan dipasang tahun depan.