Chỉ mới hơn nửa năm kể từ khi phát hành sản phẩm NVIDIA DGX GH200 mới, và hôm nay, Huang Jenxun một lần nữa kích nổ khán giả vào giữa đêm.
**Ứng dụng Titanium Media đã học ** Tối 13/11, giờ Bắc Kinh, gã khổng lồ chip NVIDIA (NVIDIA) của Mỹ đã phát hành chip AI mạnh nhất thế giới - GPU NVIDIA H200 Tensor Core (bộ xử lý đồ họa).
NVIDIA H200 mới là bản nâng cấp cho H100 hiện tại và dựa trên kiến trúc siêu chip NVIDIA Hopper với hiệu suất cao nhất và khả năng công nghệ bộ nhớ tiên tiến để đào tạo và suy luận mô hình quy mô lớn siêu quy mô, tăng cường AI tạo ra và khối lượng công việc điện toán hiệu năng cao (HPC).
H200 là GPU đầu tiên cung cấp 4,8 TB mỗi giây và 141GB bộ nhớ HBM3e. So với H100, H200 tăng gần gấp đôi dung lượng và tăng băng thông lên 2,4 lần. Khi được sử dụng để suy luận hoặc tạo câu hỏi cho các mô hình lớn như Llama2 và GPT-3, hiệu suất H200 tốt hơn 60% đến 90% (1,6-1,9x) so với H100. Do đó, H200 có thể được triển khai trong nhiều loại trung tâm dữ liệu khác nhau, bao gồm tại chỗ, đám mây, đám mây lai và biên.
Đồng thời, so với CPU (bộ xử lý trung tâm), H200 đạt tốc độ kết quả "kinh khủng" dưới HPC: ** nhanh hơn 110 lần. **
**Đối với thị trường Trung Quốc, sáng ngày 14/11, Nvidia đã xác nhận với Titanium Media App trong email rằng H200 sẽ không thể được bán tại thị trường Trung Quốc nếu không có giấy phép xuất khẩu. **
Điều này được hiểu rằng NVIDIA H200 sẽ bắt đầu được cung cấp cho khách hàng toàn cầu và các nhà cung cấp dịch vụ đám mây vào quý II/2024, và dự kiến sẽ cạnh tranh với chip AI MI300X của AMD.
Bộ xử lý NVIDIA HGX H200 (nguồn: Trang web chính thức của Nvidia)
Cụ thể, H200 mới có hiệu suất tuyệt vời trong việc đào tạo mô hình cực lớn và hiệu suất suy luận nhờ các công nghệ phần mềm và phần cứng như kiến trúc NVIDIA Hopper và phần mềm chuyên dụng TensorRT-LLM. So với H100, H200 tăng gần gấp đôi tốc độ suy luận của mô hình lớn nguồn mở Llama 2 (70 tỷ tham số) và các bản cập nhật phần mềm trong tương lai dự kiến sẽ mang lại hiệu suất bổ sung và cải tiến cho H200.
Theo NVIDIA, H200 có thể đạt 989 nghìn tỷ hoạt động dấu phẩy động trong Nhân Tensor TF32 và 3.958 TFLOPS (3.958 nghìn tỷ hoạt động dấu phẩy động mỗi giây) trong Lõi Tensor INT8.
Không chỉ vậy, nền tảng máy chủ tăng tốc HGX H200 được xây dựng trên chip H200 có hỗ trợ kết nối tốc độ cao của NVLink và NVSwitch. Tám HGX H200 cung cấp hơn 32 petaflop (1000 nghìn tỷ thao tác dấu phẩy động mỗi giây) điện toán học sâu FP8 và 1,1TB bộ nhớ băng thông cao tổng hợp để hỗ trợ hiệu suất cao hơn cho khối lượng công việc như nghiên cứu khoa học và AI, bao gồm đào tạo và suy luận mô hình lớn với hơn 175 tỷ tham số.
So sánh các thông số kỹ thuật hiệu suất của NVIDIA H200, H100 và A100 (Nguồn: anandtech)
Theo phân tích của Anandtech, theo thông số kỹ thuật hiện tại, hiệu năng tính toán tăng tốc của H200 có thể hiểu bằng một nửa siêu chip GH200 Hopper ra mắt cách đây nửa năm, tuy nhiên điểm khác biệt là HBM3 được thay thế bằng HBM3e, băng thông bộ nhớ tăng từ 80GB lên 141GB, tốc độ tăng lên 4,8TB/s, cho phép NVIDIA tăng tốc độ xử lý và dung lượng băng thông của nội dung. Dựa trên tổng băng thông và độ rộng bus bộ nhớ, tần số bộ nhớ của H200 tăng khoảng 25% so với H100.
Titanium Media App xác nhận từ Nvidia rằng H200 mới sẽ không được bán cho Trung Quốc mà không có giấy phép xuất khẩu, bởi vì các thông số H200 cao hơn đường màu đỏ hiệu suất được Bộ Thương mại Hoa Kỳ công bố vào ngày 17 tháng 10: tổng hiệu suất xử lý của mạch tích hợp (được sử dụng trong trung tâm dữ liệu) của nhiều đơn vị xử lý kỹ thuật số là 2400-4800 và "mật độ hiệu suất" lớn hơn 1,6 và nhỏ hơn 5,92.
Vào đầu tháng 11, Nvidia đã công bố tới các đại lý thông tin sản phẩm của "China Special Edition" HGX H20, L20 PCle và L2 PCle, nhằm mục đích đào tạo, suy luận và các kịch bản biên, và sẽ được công bố sớm nhất vào ngày 16/11 và sản xuất hàng loạt sẽ từ tháng 12/2023 đến tháng 1/2024. Trong số đó, HGX H20 bị giới hạn về băng thông và tốc độ tính toán, sức mạnh tính toán toàn diện trên lý thuyết thấp hơn khoảng 80% so với NVIDIA H100, và tất nhiên nó sẽ "co lại" hơn H200.
Điều đáng nói là, ngoài H200, dựa trên chip AI dựa trên kiến trúc Grace, Hopper và Grace Hopper mà NVIDIA hiện đang bán, công ty hôm nay đã tung ra một nền tảng mới với bốn chip AI Grace Hopper GH200, được gọi là NVIDIA Quad GH200.
Quad GH200 cung cấp 288 lõi ArmCPU và tổng cộng 2,3TB bộ nhớ tốc độ cao và chồng lên bốn GH200 để kết nối chúng với 8 chip và 4 cấu trúc liên kết NVLink để tạo thành một nền tảng điện toán mạnh mẽ được cung cấp bởi CPU + GPU, có thể được cài đặt trong các hệ thống cơ sở hạ tầng để cung cấp sức mạnh tính toán dễ sử dụng và mạnh mẽ hơn.
Theo Raymond James, một tổ chức tài chính của Mỹ, chip H100 chỉ có giá 3.320 USD, nhưng giá số lượng lớn của Nvidia cho khách hàng của họ vẫn cao tới 25.000 USD đến 40.000 USD. Điều này dẫn đến tỷ suất lợi nhuận H100 hoặc cao tới 1000%, khiến nó trở thành con chip có lợi nhuận cao nhất từ trước đến nay.
Theo trang web chính thức của NVIDIA, NVIDIA H200 sẽ cung cấp năng lượng cho hơn 40 siêu máy tính AI. Các công ty bao gồm CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud và các công ty khác sẽ là nhà cung cấp dịch vụ đám mây đầu tiên triển khai các phiên bản dựa trên H200. Đồng thời, các nhà tích hợp hệ thống như Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, v.v., cũng sẽ sử dụng H200 để cập nhật các hệ thống hiện có của họ.
Đồng thời, Nvidia cũng tuyên bố hợp tác với Jupiter để cung cấp một siêu máy tính mới dựa trên 24.000 (23.762) GH200, với mức tiêu thụ điện năng thấp tới 18,2 megawatt, sẽ được lắp đặt tại cơ sở Trung tâm nghiên cứu Jülich ở Đức để nghiên cứu cơ bản trong các lĩnh vực khoa học vật liệu, khám phá thuốc, kỹ thuật công nghiệp và điện toán lượng tử. Hệ thống siêu máy tính sẽ được bàn giao và lắp đặt vào năm tới.
Ngoài ra, Nvidia cũng gợi ý trên trang web chính thức của mình rằng chip AI Nvidia B100 được công bố vào năm tới sẽ có bản nâng cấp hiệu năng cao hơn. "Kiến trúc NVIDIA Hopper mang lại một bước nhảy vọt chưa từng có về hiệu suất trong quá khứ. "
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Chip AI mạnh nhất thế giới sắp ra mắt!Hiệu suất H200 thế hệ tiếp theo của Nvidia đã tăng 90% và được xác nhận rằng nó sẽ không được bán tại Trung Quốc
Nguồn gốc: Titanium Media
Tác giả: Lin Zhijia
Chỉ mới hơn nửa năm kể từ khi phát hành sản phẩm NVIDIA DGX GH200 mới, và hôm nay, Huang Jenxun một lần nữa kích nổ khán giả vào giữa đêm.
**Ứng dụng Titanium Media đã học ** Tối 13/11, giờ Bắc Kinh, gã khổng lồ chip NVIDIA (NVIDIA) của Mỹ đã phát hành chip AI mạnh nhất thế giới - GPU NVIDIA H200 Tensor Core (bộ xử lý đồ họa).
NVIDIA H200 mới là bản nâng cấp cho H100 hiện tại và dựa trên kiến trúc siêu chip NVIDIA Hopper với hiệu suất cao nhất và khả năng công nghệ bộ nhớ tiên tiến để đào tạo và suy luận mô hình quy mô lớn siêu quy mô, tăng cường AI tạo ra và khối lượng công việc điện toán hiệu năng cao (HPC).
H200 là GPU đầu tiên cung cấp 4,8 TB mỗi giây và 141GB bộ nhớ HBM3e. So với H100, H200 tăng gần gấp đôi dung lượng và tăng băng thông lên 2,4 lần. Khi được sử dụng để suy luận hoặc tạo câu hỏi cho các mô hình lớn như Llama2 và GPT-3, hiệu suất H200 tốt hơn 60% đến 90% (1,6-1,9x) so với H100. Do đó, H200 có thể được triển khai trong nhiều loại trung tâm dữ liệu khác nhau, bao gồm tại chỗ, đám mây, đám mây lai và biên.
Đồng thời, so với CPU (bộ xử lý trung tâm), H200 đạt tốc độ kết quả "kinh khủng" dưới HPC: ** nhanh hơn 110 lần. **
**Đối với thị trường Trung Quốc, sáng ngày 14/11, Nvidia đã xác nhận với Titanium Media App trong email rằng H200 sẽ không thể được bán tại thị trường Trung Quốc nếu không có giấy phép xuất khẩu. **
Điều này được hiểu rằng NVIDIA H200 sẽ bắt đầu được cung cấp cho khách hàng toàn cầu và các nhà cung cấp dịch vụ đám mây vào quý II/2024, và dự kiến sẽ cạnh tranh với chip AI MI300X của AMD.
Cụ thể, H200 mới có hiệu suất tuyệt vời trong việc đào tạo mô hình cực lớn và hiệu suất suy luận nhờ các công nghệ phần mềm và phần cứng như kiến trúc NVIDIA Hopper và phần mềm chuyên dụng TensorRT-LLM. So với H100, H200 tăng gần gấp đôi tốc độ suy luận của mô hình lớn nguồn mở Llama 2 (70 tỷ tham số) và các bản cập nhật phần mềm trong tương lai dự kiến sẽ mang lại hiệu suất bổ sung và cải tiến cho H200.
Theo NVIDIA, H200 có thể đạt 989 nghìn tỷ hoạt động dấu phẩy động trong Nhân Tensor TF32 và 3.958 TFLOPS (3.958 nghìn tỷ hoạt động dấu phẩy động mỗi giây) trong Lõi Tensor INT8.
Không chỉ vậy, nền tảng máy chủ tăng tốc HGX H200 được xây dựng trên chip H200 có hỗ trợ kết nối tốc độ cao của NVLink và NVSwitch. Tám HGX H200 cung cấp hơn 32 petaflop (1000 nghìn tỷ thao tác dấu phẩy động mỗi giây) điện toán học sâu FP8 và 1,1TB bộ nhớ băng thông cao tổng hợp để hỗ trợ hiệu suất cao hơn cho khối lượng công việc như nghiên cứu khoa học và AI, bao gồm đào tạo và suy luận mô hình lớn với hơn 175 tỷ tham số.
Theo phân tích của Anandtech, theo thông số kỹ thuật hiện tại, hiệu năng tính toán tăng tốc của H200 có thể hiểu bằng một nửa siêu chip GH200 Hopper ra mắt cách đây nửa năm, tuy nhiên điểm khác biệt là HBM3 được thay thế bằng HBM3e, băng thông bộ nhớ tăng từ 80GB lên 141GB, tốc độ tăng lên 4,8TB/s, cho phép NVIDIA tăng tốc độ xử lý và dung lượng băng thông của nội dung. Dựa trên tổng băng thông và độ rộng bus bộ nhớ, tần số bộ nhớ của H200 tăng khoảng 25% so với H100.
Titanium Media App xác nhận từ Nvidia rằng H200 mới sẽ không được bán cho Trung Quốc mà không có giấy phép xuất khẩu, bởi vì các thông số H200 cao hơn đường màu đỏ hiệu suất được Bộ Thương mại Hoa Kỳ công bố vào ngày 17 tháng 10: tổng hiệu suất xử lý của mạch tích hợp (được sử dụng trong trung tâm dữ liệu) của nhiều đơn vị xử lý kỹ thuật số là 2400-4800 và "mật độ hiệu suất" lớn hơn 1,6 và nhỏ hơn 5,92.
Vào đầu tháng 11, Nvidia đã công bố tới các đại lý thông tin sản phẩm của "China Special Edition" HGX H20, L20 PCle và L2 PCle, nhằm mục đích đào tạo, suy luận và các kịch bản biên, và sẽ được công bố sớm nhất vào ngày 16/11 và sản xuất hàng loạt sẽ từ tháng 12/2023 đến tháng 1/2024. Trong số đó, HGX H20 bị giới hạn về băng thông và tốc độ tính toán, sức mạnh tính toán toàn diện trên lý thuyết thấp hơn khoảng 80% so với NVIDIA H100, và tất nhiên nó sẽ "co lại" hơn H200.
Điều đáng nói là, ngoài H200, dựa trên chip AI dựa trên kiến trúc Grace, Hopper và Grace Hopper mà NVIDIA hiện đang bán, công ty hôm nay đã tung ra một nền tảng mới với bốn chip AI Grace Hopper GH200, được gọi là NVIDIA Quad GH200.
Quad GH200 cung cấp 288 lõi ArmCPU và tổng cộng 2,3TB bộ nhớ tốc độ cao và chồng lên bốn GH200 để kết nối chúng với 8 chip và 4 cấu trúc liên kết NVLink để tạo thành một nền tảng điện toán mạnh mẽ được cung cấp bởi CPU + GPU, có thể được cài đặt trong các hệ thống cơ sở hạ tầng để cung cấp sức mạnh tính toán dễ sử dụng và mạnh mẽ hơn.
Theo Raymond James, một tổ chức tài chính của Mỹ, chip H100 chỉ có giá 3.320 USD, nhưng giá số lượng lớn của Nvidia cho khách hàng của họ vẫn cao tới 25.000 USD đến 40.000 USD. Điều này dẫn đến tỷ suất lợi nhuận H100 hoặc cao tới 1000%, khiến nó trở thành con chip có lợi nhuận cao nhất từ trước đến nay.
Theo trang web chính thức của NVIDIA, NVIDIA H200 sẽ cung cấp năng lượng cho hơn 40 siêu máy tính AI. Các công ty bao gồm CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud và các công ty khác sẽ là nhà cung cấp dịch vụ đám mây đầu tiên triển khai các phiên bản dựa trên H200. Đồng thời, các nhà tích hợp hệ thống như Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron, v.v., cũng sẽ sử dụng H200 để cập nhật các hệ thống hiện có của họ.
Đồng thời, Nvidia cũng tuyên bố hợp tác với Jupiter để cung cấp một siêu máy tính mới dựa trên 24.000 (23.762) GH200, với mức tiêu thụ điện năng thấp tới 18,2 megawatt, sẽ được lắp đặt tại cơ sở Trung tâm nghiên cứu Jülich ở Đức để nghiên cứu cơ bản trong các lĩnh vực khoa học vật liệu, khám phá thuốc, kỹ thuật công nghiệp và điện toán lượng tử. Hệ thống siêu máy tính sẽ được bàn giao và lắp đặt vào năm tới.