Chứng kiến ChatGPT liên tục bùng nổ từ vài tháng nay, khi các ông lớn công nghệ như Microsoft, Google, Meta lần lượt bước vào cuộc chơi, thì nay Intel cuối cùng cũng chính thức công bố "đối thủ" của mình.
Cuối tuần qua, tại Hội nghị hiệu suất cao (HPC) của Hội nghị siêu máy tính quốc tế (ISC) ở Hamburg, Đức, Intel không chỉ thể hiện khả năng dẫn đầu về khối lượng công việc HPC và AI mà còn công bố một kế hoạch đầy bất ngờ: Phòng thí nghiệm quốc gia Tribute chung tay phát triển một mô hình AI sáng tạo Aurora genAI với siêu máy tính Aurora và số lượng tham số sẽ đạt tới 1 nghìn tỷ!
Cần biết rằng kích thước tham số của ChatGPT chỉ là 175 tỷ, tức là mô hình genAI của Aurora sẽ lớn hơn nó ít nhất 5 lần.
(hình ảnh từ trang web chính thức của Intel)
Mô hình AI sẽ được cung cấp bởi siêu máy tính Aurora
Được biết, mô hình genAI Intel Aurora sẽ dựa trên hai khung: Megatron của NVIDIA và DeepSpeed của Microsoft.
▶ Megatron: Kiến trúc dành cho đào tạo phân tán các mô hình ngôn ngữ quy mô lớn, được tối ưu hóa riêng cho Transformer, không chỉ hỗ trợ tính song song dữ liệu trong đào tạo phân tán truyền thống mà còn hỗ trợ tính song song của mô hình.
▶ DeepSpeed: Tập trung vào việc tối ưu hóa việc đào tạo các mô hình học sâu quy mô lớn. Bằng cách cải thiện quy mô, tốc độ, chi phí và tính khả dụng, nó giải phóng khả năng đào tạo 100 tỷ mô hình tham số và thúc đẩy mạnh mẽ việc đào tạo các mô hình quy mô lớn.
Ngoài hai khung này, mô hình Aurora genAI cũng sẽ được cung cấp bởi siêu máy tính Aurora—siêu máy tính mà Intel thiết kế cho Phòng thí nghiệm quốc gia Argonne, cuối cùng đã thành hình sau nhiều lần trì hoãn.
Theo thông tin công khai hiện tại, siêu máy tính Aurora được trang bị chip Intel Xeon CPU Max và Xeon GPU Max series, với tổng số 10.624 nút, 63.744 GPU Ponte Vecchio, 21.248 CPU Sapphire Rapids Xeon và 1.024 Bộ lưu trữ đối tượng không đồng bộ phân tán (DAOS). ) các nút lưu trữ và 10,9 PB bộ nhớ không đổi DDR5 Optane.
Ngoài ra, Intel cũng tiết lộ kết quả hiệu năng ban đầu của siêu máy tính Aurora: “Siêu máy tính Aurora có hiệu suất dẫn đầu về khối lượng công việc khoa học và kỹ thuật, hiệu suất gấp 2 lần GPU AMD MI250 và các ứng dụng cơ học lượng tử QMCPACK được cải thiện 20% và quy mô gần như tuyến tính đến hàng trăm nút.”
Điều đáng nói là, so với mục tiêu ban đầu là 1 Exaflop, dự kiến khi siêu máy tính Aurora được tung ra thị trường vào năm nay, nó sẽ cung cấp hiệu năng tính toán dấu phẩy động có độ chính xác kép cao hơn 2 Exaflop—nhiều hơn cả Frontier. đã nhiều lần đứng đầu trong danh sách Top500 siêu máy tính toàn cầu, siêu máy tính (1.194 Exaflop/s) thậm chí còn cao hơn.
Mô hình AI sáng tạo tập trung vào khoa học
Với nền tảng siêu máy tính Aurora mạnh mẽ, chắc chắn quy mô của mô hình Aurora genAI sẽ không hề nhỏ. Theo giới thiệu chính thức của Intel, Phòng thí nghiệm quốc gia Argonne đang dẫn đầu một dự án hợp tác quốc tế cho mô hình genAI Aurora.
Rick Stevens, phó giám đốc phòng thí nghiệm Argonne cho biết: “Dự án này nhằm mục đích khai thác toàn bộ tiềm năng của siêu máy tính Aurora để tạo ra một nguồn tài nguyên có thể được sử dụng trong khoa học hạ nguồn tại các phòng thí nghiệm của DOE và hợp tác với các cơ quan khác”.
Nhìn chung, Aurora genAI là một mô hình AI tổng quát tập trung vào khoa học, vì vậy nó sẽ được đào tạo về văn bản chung, mã, văn bản khoa học và dữ liệu khoa học từ sinh học, hóa học, khoa học vật liệu, vật lý, y học, v.v.
Các mô hình AI thu được, với tối đa 1 nghìn tỷ tham số, từ thiết kế phân tử và vật liệu đến kiến thức kết hợp của hàng triệu nguồn, có thể được sử dụng trong nhiều ứng dụng khoa học: hệ thống sinh học, nghiên cứu ung thư, khoa học khí hậu, nghiên cứu vũ trụ , hóa học và vật liệu polyme, v.v. Ngoài khoa học, các mô hình Aurora genAI cũng có thể được sử dụng trong các lĩnh vực khác, chẳng hạn như lập mô hình tài chính, xử lý ngôn ngữ tự nhiên, dịch máy, nhận dạng hình ảnh và nhận dạng giọng nói, v.v.
Dự kiến hoàn thành vào năm 2024
Ngoài ra, Intel vẫn chưa tiết lộ thêm thông tin về mô hình Aurora genAI, nhưng theo thông tin từ báo chí nước ngoài, Intel dự định sẽ phát triển và hoàn thiện mô hình Aurora genAI vào năm 2024 - nếu suôn sẻ, có lẽ chúng ta sẽ không phải đợi nữa. dài dài.
Việc đưa ra tin tức này đã thu hút sự chú ý của nhiều người và việc Intel tham gia vào mô hình AI đã công bố bắt đầu 1 nghìn tỷ tham số, điều này khiến mọi người mong chờ sự phát triển trong tương lai của các sản phẩm cạnh tranh như GPT-4:
▶ "Thông số nghìn tỷ phải là một giới hạn đặc biệt, nhưng bạn cũng có thể hoài nghi và nói rằng đó chỉ là một số nguyên khổng lồ cần quan tâm. Không nghi ngờ gì nếu mô hình này tương tự như GPT-4, điều này sẽ thêm một điểm dữ liệu .Nhưng với việc các công ty thông báo điều này thông báo điều kia, tôi tự hỏi liệu chúng ta có đạt đỉnh vào tháng 6 hay không.”
▶ "Mọi người đang xây dựng các hệ thống mới với H100 và hiện đã có những GPU AI tốt hơn đáng kể và nếu điều này tiếp tục, NVIDIA có thể cần phải công bố một thẻ mới sớm hơn để tiếp tục dẫn đầu."
▶ "Tôi đoán GPT-4 sẽ không tiếp tục duy trì SOTA (hiện đại, đề cập đến phương pháp hoặc mô hình tốt nhất trong một tác vụ cụ thể) trong nhiều bài kiểm tra điểm chuẩn và có thể nó cũng sẽ xuất hiện trên thế giới trong tương lai. siêu máy tính nhanh nhất để đào tạo. Để tham khảo, siêu máy tính OpenAI có khoảng 10.000 GPU, trong khi Aurora có 63.744 GPU."
Liên kết tham khảo:
Xem bản gốc
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Lớn gấp 5 lần so với ChatGPT! Intel chính thức công bố mô hình lớn AI 1 nghìn tỷ tham số, dự kiến hoàn thành vào năm 2024
Tổ chức | Trịnh Lệ Viên
Liệt kê | CSDN (ID: CSDNnews)
Chứng kiến ChatGPT liên tục bùng nổ từ vài tháng nay, khi các ông lớn công nghệ như Microsoft, Google, Meta lần lượt bước vào cuộc chơi, thì nay Intel cuối cùng cũng chính thức công bố "đối thủ" của mình.
Cuối tuần qua, tại Hội nghị hiệu suất cao (HPC) của Hội nghị siêu máy tính quốc tế (ISC) ở Hamburg, Đức, Intel không chỉ thể hiện khả năng dẫn đầu về khối lượng công việc HPC và AI mà còn công bố một kế hoạch đầy bất ngờ: Phòng thí nghiệm quốc gia Tribute chung tay phát triển một mô hình AI sáng tạo Aurora genAI với siêu máy tính Aurora và số lượng tham số sẽ đạt tới 1 nghìn tỷ!
Cần biết rằng kích thước tham số của ChatGPT chỉ là 175 tỷ, tức là mô hình genAI của Aurora sẽ lớn hơn nó ít nhất 5 lần.
Mô hình AI sẽ được cung cấp bởi siêu máy tính Aurora
Được biết, mô hình genAI Intel Aurora sẽ dựa trên hai khung: Megatron của NVIDIA và DeepSpeed của Microsoft.
▶ Megatron: Kiến trúc dành cho đào tạo phân tán các mô hình ngôn ngữ quy mô lớn, được tối ưu hóa riêng cho Transformer, không chỉ hỗ trợ tính song song dữ liệu trong đào tạo phân tán truyền thống mà còn hỗ trợ tính song song của mô hình.
▶ DeepSpeed: Tập trung vào việc tối ưu hóa việc đào tạo các mô hình học sâu quy mô lớn. Bằng cách cải thiện quy mô, tốc độ, chi phí và tính khả dụng, nó giải phóng khả năng đào tạo 100 tỷ mô hình tham số và thúc đẩy mạnh mẽ việc đào tạo các mô hình quy mô lớn.
Ngoài hai khung này, mô hình Aurora genAI cũng sẽ được cung cấp bởi siêu máy tính Aurora—siêu máy tính mà Intel thiết kế cho Phòng thí nghiệm quốc gia Argonne, cuối cùng đã thành hình sau nhiều lần trì hoãn.
Theo thông tin công khai hiện tại, siêu máy tính Aurora được trang bị chip Intel Xeon CPU Max và Xeon GPU Max series, với tổng số 10.624 nút, 63.744 GPU Ponte Vecchio, 21.248 CPU Sapphire Rapids Xeon và 1.024 Bộ lưu trữ đối tượng không đồng bộ phân tán (DAOS). ) các nút lưu trữ và 10,9 PB bộ nhớ không đổi DDR5 Optane.
Điều đáng nói là, so với mục tiêu ban đầu là 1 Exaflop, dự kiến khi siêu máy tính Aurora được tung ra thị trường vào năm nay, nó sẽ cung cấp hiệu năng tính toán dấu phẩy động có độ chính xác kép cao hơn 2 Exaflop—nhiều hơn cả Frontier. đã nhiều lần đứng đầu trong danh sách Top500 siêu máy tính toàn cầu, siêu máy tính (1.194 Exaflop/s) thậm chí còn cao hơn.
Mô hình AI sáng tạo tập trung vào khoa học
Với nền tảng siêu máy tính Aurora mạnh mẽ, chắc chắn quy mô của mô hình Aurora genAI sẽ không hề nhỏ. Theo giới thiệu chính thức của Intel, Phòng thí nghiệm quốc gia Argonne đang dẫn đầu một dự án hợp tác quốc tế cho mô hình genAI Aurora.
Rick Stevens, phó giám đốc phòng thí nghiệm Argonne cho biết: “Dự án này nhằm mục đích khai thác toàn bộ tiềm năng của siêu máy tính Aurora để tạo ra một nguồn tài nguyên có thể được sử dụng trong khoa học hạ nguồn tại các phòng thí nghiệm của DOE và hợp tác với các cơ quan khác”.
Nhìn chung, Aurora genAI là một mô hình AI tổng quát tập trung vào khoa học, vì vậy nó sẽ được đào tạo về văn bản chung, mã, văn bản khoa học và dữ liệu khoa học từ sinh học, hóa học, khoa học vật liệu, vật lý, y học, v.v.
Các mô hình AI thu được, với tối đa 1 nghìn tỷ tham số, từ thiết kế phân tử và vật liệu đến kiến thức kết hợp của hàng triệu nguồn, có thể được sử dụng trong nhiều ứng dụng khoa học: hệ thống sinh học, nghiên cứu ung thư, khoa học khí hậu, nghiên cứu vũ trụ , hóa học và vật liệu polyme, v.v. Ngoài khoa học, các mô hình Aurora genAI cũng có thể được sử dụng trong các lĩnh vực khác, chẳng hạn như lập mô hình tài chính, xử lý ngôn ngữ tự nhiên, dịch máy, nhận dạng hình ảnh và nhận dạng giọng nói, v.v.
Dự kiến hoàn thành vào năm 2024
Ngoài ra, Intel vẫn chưa tiết lộ thêm thông tin về mô hình Aurora genAI, nhưng theo thông tin từ báo chí nước ngoài, Intel dự định sẽ phát triển và hoàn thiện mô hình Aurora genAI vào năm 2024 - nếu suôn sẻ, có lẽ chúng ta sẽ không phải đợi nữa. dài dài.
Việc đưa ra tin tức này đã thu hút sự chú ý của nhiều người và việc Intel tham gia vào mô hình AI đã công bố bắt đầu 1 nghìn tỷ tham số, điều này khiến mọi người mong chờ sự phát triển trong tương lai của các sản phẩm cạnh tranh như GPT-4:
▶ "Thông số nghìn tỷ phải là một giới hạn đặc biệt, nhưng bạn cũng có thể hoài nghi và nói rằng đó chỉ là một số nguyên khổng lồ cần quan tâm. Không nghi ngờ gì nếu mô hình này tương tự như GPT-4, điều này sẽ thêm một điểm dữ liệu .Nhưng với việc các công ty thông báo điều này thông báo điều kia, tôi tự hỏi liệu chúng ta có đạt đỉnh vào tháng 6 hay không.”
▶ "Mọi người đang xây dựng các hệ thống mới với H100 và hiện đã có những GPU AI tốt hơn đáng kể và nếu điều này tiếp tục, NVIDIA có thể cần phải công bố một thẻ mới sớm hơn để tiếp tục dẫn đầu."
▶ "Tôi đoán GPT-4 sẽ không tiếp tục duy trì SOTA (hiện đại, đề cập đến phương pháp hoặc mô hình tốt nhất trong một tác vụ cụ thể) trong nhiều bài kiểm tra điểm chuẩn và có thể nó cũng sẽ xuất hiện trên thế giới trong tương lai. siêu máy tính nhanh nhất để đào tạo. Để tham khảo, siêu máy tính OpenAI có khoảng 10.000 GPU, trong khi Aurora có 63.744 GPU."
Liên kết tham khảo: