Melihat ChatGPT terus meledak selama beberapa bulan, di mana raksasa teknologi seperti Microsoft, Google, dan Meta satu demi satu masuk ke dalam game, kini Intel akhirnya secara resmi mengumumkan "persaingannya".
Selama akhir pekan, pada International Supercomputing Conference (ISC) High Performance Conference (HPC) di Hamburg, Jerman, Intel tidak hanya menunjukkan kepemimpinannya dalam beban kerja HPC dan AI, tetapi juga mengumumkan rencana mengejutkan: Tribute National Laboratory bergandengan tangan untuk mengembangkan model AI generatif Aurora genAI dengan superkomputer Aurora, dan jumlah parameter akan mencapai 1 triliun!
Ketahuilah bahwa ukuran parameter ChatGPT hanya 175 miliar, artinya model genAI Aurora setidaknya akan berukuran 5 kali lebih besar darinya.
(gambar dari situs web resmi Intel)
Model AI akan didukung oleh superkomputer Aurora
Dapat dipahami bahwa model genAI Intel Aurora akan didasarkan pada dua kerangka kerja: Megatron NVIDIA dan DeepSpeed Microsoft.
▶ Megatron: Arsitektur untuk pelatihan terdistribusi model bahasa skala besar, yang dioptimalkan secara khusus untuk Transformer, tidak hanya mendukung paralelisme data dalam pelatihan terdistribusi tradisional, tetapi juga mendukung paralelisme model.
▶ DeepSpeed: Fokus pada pengoptimalan pelatihan model deep learning berskala besar. Dengan meningkatkan skala, kecepatan, biaya, dan ketersediaan, ini melepaskan kemampuan untuk melatih 100 miliar model parameter dan sangat mempromosikan pelatihan model skala besar.
Selain kedua kerangka kerja ini, model genAI Aurora juga akan ditenagai oleh superkomputer Aurora—superkomputer Intel yang dirancang untuk Laboratorium Nasional Argonne, yang akhirnya terbentuk setelah berbagai penundaan.
Menurut informasi publik saat ini, superkomputer Aurora ditenagai oleh chip seri Intel Xeon CPU Max dan Xeon GPU Max, dengan total 10.624 node, 63.744 Ponte Vecchio GPU, 21.248 Sapphire Rapids Xeon CPU, dan 1.024 didistribusikan asynchronous Object Storage (DAOS ) node penyimpanan dan memori persisten DDR5 Optane 10,9 PB.
Selain itu, Intel juga mengungkapkan hasil kinerja awal dari superkomputer Aurora: "Aurora supercomputing memiliki kinerja terdepan pada beban kerja ilmiah dan teknik, 2 kali lipat kinerja GPU AMD MI250, dan aplikasi mekanika kuantum QMCPACK yang lebih baik dibandingkan dengan H100." 20% dan penskalaan hampir linier ke ratusan node."
Perlu disebutkan bahwa, dibandingkan dengan tujuan awal 1 Exaflop, diharapkan ketika superkomputer Aurora diluncurkan tahun ini, ia akan memberikan kinerja komputasi floating-point presisi ganda lebih dari 2 Exaflop—lebih dari Frontier, yang telah berulang kali menduduki peringkat pertama dalam daftar Top500 superkomputer global Superkomputer (1,194 Exaflop/s) bahkan lebih tinggi.
Model AI Generatif Berfokus Sains
Dengan fondasi superkomputer Aurora yang kuat, skala model genAI Aurora tidak akan kecil. Menurut pengantar resmi Intel, Argonne National Laboratory memimpin kolaborasi internasional untuk model genAI Aurora.
"Proyek ini bertujuan untuk memanfaatkan potensi penuh dari superkomputer Aurora untuk menghasilkan sumber daya yang dapat digunakan dalam ilmu hilir di laboratorium DOE dan bekerja sama dengan lembaga lain," kata Rick Stevens, wakil direktur laboratorium Argonne.
Secara keseluruhan, Aurora genAI adalah model AI generatif yang berfokus pada sains, sehingga akan dilatih tentang teks umum, kode, teks ilmiah, dan data ilmiah dari biologi, kimia, ilmu material, fisika, kedokteran, dll.
Model AI yang dihasilkan, dengan hingga 1 triliun parameter, mulai dari desain molekul dan material hingga gabungan pengetahuan dari jutaan sumber, dapat digunakan dalam berbagai aplikasi ilmiah: biologi sistem, penelitian kanker, ilmu iklim, penelitian kosmologi , kimia dan bahan polimer, dll. Selain sains, model genAI Aurora juga dapat digunakan di bidang lain, seperti pemodelan keuangan, pemrosesan bahasa alami, terjemahan mesin, pengenalan gambar dan pengenalan suara, dll.
Direncanakan selesai pada tahun 2024
Selain itu, informasi lebih lanjut tentang model genAI Aurora Intel belum dibocorkan, tetapi menurut laporan media asing, Intel berencana untuk mengembangkan dan menyelesaikan model genAI Aurora pada tahun 2024 - jika berjalan dengan baik, mungkin kita tidak akan menunggu terlalu lama.
Rilis berita ini telah menarik perhatian banyak orang, dan masuknya Intel ke dalam model AI mengumumkan awal dari 1 triliun parameter, yang membuat orang menantikan pengembangan produk pesaing di masa mendatang seperti GPT-4:
▶ "Parameter triliun harus menjadi batas khusus, tetapi Anda juga bisa skeptis dan mengatakan itu hanya bilangan bulat besar yang perlu diperhatikan. Tidak ada keraguan bahwa jika model ini mirip dengan GPT-4, ini akan menambah titik data Tetapi dengan perusahaan mengumumkan ini dan mengumumkan itu, saya bertanya-tanya apakah kita akan mencapai puncaknya pada bulan Juni.”
▶ "Orang-orang sedang membangun sistem baru dengan H100, dan sudah ada GPU AI yang jauh lebih baik di luar sana, dan jika ini terus berlanjut, NVIDIA mungkin perlu mengumumkan kartu baru lebih cepat untuk tetap menjadi yang terdepan."
▶ "Saya kira GPT-4 tidak akan terus mempertahankan SOTA (kecanggihan, mengacu pada metode atau model terbaik dalam tugas tertentu) dalam banyak tes benchmark segera, dan mungkin juga akan ada di dunia di masa mendatang. superkomputer tercepat untuk pelatihan. Sebagai referensi, superkomputer OpenAI memiliki sekitar 10.000 GPU, sedangkan Aurora memiliki 63.744 GPU."
Tautan referensi:
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
5 kali lebih besar dari ChatGPT! Intel secara resmi mengumumkan model besar AI parameter 1 triliun, yang direncanakan akan selesai pada tahun 2024
Mengatur | Zheng Liyuan
Daftar | CSDN (ID: CSDNnews)
Melihat ChatGPT terus meledak selama beberapa bulan, di mana raksasa teknologi seperti Microsoft, Google, dan Meta satu demi satu masuk ke dalam game, kini Intel akhirnya secara resmi mengumumkan "persaingannya".
Selama akhir pekan, pada International Supercomputing Conference (ISC) High Performance Conference (HPC) di Hamburg, Jerman, Intel tidak hanya menunjukkan kepemimpinannya dalam beban kerja HPC dan AI, tetapi juga mengumumkan rencana mengejutkan: Tribute National Laboratory bergandengan tangan untuk mengembangkan model AI generatif Aurora genAI dengan superkomputer Aurora, dan jumlah parameter akan mencapai 1 triliun!
Ketahuilah bahwa ukuran parameter ChatGPT hanya 175 miliar, artinya model genAI Aurora setidaknya akan berukuran 5 kali lebih besar darinya.
Model AI akan didukung oleh superkomputer Aurora
Dapat dipahami bahwa model genAI Intel Aurora akan didasarkan pada dua kerangka kerja: Megatron NVIDIA dan DeepSpeed Microsoft.
▶ Megatron: Arsitektur untuk pelatihan terdistribusi model bahasa skala besar, yang dioptimalkan secara khusus untuk Transformer, tidak hanya mendukung paralelisme data dalam pelatihan terdistribusi tradisional, tetapi juga mendukung paralelisme model.
▶ DeepSpeed: Fokus pada pengoptimalan pelatihan model deep learning berskala besar. Dengan meningkatkan skala, kecepatan, biaya, dan ketersediaan, ini melepaskan kemampuan untuk melatih 100 miliar model parameter dan sangat mempromosikan pelatihan model skala besar.
Selain kedua kerangka kerja ini, model genAI Aurora juga akan ditenagai oleh superkomputer Aurora—superkomputer Intel yang dirancang untuk Laboratorium Nasional Argonne, yang akhirnya terbentuk setelah berbagai penundaan.
Menurut informasi publik saat ini, superkomputer Aurora ditenagai oleh chip seri Intel Xeon CPU Max dan Xeon GPU Max, dengan total 10.624 node, 63.744 Ponte Vecchio GPU, 21.248 Sapphire Rapids Xeon CPU, dan 1.024 didistribusikan asynchronous Object Storage (DAOS ) node penyimpanan dan memori persisten DDR5 Optane 10,9 PB.
Perlu disebutkan bahwa, dibandingkan dengan tujuan awal 1 Exaflop, diharapkan ketika superkomputer Aurora diluncurkan tahun ini, ia akan memberikan kinerja komputasi floating-point presisi ganda lebih dari 2 Exaflop—lebih dari Frontier, yang telah berulang kali menduduki peringkat pertama dalam daftar Top500 superkomputer global Superkomputer (1,194 Exaflop/s) bahkan lebih tinggi.
Model AI Generatif Berfokus Sains
Dengan fondasi superkomputer Aurora yang kuat, skala model genAI Aurora tidak akan kecil. Menurut pengantar resmi Intel, Argonne National Laboratory memimpin kolaborasi internasional untuk model genAI Aurora.
"Proyek ini bertujuan untuk memanfaatkan potensi penuh dari superkomputer Aurora untuk menghasilkan sumber daya yang dapat digunakan dalam ilmu hilir di laboratorium DOE dan bekerja sama dengan lembaga lain," kata Rick Stevens, wakil direktur laboratorium Argonne.
Secara keseluruhan, Aurora genAI adalah model AI generatif yang berfokus pada sains, sehingga akan dilatih tentang teks umum, kode, teks ilmiah, dan data ilmiah dari biologi, kimia, ilmu material, fisika, kedokteran, dll.
Model AI yang dihasilkan, dengan hingga 1 triliun parameter, mulai dari desain molekul dan material hingga gabungan pengetahuan dari jutaan sumber, dapat digunakan dalam berbagai aplikasi ilmiah: biologi sistem, penelitian kanker, ilmu iklim, penelitian kosmologi , kimia dan bahan polimer, dll. Selain sains, model genAI Aurora juga dapat digunakan di bidang lain, seperti pemodelan keuangan, pemrosesan bahasa alami, terjemahan mesin, pengenalan gambar dan pengenalan suara, dll.
Direncanakan selesai pada tahun 2024
Selain itu, informasi lebih lanjut tentang model genAI Aurora Intel belum dibocorkan, tetapi menurut laporan media asing, Intel berencana untuk mengembangkan dan menyelesaikan model genAI Aurora pada tahun 2024 - jika berjalan dengan baik, mungkin kita tidak akan menunggu terlalu lama.
Rilis berita ini telah menarik perhatian banyak orang, dan masuknya Intel ke dalam model AI mengumumkan awal dari 1 triliun parameter, yang membuat orang menantikan pengembangan produk pesaing di masa mendatang seperti GPT-4:
▶ "Parameter triliun harus menjadi batas khusus, tetapi Anda juga bisa skeptis dan mengatakan itu hanya bilangan bulat besar yang perlu diperhatikan. Tidak ada keraguan bahwa jika model ini mirip dengan GPT-4, ini akan menambah titik data Tetapi dengan perusahaan mengumumkan ini dan mengumumkan itu, saya bertanya-tanya apakah kita akan mencapai puncaknya pada bulan Juni.”
▶ "Orang-orang sedang membangun sistem baru dengan H100, dan sudah ada GPU AI yang jauh lebih baik di luar sana, dan jika ini terus berlanjut, NVIDIA mungkin perlu mengumumkan kartu baru lebih cepat untuk tetap menjadi yang terdepan."
▶ "Saya kira GPT-4 tidak akan terus mempertahankan SOTA (kecanggihan, mengacu pada metode atau model terbaik dalam tugas tertentu) dalam banyak tes benchmark segera, dan mungkin juga akan ada di dunia di masa mendatang. superkomputer tercepat untuk pelatihan. Sebagai referensi, superkomputer OpenAI memiliki sekitar 10.000 GPU, sedangkan Aurora memiliki 63.744 GPU."
Tautan referensi: