Microsoft, Google ve Meta gibi teknoloji devlerinin birbiri ardına oyuna girdiği ChatGPT'nin birkaç ay boyunca patlamaya devam ettiğini gören Intel, artık "rekabetini" resmen ilan etti.
Hafta sonu, Almanya'nın Hamburg kentinde düzenlenen Uluslararası Süper Bilgi İşlem Konferansı'nda (ISC) Yüksek Performans Konferansı'nda (HPC) Intel yalnızca HPC ve AI iş yüklerinde liderliğini göstermekle kalmadı, aynı zamanda şaşırtıcı bir planı da duyurdu: Tribute Ulusal Laboratuvarı, bir yazılım geliştirmek için el ele verdi. Aurora süper bilgisayarı ile üretken AI modeli Aurora genAI ve parametre sayısı 1 trilyona ulaşacak!
ChatGPT'nin parametre boyutunun yalnızca 175 milyar olduğunu, yani Aurora genAI modelinin bundan en az 5 kat daha büyük olacağını unutmayın.
(Intel resmi web sitesinden resim)
AI modeli, Aurora süper bilgi işlem tarafından desteklenecektir
Intel Aurora genAI modelinin iki çerçeveye dayanacağı anlaşılıyor: NVIDIA'nın Megatron'u ve Microsoft'un DeepSpeed'i.
▶ Megatron: Transformer için özel olarak optimize edilmiş, büyük ölçekli dil modellerinin dağıtılmış eğitimi için bir mimari, yalnızca geleneksel dağıtılmış eğitimdeki veri paralelliğini desteklemekle kalmaz, aynı zamanda model paralelliğini de destekler.
▶ DeepSpeed: Büyük ölçekli derin öğrenme modellerinin eğitimini optimize etmeye odaklanın. Ölçeği, hızı, maliyeti ve kullanılabilirliği iyileştirerek, 100 milyar parametre modeli eğitme yeteneğini ortaya çıkarır ve büyük ölçekli modellerin eğitimini büyük ölçüde destekler.
Bu iki çerçeveye ek olarak Aurora genAI modeli, çeşitli gecikmelerden sonra nihayet şekillenen Argonne Ulusal Laboratuvarı için tasarlanmış Intel süper bilgisayarı Aurora süper bilgisayarı tarafından da desteklenecek.
Mevcut kamuya açık bilgilere göre Aurora süper bilgisayarı, toplam 10.624 düğüm, 63.744 Ponte Vecchio GPU, 21.248 Sapphire Rapids Xeon CPU ve 1.024 dağıtılmış asenkron Nesne Depolama (DAOS) ile Intel Xeon CPU Max ve Xeon GPU Max serisi yongalar tarafından desteklenmektedir. ) depolama düğümleri ve 10,9 PB DDR5 Optane kalıcı bellek.
Ayrıca Intel, Aurora süper bilgisayarının ilk performans sonuçlarını da açıkladı: "Aurora süper bilgisayarı, bilimsel ve mühendislik iş yüklerinde lider performansa, AMD MI250 GPU'nun 2 katı performansa ve H100'e kıyasla gelişmiş QMCPACK kuantum mekaniği uygulamalarına sahiptir." %20 ve yüzlerce düğüme neredeyse doğrusal ölçekleme.
1 Exaflop'un orijinal hedefiyle karşılaştırıldığında, Aurora süper bilgisayarının bu yıl piyasaya sürüldüğünde, 2 Exaflop'tan daha fazla, yani Frontier'den daha fazla çift duyarlıklı kayan noktalı bilgi işlem performansı sağlamasının beklendiğini belirtmekte fayda var. küresel süper bilgi işlem Top 500 listesinde defalarca birinci sırada yer aldı.Süper bilgisayarlar (1.194 Exaflop/sn) daha da yüksek.
Bilim Odaklı Üretken Yapay Zeka Modeli
Güçlü Aurora süper hesaplama temeli ile Aurora genAI modelinin ölçeğinin küçük olmayacağı kesindir. Intel'in resmi tanıtımına göre Argonne Ulusal Laboratuvarı, Aurora genAI modeli için uluslararası bir işbirliğine öncülük ediyor.
Argonne laboratuvar müdür yardımcısı Rick Stevens, "Bu proje, DOE laboratuvarlarında ve diğer kurumlarla işbirliği içinde aşağı akış biliminde kullanılabilecek bir kaynak oluşturmak için Aurora süper bilgisayarının tüm potansiyelinden yararlanmayı amaçlıyor" dedi.
Genel olarak, Aurora genAI bilim odaklı üretken bir AI modelidir, bu nedenle jenerik metin, kod, bilimsel metin ve biyoloji, kimya, malzeme bilimi, fizik, tıp vb. bilimsel veriler üzerinde eğitilecektir.
Moleküllerin ve malzemelerin tasarımından milyonlarca kaynağın birleştirilmiş bilgisine kadar 1 trilyona kadar parametreyle ortaya çıkan AI modelleri, çeşitli bilimsel uygulamalarda kullanılabilir: sistem biyolojisi, kanser araştırması, iklim bilimi, kozmoloji araştırması , polimer kimyası ve malzemeleri vb. Aurora genAI modelleri, bilimin ötesinde, finansal modelleme, doğal dil işleme, makine çevirisi, görüntü tanıma ve konuşma tanıma gibi diğer alanlarda potansiyel olarak kullanılabilir.
2024'te tamamlanması planlanıyor
Ayrıca Intel, Aurora genAI modeli hakkında daha fazla bilgiyi henüz bozmadı, ancak yabancı basında çıkan haberlere göre Intel, Aurora genAI modelini geliştirip 2024 yılında tamamlamayı planlıyor - eğer iyi giderse, belki de çok fazla beklemeyeceğiz.
Bu haberin yayınlanması birçok kişinin dikkatini çekti ve Intel'in AI modeline girmesi, insanları GPT-4 gibi rakip ürünlerin gelecekteki gelişimini dört gözle beklemeye iten 1 trilyon parametrenin başladığını duyurdu:
▶ "Trilyon parametresi özel bir sınır olmalıdır, ancak şüpheci olabilir ve bunun önemsenmesi gereken çok büyük bir tam sayı olduğunu söyleyebilirsiniz. Bu modelin GPT-4'e benzer olması durumunda bunun bir veri noktası ekleyeceğine şüphe yoktur. Ama bunu ilan eden ve bunu ilan eden şirketlerle, Haziran'da zirveye ulaşacak mıyız merak ediyorum.
▶ "İnsanlar H100 ile yeni sistemler kuruyor ve halihazırda çok daha iyi AI GPU'lar var ve bu devam ederse, NVIDIA'nın önde olmak için yeni bir kartı daha erken duyurması gerekebilir."
▶ "Sanırım GPT-4 yakında birçok kıyaslama testinde SOTA'yı (son teknoloji, belirli bir görevdeki en iyi yöntem veya modeli ifade eder) korumaya devam etmeyecek ve belki de gelecekte dünyada da olacak. eğitim için en hızlı süper bilgisayar. Referans olarak, OpenAI süper bilgisayarında yaklaşık 10.000 GPU bulunurken, Aurora'da 63.744 GPU var."
Referans bağlantısı:
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
ChatGPT'den 5 kat daha büyük! Intel, 2024 yılında tamamlanması planlanan 1 trilyon parametreli AI büyük modelini resmen duyurdu.
Organize | Zheng Liyuan
İlan | CSDN (ID: CSDNnews)
Microsoft, Google ve Meta gibi teknoloji devlerinin birbiri ardına oyuna girdiği ChatGPT'nin birkaç ay boyunca patlamaya devam ettiğini gören Intel, artık "rekabetini" resmen ilan etti.
Hafta sonu, Almanya'nın Hamburg kentinde düzenlenen Uluslararası Süper Bilgi İşlem Konferansı'nda (ISC) Yüksek Performans Konferansı'nda (HPC) Intel yalnızca HPC ve AI iş yüklerinde liderliğini göstermekle kalmadı, aynı zamanda şaşırtıcı bir planı da duyurdu: Tribute Ulusal Laboratuvarı, bir yazılım geliştirmek için el ele verdi. Aurora süper bilgisayarı ile üretken AI modeli Aurora genAI ve parametre sayısı 1 trilyona ulaşacak!
ChatGPT'nin parametre boyutunun yalnızca 175 milyar olduğunu, yani Aurora genAI modelinin bundan en az 5 kat daha büyük olacağını unutmayın.
AI modeli, Aurora süper bilgi işlem tarafından desteklenecektir
Intel Aurora genAI modelinin iki çerçeveye dayanacağı anlaşılıyor: NVIDIA'nın Megatron'u ve Microsoft'un DeepSpeed'i.
▶ Megatron: Transformer için özel olarak optimize edilmiş, büyük ölçekli dil modellerinin dağıtılmış eğitimi için bir mimari, yalnızca geleneksel dağıtılmış eğitimdeki veri paralelliğini desteklemekle kalmaz, aynı zamanda model paralelliğini de destekler.
▶ DeepSpeed: Büyük ölçekli derin öğrenme modellerinin eğitimini optimize etmeye odaklanın. Ölçeği, hızı, maliyeti ve kullanılabilirliği iyileştirerek, 100 milyar parametre modeli eğitme yeteneğini ortaya çıkarır ve büyük ölçekli modellerin eğitimini büyük ölçüde destekler.
Bu iki çerçeveye ek olarak Aurora genAI modeli, çeşitli gecikmelerden sonra nihayet şekillenen Argonne Ulusal Laboratuvarı için tasarlanmış Intel süper bilgisayarı Aurora süper bilgisayarı tarafından da desteklenecek.
Mevcut kamuya açık bilgilere göre Aurora süper bilgisayarı, toplam 10.624 düğüm, 63.744 Ponte Vecchio GPU, 21.248 Sapphire Rapids Xeon CPU ve 1.024 dağıtılmış asenkron Nesne Depolama (DAOS) ile Intel Xeon CPU Max ve Xeon GPU Max serisi yongalar tarafından desteklenmektedir. ) depolama düğümleri ve 10,9 PB DDR5 Optane kalıcı bellek.
1 Exaflop'un orijinal hedefiyle karşılaştırıldığında, Aurora süper bilgisayarının bu yıl piyasaya sürüldüğünde, 2 Exaflop'tan daha fazla, yani Frontier'den daha fazla çift duyarlıklı kayan noktalı bilgi işlem performansı sağlamasının beklendiğini belirtmekte fayda var. küresel süper bilgi işlem Top 500 listesinde defalarca birinci sırada yer aldı.Süper bilgisayarlar (1.194 Exaflop/sn) daha da yüksek.
Bilim Odaklı Üretken Yapay Zeka Modeli
Güçlü Aurora süper hesaplama temeli ile Aurora genAI modelinin ölçeğinin küçük olmayacağı kesindir. Intel'in resmi tanıtımına göre Argonne Ulusal Laboratuvarı, Aurora genAI modeli için uluslararası bir işbirliğine öncülük ediyor.
Argonne laboratuvar müdür yardımcısı Rick Stevens, "Bu proje, DOE laboratuvarlarında ve diğer kurumlarla işbirliği içinde aşağı akış biliminde kullanılabilecek bir kaynak oluşturmak için Aurora süper bilgisayarının tüm potansiyelinden yararlanmayı amaçlıyor" dedi.
Genel olarak, Aurora genAI bilim odaklı üretken bir AI modelidir, bu nedenle jenerik metin, kod, bilimsel metin ve biyoloji, kimya, malzeme bilimi, fizik, tıp vb. bilimsel veriler üzerinde eğitilecektir.
Moleküllerin ve malzemelerin tasarımından milyonlarca kaynağın birleştirilmiş bilgisine kadar 1 trilyona kadar parametreyle ortaya çıkan AI modelleri, çeşitli bilimsel uygulamalarda kullanılabilir: sistem biyolojisi, kanser araştırması, iklim bilimi, kozmoloji araştırması , polimer kimyası ve malzemeleri vb. Aurora genAI modelleri, bilimin ötesinde, finansal modelleme, doğal dil işleme, makine çevirisi, görüntü tanıma ve konuşma tanıma gibi diğer alanlarda potansiyel olarak kullanılabilir.
2024'te tamamlanması planlanıyor
Ayrıca Intel, Aurora genAI modeli hakkında daha fazla bilgiyi henüz bozmadı, ancak yabancı basında çıkan haberlere göre Intel, Aurora genAI modelini geliştirip 2024 yılında tamamlamayı planlıyor - eğer iyi giderse, belki de çok fazla beklemeyeceğiz.
Bu haberin yayınlanması birçok kişinin dikkatini çekti ve Intel'in AI modeline girmesi, insanları GPT-4 gibi rakip ürünlerin gelecekteki gelişimini dört gözle beklemeye iten 1 trilyon parametrenin başladığını duyurdu:
▶ "Trilyon parametresi özel bir sınır olmalıdır, ancak şüpheci olabilir ve bunun önemsenmesi gereken çok büyük bir tam sayı olduğunu söyleyebilirsiniz. Bu modelin GPT-4'e benzer olması durumunda bunun bir veri noktası ekleyeceğine şüphe yoktur. Ama bunu ilan eden ve bunu ilan eden şirketlerle, Haziran'da zirveye ulaşacak mıyız merak ediyorum.
▶ "İnsanlar H100 ile yeni sistemler kuruyor ve halihazırda çok daha iyi AI GPU'lar var ve bu devam ederse, NVIDIA'nın önde olmak için yeni bir kartı daha erken duyurması gerekebilir."
▶ "Sanırım GPT-4 yakında birçok kıyaslama testinde SOTA'yı (son teknoloji, belirli bir görevdeki en iyi yöntem veya modeli ifade eder) korumaya devam etmeyecek ve belki de gelecekte dünyada da olacak. eğitim için en hızlı süper bilgisayar. Referans olarak, OpenAI süper bilgisayarında yaklaşık 10.000 GPU bulunurken, Aurora'da 63.744 GPU var."
Referans bağlantısı: