Görüntü kaynağı: Sınırsız Yapay Zeka tarafından oluşturulmuştur
Nvidia Lao Huang, yeni nesil GPU yongalarıH200 ile bir kez daha patlama yaptı.
Resmi web sitesi belirsiz bir şekilde "Yapay zeka ve süper bilgi işlem için oluşturulmuş dünyanın en güçlü GPU'su" dedi.
Tüm AI şirketlerinin yeterli bellek olmadığından şikayet ettiğini duydunuz mu?
Bu kez, 141GB büyük bellek, H100'ün 80GB'ına kıyasla doğrudan %76 artırıldı.
HBM3e bellekle donatılan ilk GPU olarak, bellek bant genişliği de %43'lük bir artışla 3,35 TB/sn'den 4,8 TB/sn'ye yükseltildi.
Yapay zeka için ne anlama geliyor?
HBM3e desteği ile H200, Llama-70B'nin çıkarım performansını neredeyse iki katına çıkarır ve GPT3-175B de %60 oranında geliştirilebilir.
İşte yapay zeka şirketleri için bir başka iyi haber:
H200, H100 ile tamamen uyumludur, yani H200'ü mevcut bir sisteme eklemek herhangi bir ayar gerektirmez.
En güçlü AI çipi yalnızca yarım yıl boyunca kullanılabilir
Bellek yükseltmesi dışında, H200 temelde Hopper mimarisine ait olan H100 ile aynıdır.
TSMC'nin 4nm işlemi, 80 milyar transistör, NVLink 4 900GB / saniye yüksek hızlı ara bağlantı, hepsi tamamen miras kaldı.
En yüksek bilgi işlem gücü bile aynı kalır ve veriler hala FP64 Vector 33.5TFlops ve FP64 Tensor 66.9TFlops'a aşinadır.
Belleğin neden 141 GB olduğuna gelince, AnandTech analiz ediyorHBM3e belleğin kendisi 144 GB'lık bir fiziksel kapasiteye sahiptir ve bu kapasite 24 GB'lık 6 yığından oluşur.
Seri üretim nedenleriyle Nvidia**, verimi artırmak için küçük bir kısmını yedeklilik** olarak tutar.
2020'de piyasaya sürülen A100 ile karşılaştırıldığında, H200, yalnızca belleği yükselterek GPT-18 3B'nin çıkarımından 175 kat daha hızlıdır.
H200'ün 2024'ün ikinci çeyreğinde piyasaya sürülmesi bekleniyor, ancak en güçlü AI çipi olan H200 ismine yalnızca yarım yıl boyunca sahip olunabiliyor.
Ayrıca 2024'ün dördüncü çeyreğinde, yeni nesil Blackwell mimarisine dayalı B100 de satışa sunulacak, kesin performans henüz bilinmiyor ve grafik üstel büyümeye işaret ediyor.
Birden fazla süper bilgi işlem merkezi, GH200 süper bilgi işlem düğümlerini dağıtacak
Nvidia, H200 yongasının kendisine ek olarak, bu sefer ondan oluşan bir dizi küme ürünü de piyasaya sürdü.
Birincisi, toplam 1,1 TB video belleğine ve H100 verileriyle tutarlı olan 32P(10^15) FLOPS'tan daha yüksek 8 bit kayan nokta çalışma hızına sahip, HGX taşıyıcı kartına 8 H200 ile donatılmış HGX H200 platformudur.
HGX, 175B büyük modeller için eğitim ve çıkarım dahil olmak üzere çok çeşitli uygulama iş yüklerini en yüksek performansta çalıştırmak için NVIDIA'nın NVLink ve NVSwitch yüksek hızlı ara bağlantı teknolojilerini kullanır.
HGX kartının bağımsız yapısı, uygun bir ana bilgisayara takılmasına izin vererek, kullanıcıların üst düzey sunucularının GPU olmayan bölümünü özelleştirmelerine olanak tanır.
Sıradaki Quad GH200 süper bilgi işlem düğümü - 4 GH200'den oluşur ve GH200, H200 ve Grace CPU'nun bir kombinasyonudur.
Quad GH200 düğümü, 288 Arm CPU çekirdeği ve toplam 2,3 TB yüksek hızlı bellek sunacak.
Çok sayıda süper bilgi işlem düğümünün bir kombinasyonu sayesinde, H200 sonunda büyük bir süper bilgisayar oluşturacak ve bazı süper bilgi işlem merkezleri, GH200 sistemini süper bilgi işlem ekipmanlarına entegre ettiklerini açıkladılar.
NVIDIA'nın resmi duyurusuna göre, Alman Ulich Süper Bilgi İşlem Merkezi, Jüpiter süper bilgisayarında 24.000 GH200 düğümü ve saatte 18.000 kilovattan fazla elektriğe eşdeğer 18.2 megavat güç içeren GH200 süper çipini kullanacak.
Sistemin 2024'te kurulması planlanıyor ve çevrimiçi olduğunda Jüpiter, şimdiye kadar duyurulan en büyük Hopper tabanlı süper bilgisayar olacak.
Jüpiter, yaklaşık 93 (10^18) FLOPS AI bilgi işlem gücüne, 1E FP64 bilgi işlem hızına FLOPS'a, saniyede 1,2 PB bant genişliğine, 10,9 PB LPDDR5X ve 2,2 PB HBM3 belleğe sahip olacak.
Jüpiter'e ek olarak, Japonya Gelişmiş Yüksek Performanslı Bilgi İşlem Ortak Merkezi, Teksas Gelişmiş Bilgi İşlem Merkezi ve Urbana-Champaign'deki Illinois Üniversitesi'ndeki Ulusal Süper Bilgi İşlem Uygulama Merkezi gibi süper bilgi işlem merkezleri de süper bilgi işlem ekipmanlarını yükseltmek için GH200'ü kullanacaklarını açıkladılar.
Peki, AI uygulayıcılarının GH200'ü deneyimlemesinin ilk yolları nelerdir?
Oracle ve CoreWeave ayrıca gelecek yıl GH200 bulut sunucuları sunma planlarını duyurdu ve Amazon, Google Cloud ve Microsoft Azure da GH200 örneklerini dağıtan ilk bulut hizmeti sağlayıcıları olacak.
Nvidia'nın kendisi de NVIDIA LaunchPad platformu aracılığıyla GH200'e erişim sağlayacak.
Donanım üreticileri açısından ASUS, GIGABYTE ve diğer üreticiler bu yılın sonuna kadar GH200 donanımlı sunucu ekipmanı satmaya başlamayı planlıyor.
Referans Linkleri:
[1]
[2]
[3]
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
En güçlü model eğitim çipi H200 piyasaya sürüldü!141G büyük bellek, AI çıkarımı %90'a kadar artırıldı ve ayrıca H100 ile uyumlu
Makale kaynağı: kübitler
Nvidia Lao Huang, yeni nesil GPU yongalarıH200 ile bir kez daha patlama yaptı.
Resmi web sitesi belirsiz bir şekilde "Yapay zeka ve süper bilgi işlem için oluşturulmuş dünyanın en güçlü GPU'su" dedi.
Bu kez, 141GB büyük bellek, H100'ün 80GB'ına kıyasla doğrudan %76 artırıldı.
HBM3e bellekle donatılan ilk GPU olarak, bellek bant genişliği de %43'lük bir artışla 3,35 TB/sn'den 4,8 TB/sn'ye yükseltildi.
HBM3e desteği ile H200, Llama-70B'nin çıkarım performansını neredeyse iki katına çıkarır ve GPT3-175B de %60 oranında geliştirilebilir.
H200, H100 ile tamamen uyumludur, yani H200'ü mevcut bir sisteme eklemek herhangi bir ayar gerektirmez.
En güçlü AI çipi yalnızca yarım yıl boyunca kullanılabilir
Bellek yükseltmesi dışında, H200 temelde Hopper mimarisine ait olan H100 ile aynıdır.
TSMC'nin 4nm işlemi, 80 milyar transistör, NVLink 4 900GB / saniye yüksek hızlı ara bağlantı, hepsi tamamen miras kaldı.
En yüksek bilgi işlem gücü bile aynı kalır ve veriler hala FP64 Vector 33.5TFlops ve FP64 Tensor 66.9TFlops'a aşinadır.
Seri üretim nedenleriyle Nvidia**, verimi artırmak için küçük bir kısmını yedeklilik** olarak tutar.
2020'de piyasaya sürülen A100 ile karşılaştırıldığında, H200, yalnızca belleği yükselterek GPT-18 3B'nin çıkarımından 175 kat daha hızlıdır.
H200'ün 2024'ün ikinci çeyreğinde piyasaya sürülmesi bekleniyor, ancak en güçlü AI çipi olan H200 ismine yalnızca yarım yıl boyunca sahip olunabiliyor.
Ayrıca 2024'ün dördüncü çeyreğinde, yeni nesil Blackwell mimarisine dayalı B100 de satışa sunulacak, kesin performans henüz bilinmiyor ve grafik üstel büyümeye işaret ediyor.
Birden fazla süper bilgi işlem merkezi, GH200 süper bilgi işlem düğümlerini dağıtacak
Nvidia, H200 yongasının kendisine ek olarak, bu sefer ondan oluşan bir dizi küme ürünü de piyasaya sürdü.
Birincisi, toplam 1,1 TB video belleğine ve H100 verileriyle tutarlı olan 32P(10^15) FLOPS'tan daha yüksek 8 bit kayan nokta çalışma hızına sahip, HGX taşıyıcı kartına 8 H200 ile donatılmış HGX H200 platformudur.
HGX, 175B büyük modeller için eğitim ve çıkarım dahil olmak üzere çok çeşitli uygulama iş yüklerini en yüksek performansta çalıştırmak için NVIDIA'nın NVLink ve NVSwitch yüksek hızlı ara bağlantı teknolojilerini kullanır.
HGX kartının bağımsız yapısı, uygun bir ana bilgisayara takılmasına izin vererek, kullanıcıların üst düzey sunucularının GPU olmayan bölümünü özelleştirmelerine olanak tanır.
Çok sayıda süper bilgi işlem düğümünün bir kombinasyonu sayesinde, H200 sonunda büyük bir süper bilgisayar oluşturacak ve bazı süper bilgi işlem merkezleri, GH200 sistemini süper bilgi işlem ekipmanlarına entegre ettiklerini açıkladılar.
NVIDIA'nın resmi duyurusuna göre, Alman Ulich Süper Bilgi İşlem Merkezi, Jüpiter süper bilgisayarında 24.000 GH200 düğümü ve saatte 18.000 kilovattan fazla elektriğe eşdeğer 18.2 megavat güç içeren GH200 süper çipini kullanacak.
Sistemin 2024'te kurulması planlanıyor ve çevrimiçi olduğunda Jüpiter, şimdiye kadar duyurulan en büyük Hopper tabanlı süper bilgisayar olacak.
Jüpiter, yaklaşık 93 (10^18) FLOPS AI bilgi işlem gücüne, 1E FP64 bilgi işlem hızına FLOPS'a, saniyede 1,2 PB bant genişliğine, 10,9 PB LPDDR5X ve 2,2 PB HBM3 belleğe sahip olacak.
Peki, AI uygulayıcılarının GH200'ü deneyimlemesinin ilk yolları nelerdir?
Oracle ve CoreWeave ayrıca gelecek yıl GH200 bulut sunucuları sunma planlarını duyurdu ve Amazon, Google Cloud ve Microsoft Azure da GH200 örneklerini dağıtan ilk bulut hizmeti sağlayıcıları olacak.
Nvidia'nın kendisi de NVIDIA LaunchPad platformu aracılığıyla GH200'e erişim sağlayacak.
Donanım üreticileri açısından ASUS, GIGABYTE ve diğer üreticiler bu yılın sonuna kadar GH200 donanımlı sunucu ekipmanı satmaya başlamayı planlıyor.
Referans Linkleri:
[1]
[2]
[3]