Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yeni NVIDIA DGX GH200 ürününün piyasaya sürülmesinden bu yana sadece yarım yıldan fazla zaman geçti ve bugün Huang Jenxun gecenin bir yarısı seyirciyi bir kez daha patlattı.
Titanium Media Uygulaması öğrenildi13 Kasım akşamı, Pekin saatiyle, Amerikan çip devi NVIDIA (NVIDIA) dünyanın en güçlü AI çipi olan NVIDIA H200 Tensor Core GPU'yu (grafik işlem birimi) piyasaya sürdü.
Yeni NVIDIA H200, mevcut H100'ün bir yükseltmesidir ve hiper ölçekli büyük ölçekli model eğitimi ve çıkarımı için en yüksek performansa ve gelişmiş bellek teknolojisi özelliklerine sahip NVIDIA Hopper süper çip mimarisini temel alarak üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yüklerini geliştirir.
H200, saniyede 4,8 TB ve 141 GB HBM3e bellek sunan ilk GPU'dur. H100 ile karşılaştırıldığında, H200 kapasiteyi neredeyse iki katına çıkarır ve bant genişliğini 2,4 kat artırır. Llama2 ve GPT-3 gibi büyük modeller için çıkarım veya soru oluşturma için kullanıldığında, H200 performansı H100'den %60 ila %90 (1,6-1,9x) daha iyidir. Sonuç olarak H200, şirket içi, bulut, hibrit bulut ve uç tarafı dahil olmak üzere çeşitli veri merkezi türlerinde dağıtılabilir.
Aynı zamanda, CPU (merkezi işlem birimi) ile karşılaştırıldığında, H200, HPC altında "korkunç" bir sonuç hızına ulaşır: ** 110 kat daha hızlı. **
**Çin pazarı için, 14 Kasım sabahı Nvidia, Titanium Media App'e bir e-postada H200'ün ihracat lisansı almadan Çin pazarında satılamayacağını doğruladı. **
NVIDIA H200'ün 2024'ün ikinci çeyreğinde küresel müşterilere ve bulut hizmeti sağlayıcılarına tedarik edilmeye başlanacağı ve AMD'nin MI300X AI çipi ile rekabet etmesinin beklendiği anlaşılıyor.
NVIDIA HGX H200 işlemci (kaynak: Nvidia resmi web sitesi)
Özellikle, yeni H200, NVIDIA Hopper mimarisi ve TensorRT-LLM'ye özel yazılım gibi yazılım ve donanım teknolojileri sayesinde ultra büyük model eğitimi ve çıkarım performansında mükemmel performansa sahiptir. H100 ile karşılaştırıldığında, H200, Llama 2 (70 milyar parametre) açık kaynaklı büyük modelin çıkarım hızını neredeyse iki katına çıkarıyor ve gelecekteki yazılım güncellemelerinin H200'e ek performans liderliği ve iyileştirmeler getirmesi bekleniyor.
NVIDIA'ya göre H200, TF989 Tensör Çekirdeklerinde 32 trilyon kayan nokta işlemine ve INT3,958 Tensör Çekirdeklerinde 3,958 TFLOPS'a (saniyede 3,958 trilyon kayan nokta işlemi) ulaşabilir.
Sadece bu da değil, H200 yongası üzerine kurulu HGX H200 hızlandırılmış sunucu platformu, NVLink ve NVSwitch'in yüksek hızlı ara bağlantı desteğine sahiptir. Sekiz HGX H200, 32 petaflop'tan (saniyede 1000 trilyon kayan nokta işlemi) fazla FP8 derin öğrenme bilgi işlem ve 1,1 TB toplam yüksek bant genişliğine sahip bellek sağlayarak büyük model eğitimi ve 175 milyardan fazla parametreyle çıkarım dahil olmak üzere bilimsel araştırma ve yapay zeka gibi iş yükleri için daha yüksek performansı destekler.
NVIDIA H200, H100 ve A100'ün performans özelliklerinin karşılaştırılması (Kaynak: anandtech)
Anandtech'in analizine göre, mevcut spesifikasyonlara göre, H200'ün hızlandırılmış bilgi işlem performansı, yarım yıl önce piyasaya sürülen GH200 Hopper süper çipinin yarısı olarak anlaşılabilir, ancak fark, HBM3'ün HBM3e ile değiştirilmesi, bellek bant genişliğinin 80 GB'tan 141 GB'a çıkarılması ve hızın 4.8 TB/sn'ye çıkarılmasıdır, bu da NVIDIA'nın içeriğin işlem hızını ve bant genişliği kapasitesini artırmasına olanak tanır. Toplam bant genişliği ve bellek veri yolu genişliğine bağlı olarak, H200'ün bellek frekansı H100'e kıyasla yaklaşık %25 artar.
Titanium Media App, Nvidia'dan yeni H200'ün ihracat lisansı olmadan Çin'e satılmayacağını doğruladı, çünkü H200 parametreleri ABD Ticaret Bakanlığı tarafından 17 Ekim'de açıklanan performans kırmızı çizgisinden daha yüksek: birden fazla dijital işlem biriminin entegre devresinin (veri merkezinde kullanılan) toplam işlem performansı 2400-4800'dür ve "performans yoğunluğu" 1.6'dan büyük ve 5.92'den azdır.
Kasım ayının başında Nvidia, eğitim, çıkarım ve uç senaryoları hedefleyen ve en erken 16 Kasım'da duyurulacak olan ve seri üretimi Aralık 2023'ten Ocak 2024'e kadar olacak "China Special Edition" HGX H20, L20 PCle ve L2 PCle'ın ürün bilgilerini bayilere duyurdu. Bunlar arasında, HGX H20 bant genişliği ve bilgi işlem hızı açısından sınırlıdır ve teorik kapsamlı bilgi işlem gücü NVIDIA H100'ünkinden yaklaşık% 80 daha düşüktür ve elbette H200'den daha "küçülecek" olacaktır.
NVIDIA'nın şu anda sattığı Grace, Hopper ve Grace Hopper mimarilerine dayalı AI yongalarına dayanan H200'e ek olarak, şirketin bugün NVIDIA Quad GH200 adlı dört Grace Hopper GH200 AI yongasına sahip yeni bir platform başlattığını belirtmekte fayda var.
Quad GH200, 288 ArmCPU çekirdeği ve toplam 2,3 TB yüksek hızlı bellek sağlar ve kullanımı daha kolay ve daha güçlü bilgi işlem gücü sağlamak için altyapı sistemlerine kurulabilen CPU+GPU tarafından desteklenen güçlü bir bilgi işlem platformu oluşturmak için bunları 8 yonga ve 4 NVLink topolojisi ile bağlamak için dört GH200'ü üst üste bindirir.
ABD'li bir finans kurumu olan Raymond James'e göre, H100 yongası sadece 3.320 dolara mal oluyor, ancak Nvidia'nın müşterileri için toplu fiyatı hala 25.000 ila 40.000 dolar arasında değişiyor. Bu, H100 kar marjları veya %1000'e varan oranlarda sonuçlandı ve bu da onu şimdiye kadarki en karlı çip haline getirdi.
NVIDIA'nın resmi web sitesine göre, NVIDIA H200, 40'tan fazla AI süper bilgisayarına güç verecek. CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud ve diğerleri dahil olmak üzere şirketler, H200 tabanlı örnekleri dağıtan ilk bulut hizmeti sağlayıcıları olacak. Aynı zamanda Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron vb. sistem entegratörleri de mevcut sistemlerini güncellemek için H200'ü kullanacak.
Aynı zamanda Nvidia, malzeme bilimi, ilaç keşfi, endüstri mühendisliği ve kuantum hesaplama alanlarında temel araştırmalar için Almanya'daki Jülich Araştırma Merkezi tesisine kurulacak olan 18.2 megawatt kadar düşük güç tüketimine sahip 24.000 (23.762) GH200'e dayalı yeni bir süper bilgisayar sağlamak için Jüpiter ile bir ortaklık kurduğunu da duyurdu. Süper bilgi işlem sistemi gelecek yıl teslim edilecek ve kurulacak.
Ayrıca Nvidia, resmi web sitesinde gelecek yıl duyurulan Nvidia B100 AI çipinin daha büyük bir performans yükseltmesine sahip olacağını da ima etti. "NVIDIA Hopper mimarisi, geçmişte performansta benzeri görülmemiş bir sıçrama sağlıyor. "
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Dünyanın en güçlü yapay zeka çipi geliyor!Nvidia'nın yeni nesil H200 performansı %90 arttı ve Çin'de satılmayacağı doğrulandı
Orijinal kaynak: Titanium Media
Yazar: Lin Zhijia
Yeni NVIDIA DGX GH200 ürününün piyasaya sürülmesinden bu yana sadece yarım yıldan fazla zaman geçti ve bugün Huang Jenxun gecenin bir yarısı seyirciyi bir kez daha patlattı.
Titanium Media Uygulaması öğrenildi13 Kasım akşamı, Pekin saatiyle, Amerikan çip devi NVIDIA (NVIDIA) dünyanın en güçlü AI çipi olan NVIDIA H200 Tensor Core GPU'yu (grafik işlem birimi) piyasaya sürdü.
Yeni NVIDIA H200, mevcut H100'ün bir yükseltmesidir ve hiper ölçekli büyük ölçekli model eğitimi ve çıkarımı için en yüksek performansa ve gelişmiş bellek teknolojisi özelliklerine sahip NVIDIA Hopper süper çip mimarisini temel alarak üretken yapay zeka ve yüksek performanslı bilgi işlem (HPC) iş yüklerini geliştirir.
H200, saniyede 4,8 TB ve 141 GB HBM3e bellek sunan ilk GPU'dur. H100 ile karşılaştırıldığında, H200 kapasiteyi neredeyse iki katına çıkarır ve bant genişliğini 2,4 kat artırır. Llama2 ve GPT-3 gibi büyük modeller için çıkarım veya soru oluşturma için kullanıldığında, H200 performansı H100'den %60 ila %90 (1,6-1,9x) daha iyidir. Sonuç olarak H200, şirket içi, bulut, hibrit bulut ve uç tarafı dahil olmak üzere çeşitli veri merkezi türlerinde dağıtılabilir.
Aynı zamanda, CPU (merkezi işlem birimi) ile karşılaştırıldığında, H200, HPC altında "korkunç" bir sonuç hızına ulaşır: ** 110 kat daha hızlı. **
**Çin pazarı için, 14 Kasım sabahı Nvidia, Titanium Media App'e bir e-postada H200'ün ihracat lisansı almadan Çin pazarında satılamayacağını doğruladı. **
NVIDIA H200'ün 2024'ün ikinci çeyreğinde küresel müşterilere ve bulut hizmeti sağlayıcılarına tedarik edilmeye başlanacağı ve AMD'nin MI300X AI çipi ile rekabet etmesinin beklendiği anlaşılıyor.
Özellikle, yeni H200, NVIDIA Hopper mimarisi ve TensorRT-LLM'ye özel yazılım gibi yazılım ve donanım teknolojileri sayesinde ultra büyük model eğitimi ve çıkarım performansında mükemmel performansa sahiptir. H100 ile karşılaştırıldığında, H200, Llama 2 (70 milyar parametre) açık kaynaklı büyük modelin çıkarım hızını neredeyse iki katına çıkarıyor ve gelecekteki yazılım güncellemelerinin H200'e ek performans liderliği ve iyileştirmeler getirmesi bekleniyor.
NVIDIA'ya göre H200, TF989 Tensör Çekirdeklerinde 32 trilyon kayan nokta işlemine ve INT3,958 Tensör Çekirdeklerinde 3,958 TFLOPS'a (saniyede 3,958 trilyon kayan nokta işlemi) ulaşabilir.
Sadece bu da değil, H200 yongası üzerine kurulu HGX H200 hızlandırılmış sunucu platformu, NVLink ve NVSwitch'in yüksek hızlı ara bağlantı desteğine sahiptir. Sekiz HGX H200, 32 petaflop'tan (saniyede 1000 trilyon kayan nokta işlemi) fazla FP8 derin öğrenme bilgi işlem ve 1,1 TB toplam yüksek bant genişliğine sahip bellek sağlayarak büyük model eğitimi ve 175 milyardan fazla parametreyle çıkarım dahil olmak üzere bilimsel araştırma ve yapay zeka gibi iş yükleri için daha yüksek performansı destekler.
Anandtech'in analizine göre, mevcut spesifikasyonlara göre, H200'ün hızlandırılmış bilgi işlem performansı, yarım yıl önce piyasaya sürülen GH200 Hopper süper çipinin yarısı olarak anlaşılabilir, ancak fark, HBM3'ün HBM3e ile değiştirilmesi, bellek bant genişliğinin 80 GB'tan 141 GB'a çıkarılması ve hızın 4.8 TB/sn'ye çıkarılmasıdır, bu da NVIDIA'nın içeriğin işlem hızını ve bant genişliği kapasitesini artırmasına olanak tanır. Toplam bant genişliği ve bellek veri yolu genişliğine bağlı olarak, H200'ün bellek frekansı H100'e kıyasla yaklaşık %25 artar.
Titanium Media App, Nvidia'dan yeni H200'ün ihracat lisansı olmadan Çin'e satılmayacağını doğruladı, çünkü H200 parametreleri ABD Ticaret Bakanlığı tarafından 17 Ekim'de açıklanan performans kırmızı çizgisinden daha yüksek: birden fazla dijital işlem biriminin entegre devresinin (veri merkezinde kullanılan) toplam işlem performansı 2400-4800'dür ve "performans yoğunluğu" 1.6'dan büyük ve 5.92'den azdır.
Kasım ayının başında Nvidia, eğitim, çıkarım ve uç senaryoları hedefleyen ve en erken 16 Kasım'da duyurulacak olan ve seri üretimi Aralık 2023'ten Ocak 2024'e kadar olacak "China Special Edition" HGX H20, L20 PCle ve L2 PCle'ın ürün bilgilerini bayilere duyurdu. Bunlar arasında, HGX H20 bant genişliği ve bilgi işlem hızı açısından sınırlıdır ve teorik kapsamlı bilgi işlem gücü NVIDIA H100'ünkinden yaklaşık% 80 daha düşüktür ve elbette H200'den daha "küçülecek" olacaktır.
NVIDIA'nın şu anda sattığı Grace, Hopper ve Grace Hopper mimarilerine dayalı AI yongalarına dayanan H200'e ek olarak, şirketin bugün NVIDIA Quad GH200 adlı dört Grace Hopper GH200 AI yongasına sahip yeni bir platform başlattığını belirtmekte fayda var.
Quad GH200, 288 ArmCPU çekirdeği ve toplam 2,3 TB yüksek hızlı bellek sağlar ve kullanımı daha kolay ve daha güçlü bilgi işlem gücü sağlamak için altyapı sistemlerine kurulabilen CPU+GPU tarafından desteklenen güçlü bir bilgi işlem platformu oluşturmak için bunları 8 yonga ve 4 NVLink topolojisi ile bağlamak için dört GH200'ü üst üste bindirir.
ABD'li bir finans kurumu olan Raymond James'e göre, H100 yongası sadece 3.320 dolara mal oluyor, ancak Nvidia'nın müşterileri için toplu fiyatı hala 25.000 ila 40.000 dolar arasında değişiyor. Bu, H100 kar marjları veya %1000'e varan oranlarda sonuçlandı ve bu da onu şimdiye kadarki en karlı çip haline getirdi.
NVIDIA'nın resmi web sitesine göre, NVIDIA H200, 40'tan fazla AI süper bilgisayarına güç verecek. CoreWeave, Amazon AWS, Google Cloud, Microsoft Azure, Oracle Cloud ve diğerleri dahil olmak üzere şirketler, H200 tabanlı örnekleri dağıtan ilk bulut hizmeti sağlayıcıları olacak. Aynı zamanda Asus, Dell Technologies, HP, Lenovo, Supermicro, Wistron vb. sistem entegratörleri de mevcut sistemlerini güncellemek için H200'ü kullanacak.
Aynı zamanda Nvidia, malzeme bilimi, ilaç keşfi, endüstri mühendisliği ve kuantum hesaplama alanlarında temel araştırmalar için Almanya'daki Jülich Araştırma Merkezi tesisine kurulacak olan 18.2 megawatt kadar düşük güç tüketimine sahip 24.000 (23.762) GH200'e dayalı yeni bir süper bilgisayar sağlamak için Jüpiter ile bir ortaklık kurduğunu da duyurdu. Süper bilgi işlem sistemi gelecek yıl teslim edilecek ve kurulacak.