Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Bilgi işlem gücü eksikliği şu anda tüm yapay zeka endüstrisinin karşı karşıya olduğu bir sorundur, daha geçen hafta, OpenAI'nin Devday'inden sonra, çok sayıda kullanıcıyı denemeye çeken bir dizi yeni özellik nedeniyle, ChatGPT ve GPT'nin API'leri çok çeşitli uzun vadeli kesinti yaşadı ve Sam Altman ayrıca yeni Plus üyelerinin kaydının askıya alındığını duyurdu.
Şu anda, AI bilgi işlem gücü alanında, NVIDIA'nın GPU'su, ister A100, ister H100 veya yeni piyasaya sürülen H200 olsun, neredeyse tekel konumunda bulunuyor, AI bilgi işlem yongalarının ölçütüdür, ancak GPU'su bir sorunla karşı karşıyadır: veri merkezinde konuşlandırılan grafik kartı bilgi işlem gücü kümesi, bağlantı ağı hızlı bir şekilde veri sağlayamadığı ve zamanın bir bölümünde tam yükte çalışamayacağı için yeterince hızlı veri sağlayamayacaktır, bu da bilgi işlem gücü israfına neden olur ve bu da toplam sahip olma maliyetini (TCO) artırır.
Enfabrica adlı bir girişim, GPU performans düğümlerinin bilgi işlem gücü kullanımını %50 artırmak ve yapay zeka çıkarımı ve eğitiminin bilgi işlem gücü maliyetini azaltmak için yapay zeka veri merkezleri için özel olarak geliştirilmiş ağ yongalarını kullanıyor.
Enfabrica, IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners ve Alumni'nin katılımıyla birlikte stratejik yatırımcı olarak NVIDIA ile Atreides Management liderliğindeki 125 milyon dolarlık B Serisi finansman turunu kapattı Ventures, ilk yatırımcısı Sutter Hill Ventures da ağırlık eklemeye devam ediyor.
Bu finansman turu, şirketin değerlemesini bir önceki tura göre 5 kattan fazla artırarak kümülatif finansmanını 148 milyon dolara çıkardı. Atreides Management'ın kurucusu Gavin Baker, şirketin büyümesine ve stratejik yönüne yardımcı olmak için Yönetim Kurulu'na katıldı.
Yapay zeka bilgi işlem gücü alanındaki büyük zorlukları hedefleyen çip alanındaki iki emektar, bir iş kurmak için güçlerini birleştiriyor
Bulut bilişim tedarik zincirlerine odaklanan bir araştırma enstitüsü olan 650 Group'un en son pazar araştırmasına göre, AI/ML bilgi işlem talebinin boyutunun her 24 ayda bir 8 ila 275 kat artması muhtemeldir ve AI/ML tabanlı sunucular önümüzdeki on yılda pazarın %1'inden yaklaşık %20'sine çıkacaktır.
Bununla birlikte, AI hesaplamanın özellikleri nedeniyle, dağıtılmış bilgi işlem öğeleri arasındaki büyük veri ve meta veri hareketi bir darboğaz oluşturmuştur. SemiAnalysis'te bir analist olan Dylan Patel, her nesil çip/paketin kayan nokta bilgi işlem gücünün (FLOP'lar) veri giriş ve çıkış hızından daha hızlı büyüdüğüne dikkat çekiyor. Ve bu uyumsuzluk daha da kötüleşiyor.
Enfabrica, Rochan Sankar ve Shrijeet Mukherjee tarafından yaratıldı. Rochan Sankar, çip devi Broadcom'da eski bir mühendislik direktörüdür ve Shrijeet Mukherjee, Google'daki ağ platformu ve mimarisinden sorumluydu ve çipler ve ağ mimarisi konusunda derin bir anlayışa ve deneyime sahipler.
Organizasyon yapısı açısından, Sankar CEO, Mukherjee baş geliştirme sorumlusu ve Enfabrica'nın çekirdek ekibinde Cisco, Meta, Intel ve diğer şirketlerden yapay zeka, ağ oluşturma ve çip alanlarında kıdemli mühendisler yer alıyor.
Enfabrica, yapay zeka endüstrisinde "paralel, hızlandırılmış ve heterojen" bilgi işlem altyapısına (yani GPU'lar) yönelik artan talebi hedefliyor.
"Mevcut yapay zeka devriminin ortaya çıkardığı en büyük zorluk, hem hesaplama maliyeti hem de hesaplama sürdürülebilirliği açısından yapay zeka altyapısının genişletilmesi.
Anahtarlar gibi geleneksel ağ yongaları, modern yapay zeka iş yüklerinin veri taşıma taleplerine ayak uydurmakta güçlük çeker ve bu da eğitim sürecinde büyük veri kümeleri gerektiren yapay zeka eğitimi veya yapay zeka ince ayarı gibi hesaplama talepleri için darboğazlar oluşturabilir.
Yapay zeka iş yüklerinin artan talepleri ile bilgi işlem kümelerinin genel maliyeti, verimliliği, sürdürülebilirliği ve ölçeklendirme kolaylığı arasındaki boşluğu kapatmak için yapay zeka bilgi işlem alanında acil bir ihtiyaç vardır. "
Enfabrica, veri merkezi yapay zekası ve yüksek performanslı bilgi işlem kümelerindeki kritik ağ, G/Ç ve bellek ölçeklendirme sorunlarını ele almak için GPU'ları, CPU'ları ve hızlandırıcıları tamamlayan Hızlandırılmış Bilgi İşlem Yapı Anahtarı (ACF-S) cihazlarını ve çözümlerini sunar. Veri merkezi GPU'larının ve hızlandırılmış bilgi işlem kümelerinin bilgi işlem maliyetini %50 azaltır, belleği 50 kat genişletir ve aynı performans noktasında büyük model çıkarımının bilgi işlem maliyetini yaklaşık %50 azaltarak toplam sahip olma maliyetinde (TCO) bir azalma sağlar.
Dell'Oro Group'a göre, yapay zeka altyapı yatırımları, veri merkezi sermaye harcamalarının 2027 yılına kadar 500 milyar doları aşmasını sağlayacak. Aynı zamanda, IDC'nin tahminine göre, geniş anlamda yapay zekaya yapılan donanım yatırımının önümüzdeki beş yıl içinde %20,5'lik bir CAGR'de büyümesi bekleniyor.
Veri merkezleri için bağlantılı yarı iletken pazarının 2022'de yaklaşık 12,5 milyar dolardan 2027'ye kadar yaklaşık 25 milyar dolara çıkması bekleniyor.
Enfabrica'nın Yönetim Kurulu'na katılan Gavin Baker, Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare ve SpaceX gibi şirketlere yatırım yaptığı ve yönetim kurullarında görev aldığı Atreides Management'ın CIO'su ve Yönetici Ortağıdır.
Yapay zekanın bilgi işlem altyapısı söz konusu olduğunda, birkaç önemli iyileştirme alanından bahsediyor: "Daha hızlı depolama, daha iyi arka uç ağı (özellikle Enfabrica) ve şu anda ortaya çıkan doğrusal takılabilir/ortak paketlenmiş optikler ve geliştirilmiş CPU/GPU entegrasyonunun (NVIDIA'nın GraceHopper'ı, AMD'nin MI300'ü ve Tesla'nın Dojo'su) birleşimi bellek duvarını yıktı , bu da eğitimin yatırım getirisini daha da artıracaktır - hem doğrudan eğitim maliyetini düşürür hem de dolaylı olarak kar marjını artırır ve aşağıdaki şekillerde çıkarım maliyetini düşürür.
Özetle, "enerji birimi başına faydalı hesaplama" avantajına sahip mimariler kazanacak ve enerji birimi başına daha kullanışlı hesaplamaya doğru hızla ilerliyoruz. "
NVIDIA GPU Bilgi İşlem Kümelerinin "Bellek Duvarını" Aşmasına Yardımcı Oluyor
Yapay zeka hızlandırmalı bilgi işlem alanında, "bellek engeli", işlem performansı ile bu performansı sağlamak için gereken bellek bant genişliği arasındaki genişleyen boşluğa atıfta bulunan gerçek bir sorundur.
Geleneksel CPU bilgi işlem ile karşılaştırıldığında, yapay zekada yaygın olarak kullanılan GPU bilgi işlem bu konuda daha ciddidir, çünkü GPU'lar daha fazla çekirdeğe, daha yüksek işlem hacmine ve büyük bir veri talebine sahiptir.
AI tarafından kullanılan veriler, GPU tarafından işlenmeden önce düzenlenmeli ve bellekte saklanmalıdır. Yapay zeka için gerekli bellek, bant genişliği ve kapasitenin sağlanması acil bir konudur.
Bu sorunu çözmek için birkaç önemli teknolojiden yararlanılabilir: daha önce CPU'larda ve dağıtılmış küme bilgi işlemde kullanılan bellek performansı/kapasite katmanlama ve önbelleğe alma mimarileri, genişletilmiş yapay zeka sistemlerine olanak tanıyan uzaktan doğrudan bellek erişimi (RDMA) ağ teknolojisi ve sektörde yaygın olarak tanınan ve benimsenen Compute Express Link (CXL) arabirim standardı.
Enfabrica'nın çözümü, herhangi bir büyük ölçekli yapay zeka bilgi işlem kümesine hizmet etmek için ölçeklenebilir, yüksek bant genişliği, yüksek kapasiteli, gecikme sınırlı bir bellek hiyerarşisi elde etmek için CXL.mem ayrıştırma, performans/kapasite katmanlama ve RDMA ağı gibi temel teknolojileri içerir.
ACF (Accelerated Compute Fabric) dönüştürücü adı verilen ilk yongası, GPU bilgi işlem güç havuzlarının son derece düşük gecikme süresiyle onlarca terabaytlık yerel CXL.mem DRAM havuzlarına doğrudan bağlanmasını sağlar.
Özellikle, ACF, 800 GbE ağ bağlantı noktaları aracılığıyla bilgi işlem kümeleri ve veri merkezinin geri kalanı arasında dağıtılan petabaytlarca DRAM'e yüksek bant genişliğine erişim sağlamak için bellek katmanlamayı daha da zorlar. Ardından, hızlandırılmış bilgi işlem için yakın bellek, yakın ve uzak bellek ve ağ uzak belleği içeren hiyerarşik bir veri deposu oluşturulur ve her bellek düzeyinde katı gecikme süresi sınırları vardır. ACF'nin yardımıyla, veri işleme gerçekleştiren NVIDIA GPU'lar, hız engelleri yaşamadan birden fazla farklı yerden veri çekebilir.
Enfabrica'nın ACF-S adı verilen çözümü, NVIDIA DGX-H100 sistemlerine ve sekiz NVIDIA H100 GPU'lu Meta Grand Teton sistemlerine kıyasla G/Ç güç tüketimini %50'ye kadar azaltabilen (raf başına 2 kilovat tasarruf) 800G Ethernet, PCIe Gen 5 ve CXL 2.0+ arayüzlerine sahip 8 Tbps AI altyapı ağ düğümlerine sahip birden fazla ACF yongasından oluşur.
"ACF-S, geleneksel, farklı sunucu G/Ç'lerine ve raf düzeyinde ağ anahtarları, sunucu ağ arabirim denetleyicileri ve PCIe anahtarları gibi ağ yongalarına olan ihtiyacı ortadan kaldıran birleşik bir çözümdür. Rochan Sankar açıkladı.
ACF-S cihazları, yapay zeka çıkarım görevleriyle uğraşan şirketlerin mümkün olduğunca az GPU, CPU ve diğer yapay zeka hızlandırıcıları kullanmasını sağlar. Bunun nedeni, ACF-S'nin büyük miktarda veriyi hızlı bir şekilde taşıyarak mevcut donanımı daha verimli kullanabilmesidir.
Ayrıca, Enfabrica'nın çözümleri yalnızca büyük ölçekli yapay zeka çıkarımı için değil, aynı zamanda yapay zeka eğitiminin yanı sıra veritabanları ve şebeke bilgi işlem gibi yapay zeka dışı kullanım durumları için de kullanılabilir.
Enfabrica, sistemi kendisi oluşturmak yerine sistem üreticilerine (bulut satıcıları, veri merkezi operatörleri) çip ve çözüm satmayı planlıyor. Sankar, Enfabrica'nın NVIDIA ekosistemiyle derin bir uyum içinde olduğunu, ancak daha farklı AI bilgi işlem şirketleriyle de çalışmayı planladıklarını açıkladı.
"ACF-S, AI hesaplama için kullanılan AI işlemcilerinin türü ve markasının yanı sıra, AI altyapısının birden fazla farklı kullanım durumunda oluşturulmasına izin veren ve tescilli teknoloji kilitlenmesi olmadan birden fazla işlemci satıcısını destekleyen tam model konusunda tarafsızdır" dedi. "
Daha hızlı, daha düşük enerji tüketimi, yeni nesil bir AI bilgi işlem güç sistemi şekilleniyor
H100'ün sevk edilmesinden sadece bir yıl sonra NVIDIA, AI bilgi işlem gücü alanındaki lider konumunu sürdürme aciliyetini gösteren H200'ü piyasaya sürdü. Geçen yıl üretken yapay zekanın patlaması nedeniyle, rakipleri AMD'nin MI300 serisi yongaları veya Microsoft'un H100 ile kıyaslayan Maia yongaları olsun, güçlü yapay zeka bilgi işlem ürünlerini de piyasaya sürdüler.
AI bilgi işlem gücü, devlerin "peri dövüşü" karşısında, teknoloji yoğun ve sermaye yoğun bir endüstridir, AI bilgi işlem girişimleri nasıl hayatta kalabilir?
d-Matrix'in yaklaşımı yapay zeka çıkarımına odaklanmıştır ve piyasaya sürülen yapay zeka çıkarım yongaları, NVIDIA'nın benzer ürünlerinden daha hızlı ve daha güç verimlidir. AI bilgi işlem sisteminin önemli bir parçası olan Enfabrica, NVIDIA'nın GPU'larının (ve diğer AI bilgi işlem yongalarının) "bellek duvarını" kırmasına, boşta kalan bilgi işlem gücünü azaltmasına ve bir bütün olarak bilgi işlem sisteminin kullanım oranını iyileştirmesine yardımcı olur.
AI bilgi işlem sistemleri, tüm bilgi işlem sistemleri gibi, hız ve enerji tüketimi olmak üzere iki önemli faktöre sahiptir. Büyük ölçekli yapay zeka bilgi işlem (eğitim veya çıkarım) bilgi işlem gücü kümeleri tarafından çalıştırılsa da, daha hızlı bilgi işlem hızı ve daha düşük enerji tüketimi hala bir bütün olarak endüstrinin yönüdür.
NVIDIA'nın GPU'ları daha yüksek bilgi işlem hızları yönünde açık bir avantaja sahipken, Enfabrica gibi şirketler daha düşük enerji tüketimi için bastırıyor.
Enfabrica'nın kurucusu Rochan Sankar'ın dediği gibi, "Yapay zeka hesaplamanın gerçekten her yerde bulunması için maliyet eğrisinin aşağı inmesi gerekiyor." Önemli olan, GPU'nun bilgi işlem gücünün daha iyi ve daha verimli kullanılıp kullanılmadığıdır. "
Açıkçası, NVIDIA'nın Enfabrica'ya yaptığı yatırım da bu mantığa dayanıyor ve Enfabrica teknolojisi NVIDIA'nın GPU güç kullanımını daha da iyileştirdikçe, sektördeki lider konumunun daha da sağlamlaşması bekleniyor.
Ancak bu bariz ve acil ihtiyaç karşısında sektördeki tek kişi Enfabrica değil, endüstri devi Cisco da Silicon One G200 ve G202 serisi yapay zeka ağ donanımını piyasaya sürdü ve Broadcom da bu alanda çalışıyor. Enfabrica daha da büyümek istiyor ve hala rekabetle karşı karşıya.
DENIZAŞIRI YAPAY ZEKA ENDÜSTRISI GEÇICI BIR BILGI IŞLEM GÜCÜ SIKINTISIYLA KARŞI KARŞIYAYSA, ÇIN'IN YAPAY ZEKA ENDÜSTRISI UZUN VADELI BIR YAPAY ZEKA BILGI IŞLEM GÜCÜ SIKINTISIYLA KARŞI KARŞIYA KALMALIDIR VE NIVDIA'NIN GPU'SU DAHA DA KISITLANDIĞINDA, ENDÜSTRININ YEREL YAPAY ZEKA BILGI IŞLEM ÜRÜNLERI IÇIN GÜÇLÜ BIR TALEBI VARDIR. Şu anda, Huawei, Alibaba, Baidu, Moore Threads, Cambrian ve diğer şirketler AI bilgi işlem gücü alanında geliştiler ve umarım onlar ve daha fazla şirket Çin'in kendi AI bilgi işlem güç sistemini oluşturmaya yardımcı olabilirler.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPU bilgi işlem gücünün boşta kalma oranını önemli ölçüde azaltan Enfabrica, NVIDIA'dan 125 milyon dolarlık bir finansman turu aldı
Orijinal kaynak: Alfa Komünü
Bilgi işlem gücü eksikliği şu anda tüm yapay zeka endüstrisinin karşı karşıya olduğu bir sorundur, daha geçen hafta, OpenAI'nin Devday'inden sonra, çok sayıda kullanıcıyı denemeye çeken bir dizi yeni özellik nedeniyle, ChatGPT ve GPT'nin API'leri çok çeşitli uzun vadeli kesinti yaşadı ve Sam Altman ayrıca yeni Plus üyelerinin kaydının askıya alındığını duyurdu.
Şu anda, AI bilgi işlem gücü alanında, NVIDIA'nın GPU'su, ister A100, ister H100 veya yeni piyasaya sürülen H200 olsun, neredeyse tekel konumunda bulunuyor, AI bilgi işlem yongalarının ölçütüdür, ancak GPU'su bir sorunla karşı karşıyadır: veri merkezinde konuşlandırılan grafik kartı bilgi işlem gücü kümesi, bağlantı ağı hızlı bir şekilde veri sağlayamadığı ve zamanın bir bölümünde tam yükte çalışamayacağı için yeterince hızlı veri sağlayamayacaktır, bu da bilgi işlem gücü israfına neden olur ve bu da toplam sahip olma maliyetini (TCO) artırır.
Enfabrica adlı bir girişim, GPU performans düğümlerinin bilgi işlem gücü kullanımını %50 artırmak ve yapay zeka çıkarımı ve eğitiminin bilgi işlem gücü maliyetini azaltmak için yapay zeka veri merkezleri için özel olarak geliştirilmiş ağ yongalarını kullanıyor.
Enfabrica, IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners ve Alumni'nin katılımıyla birlikte stratejik yatırımcı olarak NVIDIA ile Atreides Management liderliğindeki 125 milyon dolarlık B Serisi finansman turunu kapattı Ventures, ilk yatırımcısı Sutter Hill Ventures da ağırlık eklemeye devam ediyor.
Bu finansman turu, şirketin değerlemesini bir önceki tura göre 5 kattan fazla artırarak kümülatif finansmanını 148 milyon dolara çıkardı. Atreides Management'ın kurucusu Gavin Baker, şirketin büyümesine ve stratejik yönüne yardımcı olmak için Yönetim Kurulu'na katıldı.
Yapay zeka bilgi işlem gücü alanındaki büyük zorlukları hedefleyen çip alanındaki iki emektar, bir iş kurmak için güçlerini birleştiriyor
Bulut bilişim tedarik zincirlerine odaklanan bir araştırma enstitüsü olan 650 Group'un en son pazar araştırmasına göre, AI/ML bilgi işlem talebinin boyutunun her 24 ayda bir 8 ila 275 kat artması muhtemeldir ve AI/ML tabanlı sunucular önümüzdeki on yılda pazarın %1'inden yaklaşık %20'sine çıkacaktır.
Bununla birlikte, AI hesaplamanın özellikleri nedeniyle, dağıtılmış bilgi işlem öğeleri arasındaki büyük veri ve meta veri hareketi bir darboğaz oluşturmuştur. SemiAnalysis'te bir analist olan Dylan Patel, her nesil çip/paketin kayan nokta bilgi işlem gücünün (FLOP'lar) veri giriş ve çıkış hızından daha hızlı büyüdüğüne dikkat çekiyor. Ve bu uyumsuzluk daha da kötüleşiyor.
Enfabrica, Rochan Sankar ve Shrijeet Mukherjee tarafından yaratıldı. Rochan Sankar, çip devi Broadcom'da eski bir mühendislik direktörüdür ve Shrijeet Mukherjee, Google'daki ağ platformu ve mimarisinden sorumluydu ve çipler ve ağ mimarisi konusunda derin bir anlayışa ve deneyime sahipler.
Enfabrica, yapay zeka endüstrisinde "paralel, hızlandırılmış ve heterojen" bilgi işlem altyapısına (yani GPU'lar) yönelik artan talebi hedefliyor.
"Mevcut yapay zeka devriminin ortaya çıkardığı en büyük zorluk, hem hesaplama maliyeti hem de hesaplama sürdürülebilirliği açısından yapay zeka altyapısının genişletilmesi.
Anahtarlar gibi geleneksel ağ yongaları, modern yapay zeka iş yüklerinin veri taşıma taleplerine ayak uydurmakta güçlük çeker ve bu da eğitim sürecinde büyük veri kümeleri gerektiren yapay zeka eğitimi veya yapay zeka ince ayarı gibi hesaplama talepleri için darboğazlar oluşturabilir.
Yapay zeka iş yüklerinin artan talepleri ile bilgi işlem kümelerinin genel maliyeti, verimliliği, sürdürülebilirliği ve ölçeklendirme kolaylığı arasındaki boşluğu kapatmak için yapay zeka bilgi işlem alanında acil bir ihtiyaç vardır. "
Enfabrica, veri merkezi yapay zekası ve yüksek performanslı bilgi işlem kümelerindeki kritik ağ, G/Ç ve bellek ölçeklendirme sorunlarını ele almak için GPU'ları, CPU'ları ve hızlandırıcıları tamamlayan Hızlandırılmış Bilgi İşlem Yapı Anahtarı (ACF-S) cihazlarını ve çözümlerini sunar. Veri merkezi GPU'larının ve hızlandırılmış bilgi işlem kümelerinin bilgi işlem maliyetini %50 azaltır, belleği 50 kat genişletir ve aynı performans noktasında büyük model çıkarımının bilgi işlem maliyetini yaklaşık %50 azaltarak toplam sahip olma maliyetinde (TCO) bir azalma sağlar.
Dell'Oro Group'a göre, yapay zeka altyapı yatırımları, veri merkezi sermaye harcamalarının 2027 yılına kadar 500 milyar doları aşmasını sağlayacak. Aynı zamanda, IDC'nin tahminine göre, geniş anlamda yapay zekaya yapılan donanım yatırımının önümüzdeki beş yıl içinde %20,5'lik bir CAGR'de büyümesi bekleniyor.
Veri merkezleri için bağlantılı yarı iletken pazarının 2022'de yaklaşık 12,5 milyar dolardan 2027'ye kadar yaklaşık 25 milyar dolara çıkması bekleniyor.
Enfabrica'nın Yönetim Kurulu'na katılan Gavin Baker, Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare ve SpaceX gibi şirketlere yatırım yaptığı ve yönetim kurullarında görev aldığı Atreides Management'ın CIO'su ve Yönetici Ortağıdır.
Yapay zekanın bilgi işlem altyapısı söz konusu olduğunda, birkaç önemli iyileştirme alanından bahsediyor: "Daha hızlı depolama, daha iyi arka uç ağı (özellikle Enfabrica) ve şu anda ortaya çıkan doğrusal takılabilir/ortak paketlenmiş optikler ve geliştirilmiş CPU/GPU entegrasyonunun (NVIDIA'nın GraceHopper'ı, AMD'nin MI300'ü ve Tesla'nın Dojo'su) birleşimi bellek duvarını yıktı , bu da eğitimin yatırım getirisini daha da artıracaktır - hem doğrudan eğitim maliyetini düşürür hem de dolaylı olarak kar marjını artırır ve aşağıdaki şekillerde çıkarım maliyetini düşürür.
Özetle, "enerji birimi başına faydalı hesaplama" avantajına sahip mimariler kazanacak ve enerji birimi başına daha kullanışlı hesaplamaya doğru hızla ilerliyoruz. "
NVIDIA GPU Bilgi İşlem Kümelerinin "Bellek Duvarını" Aşmasına Yardımcı Oluyor
Yapay zeka hızlandırmalı bilgi işlem alanında, "bellek engeli", işlem performansı ile bu performansı sağlamak için gereken bellek bant genişliği arasındaki genişleyen boşluğa atıfta bulunan gerçek bir sorundur.
Geleneksel CPU bilgi işlem ile karşılaştırıldığında, yapay zekada yaygın olarak kullanılan GPU bilgi işlem bu konuda daha ciddidir, çünkü GPU'lar daha fazla çekirdeğe, daha yüksek işlem hacmine ve büyük bir veri talebine sahiptir.
AI tarafından kullanılan veriler, GPU tarafından işlenmeden önce düzenlenmeli ve bellekte saklanmalıdır. Yapay zeka için gerekli bellek, bant genişliği ve kapasitenin sağlanması acil bir konudur.
Enfabrica'nın çözümü, herhangi bir büyük ölçekli yapay zeka bilgi işlem kümesine hizmet etmek için ölçeklenebilir, yüksek bant genişliği, yüksek kapasiteli, gecikme sınırlı bir bellek hiyerarşisi elde etmek için CXL.mem ayrıştırma, performans/kapasite katmanlama ve RDMA ağı gibi temel teknolojileri içerir.
ACF (Accelerated Compute Fabric) dönüştürücü adı verilen ilk yongası, GPU bilgi işlem güç havuzlarının son derece düşük gecikme süresiyle onlarca terabaytlık yerel CXL.mem DRAM havuzlarına doğrudan bağlanmasını sağlar.
Özellikle, ACF, 800 GbE ağ bağlantı noktaları aracılığıyla bilgi işlem kümeleri ve veri merkezinin geri kalanı arasında dağıtılan petabaytlarca DRAM'e yüksek bant genişliğine erişim sağlamak için bellek katmanlamayı daha da zorlar. Ardından, hızlandırılmış bilgi işlem için yakın bellek, yakın ve uzak bellek ve ağ uzak belleği içeren hiyerarşik bir veri deposu oluşturulur ve her bellek düzeyinde katı gecikme süresi sınırları vardır. ACF'nin yardımıyla, veri işleme gerçekleştiren NVIDIA GPU'lar, hız engelleri yaşamadan birden fazla farklı yerden veri çekebilir.
Enfabrica'nın ACF-S adı verilen çözümü, NVIDIA DGX-H100 sistemlerine ve sekiz NVIDIA H100 GPU'lu Meta Grand Teton sistemlerine kıyasla G/Ç güç tüketimini %50'ye kadar azaltabilen (raf başına 2 kilovat tasarruf) 800G Ethernet, PCIe Gen 5 ve CXL 2.0+ arayüzlerine sahip 8 Tbps AI altyapı ağ düğümlerine sahip birden fazla ACF yongasından oluşur.
Ayrıca, Enfabrica'nın çözümleri yalnızca büyük ölçekli yapay zeka çıkarımı için değil, aynı zamanda yapay zeka eğitiminin yanı sıra veritabanları ve şebeke bilgi işlem gibi yapay zeka dışı kullanım durumları için de kullanılabilir.
Enfabrica, sistemi kendisi oluşturmak yerine sistem üreticilerine (bulut satıcıları, veri merkezi operatörleri) çip ve çözüm satmayı planlıyor. Sankar, Enfabrica'nın NVIDIA ekosistemiyle derin bir uyum içinde olduğunu, ancak daha farklı AI bilgi işlem şirketleriyle de çalışmayı planladıklarını açıkladı.
"ACF-S, AI hesaplama için kullanılan AI işlemcilerinin türü ve markasının yanı sıra, AI altyapısının birden fazla farklı kullanım durumunda oluşturulmasına izin veren ve tescilli teknoloji kilitlenmesi olmadan birden fazla işlemci satıcısını destekleyen tam model konusunda tarafsızdır" dedi. "
Daha hızlı, daha düşük enerji tüketimi, yeni nesil bir AI bilgi işlem güç sistemi şekilleniyor
H100'ün sevk edilmesinden sadece bir yıl sonra NVIDIA, AI bilgi işlem gücü alanındaki lider konumunu sürdürme aciliyetini gösteren H200'ü piyasaya sürdü. Geçen yıl üretken yapay zekanın patlaması nedeniyle, rakipleri AMD'nin MI300 serisi yongaları veya Microsoft'un H100 ile kıyaslayan Maia yongaları olsun, güçlü yapay zeka bilgi işlem ürünlerini de piyasaya sürdüler.
AI bilgi işlem gücü, devlerin "peri dövüşü" karşısında, teknoloji yoğun ve sermaye yoğun bir endüstridir, AI bilgi işlem girişimleri nasıl hayatta kalabilir?
d-Matrix'in yaklaşımı yapay zeka çıkarımına odaklanmıştır ve piyasaya sürülen yapay zeka çıkarım yongaları, NVIDIA'nın benzer ürünlerinden daha hızlı ve daha güç verimlidir. AI bilgi işlem sisteminin önemli bir parçası olan Enfabrica, NVIDIA'nın GPU'larının (ve diğer AI bilgi işlem yongalarının) "bellek duvarını" kırmasına, boşta kalan bilgi işlem gücünü azaltmasına ve bir bütün olarak bilgi işlem sisteminin kullanım oranını iyileştirmesine yardımcı olur.
AI bilgi işlem sistemleri, tüm bilgi işlem sistemleri gibi, hız ve enerji tüketimi olmak üzere iki önemli faktöre sahiptir. Büyük ölçekli yapay zeka bilgi işlem (eğitim veya çıkarım) bilgi işlem gücü kümeleri tarafından çalıştırılsa da, daha hızlı bilgi işlem hızı ve daha düşük enerji tüketimi hala bir bütün olarak endüstrinin yönüdür.
NVIDIA'nın GPU'ları daha yüksek bilgi işlem hızları yönünde açık bir avantaja sahipken, Enfabrica gibi şirketler daha düşük enerji tüketimi için bastırıyor.
Enfabrica'nın kurucusu Rochan Sankar'ın dediği gibi, "Yapay zeka hesaplamanın gerçekten her yerde bulunması için maliyet eğrisinin aşağı inmesi gerekiyor." Önemli olan, GPU'nun bilgi işlem gücünün daha iyi ve daha verimli kullanılıp kullanılmadığıdır. "
Açıkçası, NVIDIA'nın Enfabrica'ya yaptığı yatırım da bu mantığa dayanıyor ve Enfabrica teknolojisi NVIDIA'nın GPU güç kullanımını daha da iyileştirdikçe, sektördeki lider konumunun daha da sağlamlaşması bekleniyor.
Ancak bu bariz ve acil ihtiyaç karşısında sektördeki tek kişi Enfabrica değil, endüstri devi Cisco da Silicon One G200 ve G202 serisi yapay zeka ağ donanımını piyasaya sürdü ve Broadcom da bu alanda çalışıyor. Enfabrica daha da büyümek istiyor ve hala rekabetle karşı karşıya.
DENIZAŞIRI YAPAY ZEKA ENDÜSTRISI GEÇICI BIR BILGI IŞLEM GÜCÜ SIKINTISIYLA KARŞI KARŞIYAYSA, ÇIN'IN YAPAY ZEKA ENDÜSTRISI UZUN VADELI BIR YAPAY ZEKA BILGI IŞLEM GÜCÜ SIKINTISIYLA KARŞI KARŞIYA KALMALIDIR VE NIVDIA'NIN GPU'SU DAHA DA KISITLANDIĞINDA, ENDÜSTRININ YEREL YAPAY ZEKA BILGI IŞLEM ÜRÜNLERI IÇIN GÜÇLÜ BIR TALEBI VARDIR. Şu anda, Huawei, Alibaba, Baidu, Moore Threads, Cambrian ve diğer şirketler AI bilgi işlem gücü alanında geliştiler ve umarım onlar ve daha fazla şirket Çin'in kendi AI bilgi işlem güç sistemini oluşturmaya yardımcı olabilirler.