Нестача обчислювальних потужностей наразі є проблемою, з якою стикається вся індустрія штучного інтелекту, лише минулого тижня, після Devday від OpenAI, через серію нових функцій, які залучили велику кількість користувачів для тестування, API ChatGPT і GPT зазнали широкого спектру довгострокових простоїв, і Сем Альтман також оголосив про призупинення реєстрації нових учасників Plus.
В даний час у сфері обчислювальної потужності штучного інтелекту графічний процесор NVIDIA займає майже монопольне становище, будь то A100, H100 або щойно випущений H200, він є еталоном обчислювальних чіпів штучного інтелекту, але його графічний процесор стикається з проблемою: кластер обчислювальної потужності відеокарти, розгорнутий у центрі обробки даних, не зможе надавати дані досить швидко, оскільки мережа з'єднання не може швидко надавати дані, і вона не може працювати з повним навантаженням частину часу, що призводить до марної витрати обчислювальної потужності, що, у свою чергу, підвищує загальну вартість володіння (TCO).
Стартап під назвою Enfabrica використовує мережеві чіпи, розроблені спеціально для центрів обробки даних зі штучним інтелектом, щоб збільшити використання обчислювальної потужності вузлів продуктивності графічних процесорів на 50% і знизити витрати на обчислювальну потужність висновків і навчання ШІ.
Enfabrica закрила раунд фінансування серії B на суму 125 мільйонів доларів США під керівництвом Atreides Management з NVIDIA як стратегічним інвестором, а також за участю IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners та Alumni Ventures, її ранній інвестор, Sutter Hill Ventures, також продовжує додавати вагу.
Цей раунд фінансування збільшив оцінку компанії більш ніж у 5 разів порівняно з попереднім раундом, довівши її сукупне фінансування до $148 млн. Гевін Бейкер, засновник Atreides Management, приєднується до Ради директорів, щоб допомогти у зростанні та стратегічному напрямку компанії.
Прагнучи вирішити основні виклики в галузі обчислювальних потужностей штучного інтелекту, двоє ветеранів у галузі чіпів об'єднують зусилля, щоб розпочати бізнес
Згідно з останнім маркетинговим дослідженням 650 Group, дослідницького інституту, що спеціалізується на ланцюжках поставок хмарних обчислень, розмір попиту на обчислення AI/ML, ймовірно, зростатиме від 8 до 275 разів кожні 24 місяці, а сервери на основі AI/ML зростуть з 1% ринку до майже 20% у наступному десятилітті.
Однак через особливості обчислень штучного інтелекту великий рух даних і метаданих між розподіленими обчислювальними елементами сформував вузьке місце. Ділан Пател, аналітик SemiAnalysis, зазначає, що обчислювальна потужність з плаваючою комою (FLOP) кожного покоління чіпів/пакетів зростає швидше, ніж швидкість введення та виведення даних. І ця невідповідність посилюється.
Enfabrica була створена Рочаном Санкаром і Шріджітом Мукерджі. Рочан Санкар є колишнім директором з інжинірингу в гіганті мікросхем Broadcom, а Шріджіт Мукерджі відповідав за мережеву платформу та архітектуру в Google, і вони мають глибоке розуміння та досвід чіпів та мережевої архітектури.
З точки зору організаційної структури, Санкар є генеральним директором, Мукерджі — директором з розвитку, а основна команда Enfabrica включає старших інженерів Cisco, Meta, Intel та інших компаній у сферах штучного інтелекту, мереж і чіпів.
Enfabrica націлена на зростаючий попит на «паралельну, прискорену та гетерогенну» обчислювальну інфраструктуру (тобто графічні процесори) в індустрії штучного інтелекту.
«Найбільшою проблемою, пов'язаною з нинішньою революцією штучного інтелекту, є розширення інфраструктури штучного інтелекту – як з точки зору обчислювальної вартості, так і з точки зору обчислювальної стійкості.
Традиційні мережеві чіпи, такі як комутатори, не встигають за вимогами до переміщення даних сучасних робочих навантажень ШІ, що може створити вузькі місця для обчислювальних вимог, таких як навчання ШІ або точне налаштування ШІ, які вимагають великих наборів даних під час процесу навчання.
У сфері обчислень штучного інтелекту існує нагальна потреба подолати розрив між зростаючими вимогами робочих навантажень штучного інтелекту та загальною вартістю, ефективністю, стійкістю та простотою масштабування обчислювальних кластерів. "
Enfabrica представляє пристрої та рішення Accelerated Compute Fabric Switch (ACF-S), які доповнюють графічні процесори, центральні процесори та прискорювачі для вирішення критичних проблем мереж, вводу/виводу та масштабування пам'яті в ШІ центрів обробки даних та високопродуктивних обчислювальних кластерах. Це знижує обчислювальні витрати графічних процесорів центрів обробки даних і кластерів прискорених обчислень на 50%, розширює пам'ять у 50 разів і знижує обчислювальні витрати на виведення великих моделей приблизно на 50% у тій самій точці продуктивності, досягаючи зниження загальної вартості володіння (TCO).
За даними Dell'Oro Group, інвестиції в інфраструктуру штучного інтелекту дозволять капітальним витратам центрів обробки даних перевищити $500 млрд до 2027 року. Водночас, згідно з прогнозом IDC, очікується, що інвестиції в апаратне забезпечення в ШІ в широкому сенсі зростуть із середньорічним темпом зростання 20,5% протягом наступних п'яти років.
Очікується, що ринок підключених напівпровідників для центрів обробки даних подвоїться з майже 12,5 мільярда доларів у 2022 році до майже 25 мільярдів доларів до 2027 року.
Гевін Бейкер, який приєднується до ради директорів Enfabrica, є ІТ-директором і керуючим партнером Atreides Management, де він інвестував і працював у радах директорів таких компаній, як Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare і SpaceX.
Коли справа доходить до обчислювальної інфраструктури штучного інтелекту, він говорить про кілька важливих областей вдосконалення: «Поєднання швидшого сховища, кращої внутрішньої мережі (особливо Enfabrica), а також лінійної оптики, що підключається/спільно упакована, що з'являється, і покращеної інтеграції процесора/графічного процесора (GraceHopper від NVIDIA, MI300 від AMD і Dojo від Tesla) зруйнувало стіну пам'яті , що ще більше поліпшить рентабельність інвестицій в навчання - як безпосередньо знижуючи витрати на навчання, так і опосередковано збільшуючи норму прибутку і знижуючи вартість висновків наступними способами.
Таким чином, архітектури з перевагою в «корисних обчисленнях на одиницю енергії» виграють, і ми стрімко рухаємося до більш корисних обчислень на одиницю енергії. "
У сфері обчислень, прискорених штучним інтелектом, «бар'єр пам'яті» є справжньою проблемою, пов'язаною зі збільшенням розриву між продуктивністю обробки та пропускною здатністю пам'яті, необхідною для забезпечення цієї продуктивності.
У порівнянні з традиційними процесорними обчисленнями, GPU-обчислення, які зазвичай використовуються в ШІ, є більш серйозними в цьому плані, оскільки графічні процесори мають більше ядер, вищу пропускну здатність обробки та величезний попит на дані.
Дані, що використовуються штучним інтелектом, повинні бути спочатку організовані та збережені в пам'яті, перш ніж вони можуть бути оброблені графічним процесором. Забезпечення необхідної пам'яті, пропускної здатності та ємності для ШІ є актуальним питанням.
Щоб вирішити цю проблему, вже можна використовувати кілька ключових технологій: багаторівневі архітектури продуктивності/ємності пам'яті та кешування, які раніше використовувалися в центральних процесорах і розподілених кластерних обчисленнях, мережева технологія віддаленого прямого доступу до пам'яті (RDMA), яка забезпечує розширені системи штучного інтелекту, а також широко визнаний і прийнятий у галузі стандарт інтерфейсу Compute Express Link (CXL).
Рішення Enfabrica включає ключові технології, такі як розв'язка CXL.mem, багаторівневість продуктивності/ємності та мережа RDMA, щоб досягти масштабованої ієрархії пам'яті з високою пропускною здатністю, високою ємністю та обмеженням затримки для обслуговування будь-якого великомасштабного обчислювального кластера штучного інтелекту.
Його перший чіп під назвою ACF (Accelerated Compute Fabric) перетворювач дозволяє обчислювальним пулам GPU безпосередньо підключатися до десятків терабайт локальних пулів DRAM CXL.mem з надзвичайно низькою затримкою.
Зокрема, ACF ще більше розширює рівень пам'яті, щоб забезпечити доступ з високою пропускною здатністю до петабайтів DRAM, розподілених між обчислювальними кластерами та рештою центру обробки даних через мережеві порти 800 Гбіт/с. Потім для прискорених обчислень будується ієрархічне сховище даних з ближньою пам'яттю, ближньою та далекою пам'яттю та мережевою далекою пам'яттю, і на кожному рівні пам'яті існують суворі обмеження затримки. За допомогою ACF графічні процесори NVIDIA, які виконують обробку даних, можуть отримувати дані з кількох різних місць, не відчуваючи бар'єрів швидкості.
Рішення Enfabrica під назвою ACF-S складається з кількох чіпів ACF з 8-Тбіт/с мережевими вузлами інфраструктури штучного інтелекту з інтерфейсами 800G Ethernet, PCIe Gen 5 і CXL 2.0+, які можуть знизити енергоспоживання вводу/виводу до 50% (економія 2 кіловат на стійку) порівняно з системами NVIDIA DGX-H100 і системами Meta Grand Teton з вісьмома графічними процесорами NVIDIA H100.
«ACF-S — це конвергентне рішення, яке усуває потребу в традиційних, розрізнених серверних входах/виводах і мережевих мікросхемах, таких як мережеві комутатори на рівні стійки, контролери інтерфейсу серверної мережі та комутатори PCIe. – пояснив Рочан Санкар.
Пристрої ACF-S дозволяють компаніям, які займаються завданнями логічного висновку ШІ, використовувати якомога менше графічних процесорів, центральних процесорів та інших прискорювачів штучного інтелекту. Це пов'язано з тим, що ACF-S може ефективніше використовувати існуюче обладнання, швидко переміщуючи великі обсяги даних.
Крім того, рішення Enfabrica можуть бути використані не тільки для великомасштабних висновків ШІ, але й для навчання ШІ, а також для випадків використання, не пов'язаних зі штучним інтелектом, таких як бази даних та грід-обчислення.
Enfabrica планує продавати чіпи та рішення системобудівникам (постачальникам хмарних послуг, операторам центрів обробки даних) замість того, щоб будувати саму систему. Санкар розповів, що Enfabrica має глибокий зв'язок з екосистемою NVIDIA, але вони також планують співпрацювати з більшою кількістю різних компаній, що займаються обчисленнями штучного інтелекту.
«ACF-S нейтрально ставиться до типу та марки процесорів штучного інтелекту, які використовуються для обчислень штучного інтелекту, а також до точної розгорнутої моделі, яка дозволяє створювати інфраструктуру штучного інтелекту в кількох різних сценаріях використання та підтримує кількох постачальників процесорів без прив'язки до власних технологій», — сказав він. "
Швидша та нижча енергоспоживання, формується нове покоління обчислювальної системи штучного інтелекту
Всього через рік після поставки H100 NVIDIA випустила H200, що свідчить про її нагальність зберегти лідируючі позиції в області обчислювальних потужностей штучного інтелекту. Через вибух генеративного штучного інтелекту в минулому році його конкуренти також випустили потужні обчислювальні продукти зі штучним інтелектом, будь то чіпи AMD серії MI300 або чіпи Maia від Microsoft, які порівнюються з H100.
Обчислювальні потужності штучного інтелекту – це технологічно та концентрована на капіталі галузь, і в умовах «казкової боротьби» гігантів, як стартапи з обчислень штучного інтелекту можуть вижити?
Підхід d-Matrix зосереджений на висновках штучного інтелекту, а запущені чіпи логічного висновку ШІ є швидшими та енергоефективнішими, ніж аналогічні продукти від NVIDIA. Як важлива частина обчислювальної системи штучного інтелекту, Enfabrica допомагає графічним процесорам NVIDIA (та іншим обчислювальним чіпам штучного інтелекту) зламати «стіну пам'яті», зменшити обчислювальну потужність простою та покращити коефіцієнт використання обчислювальної системи в цілому.
Обчислювальні системи штучного інтелекту, як і всі обчислювальні системи, мають два важливі фактори: швидкість та енергоспоживання. Незважаючи на те, що великомасштабні обчислення штучного інтелекту (навчання чи висновки) керуються кластерами обчислювальних потужностей, вища швидкість обчислень і менше споживання енергії все ще є напрямком розвитку галузі в цілому.
Графічні процесори NVIDIA мають явну перевагу в напрямку більш високої швидкості обчислень, в той час як такі компанії, як Enfabrica, наполягають на зниженні енергоспоживання.
Як каже Рочан Санкар, засновник Enfabrica: «Для того, щоб обчислення штучного інтелекту були по-справжньому повсюдними, крива витрат повинна піти вниз». Ключовим моментом є те, чи краще та ефективніше використовується обчислювальна потужність графічного процесора. "
Очевидно, що інвестиції NVIDIA в Enfabrica також ґрунтуються на цій логіці, і в міру того, як технологія Enfabrica ще більше покращує використання енергії графічних процесорів NVIDIA, очікується, що її лідируючі позиції в галузі ще більше зміцняться.
Однак, зважаючи на цю очевидну та нагальну потребу, Enfabrica не єдина в галузі, гігант галузі Cisco також випустив серії мережевого обладнання штучного інтелекту Silicon One G200 та G202, і Broadcom також працює в цій сфері. Enfabrica хоче розвиватися далі і все ще стикається з конкуренцією.
ЯКЩО ЗАРУБІЖНА ІНДУСТРІЯ ШТУЧНОГО ІНТЕЛЕКТУ ЗІТКНУЛАСЯ З ТИМЧАСОВОЮ НЕСТАЧЕЮ ОБЧИСЛЮВАЛЬНИХ ПОТУЖНОСТЕЙ, ТО КИТАЙСЬКА ІНДУСТРІЯ ШТУЧНОГО ІНТЕЛЕКТУ ЗІТКНЕТЬСЯ З ДОВГОСТРОКОВОЮ НЕСТАЧЕЮ ОБЧИСЛЮВАЛЬНИХ ПОТУЖНОСТЕЙ ШТУЧНОГО ІНТЕЛЕКТУ, А ОСКІЛЬКИ ГРАФІЧНИЙ ПРОЦЕСОР NIVDIA ЩЕ БІЛЬШЕ ОБМЕЖЕНИЙ, ГАЛУЗЬ МАЄ ВИСОКИЙ ПОПИТ НА МІСЦЕВІ ОБЧИСЛЮВАЛЬНІ ПРОДУКТИ ШТУЧНОГО ІНТЕЛЕКТУ. В даний час Huawei, Alibaba, Baidu, Moore Threads, Cambrian та інші компанії розвивалися в області обчислювальних потужностей штучного інтелекту, і я сподіваюся, що вони, а також інші компанії, зможуть допомогти побудувати власну обчислювальну систему штучного інтелекту в Китаї.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Різко скоротивши швидкість простою обчислювальної потужності GPU, Enfabrica отримала раунд фінансування від NVIDIA у розмірі 125 мільйонів доларів
Першоджерело: Альфа-комуна
Нестача обчислювальних потужностей наразі є проблемою, з якою стикається вся індустрія штучного інтелекту, лише минулого тижня, після Devday від OpenAI, через серію нових функцій, які залучили велику кількість користувачів для тестування, API ChatGPT і GPT зазнали широкого спектру довгострокових простоїв, і Сем Альтман також оголосив про призупинення реєстрації нових учасників Plus.
В даний час у сфері обчислювальної потужності штучного інтелекту графічний процесор NVIDIA займає майже монопольне становище, будь то A100, H100 або щойно випущений H200, він є еталоном обчислювальних чіпів штучного інтелекту, але його графічний процесор стикається з проблемою: кластер обчислювальної потужності відеокарти, розгорнутий у центрі обробки даних, не зможе надавати дані досить швидко, оскільки мережа з'єднання не може швидко надавати дані, і вона не може працювати з повним навантаженням частину часу, що призводить до марної витрати обчислювальної потужності, що, у свою чергу, підвищує загальну вартість володіння (TCO).
Стартап під назвою Enfabrica використовує мережеві чіпи, розроблені спеціально для центрів обробки даних зі штучним інтелектом, щоб збільшити використання обчислювальної потужності вузлів продуктивності графічних процесорів на 50% і знизити витрати на обчислювальну потужність висновків і навчання ШІ.
Enfabrica закрила раунд фінансування серії B на суму 125 мільйонів доларів США під керівництвом Atreides Management з NVIDIA як стратегічним інвестором, а також за участю IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners та Alumni Ventures, її ранній інвестор, Sutter Hill Ventures, також продовжує додавати вагу.
Цей раунд фінансування збільшив оцінку компанії більш ніж у 5 разів порівняно з попереднім раундом, довівши її сукупне фінансування до $148 млн. Гевін Бейкер, засновник Atreides Management, приєднується до Ради директорів, щоб допомогти у зростанні та стратегічному напрямку компанії.
Прагнучи вирішити основні виклики в галузі обчислювальних потужностей штучного інтелекту, двоє ветеранів у галузі чіпів об'єднують зусилля, щоб розпочати бізнес
Згідно з останнім маркетинговим дослідженням 650 Group, дослідницького інституту, що спеціалізується на ланцюжках поставок хмарних обчислень, розмір попиту на обчислення AI/ML, ймовірно, зростатиме від 8 до 275 разів кожні 24 місяці, а сервери на основі AI/ML зростуть з 1% ринку до майже 20% у наступному десятилітті.
Однак через особливості обчислень штучного інтелекту великий рух даних і метаданих між розподіленими обчислювальними елементами сформував вузьке місце. Ділан Пател, аналітик SemiAnalysis, зазначає, що обчислювальна потужність з плаваючою комою (FLOP) кожного покоління чіпів/пакетів зростає швидше, ніж швидкість введення та виведення даних. І ця невідповідність посилюється.
Enfabrica була створена Рочаном Санкаром і Шріджітом Мукерджі. Рочан Санкар є колишнім директором з інжинірингу в гіганті мікросхем Broadcom, а Шріджіт Мукерджі відповідав за мережеву платформу та архітектуру в Google, і вони мають глибоке розуміння та досвід чіпів та мережевої архітектури.
Enfabrica націлена на зростаючий попит на «паралельну, прискорену та гетерогенну» обчислювальну інфраструктуру (тобто графічні процесори) в індустрії штучного інтелекту.
«Найбільшою проблемою, пов'язаною з нинішньою революцією штучного інтелекту, є розширення інфраструктури штучного інтелекту – як з точки зору обчислювальної вартості, так і з точки зору обчислювальної стійкості.
Традиційні мережеві чіпи, такі як комутатори, не встигають за вимогами до переміщення даних сучасних робочих навантажень ШІ, що може створити вузькі місця для обчислювальних вимог, таких як навчання ШІ або точне налаштування ШІ, які вимагають великих наборів даних під час процесу навчання.
У сфері обчислень штучного інтелекту існує нагальна потреба подолати розрив між зростаючими вимогами робочих навантажень штучного інтелекту та загальною вартістю, ефективністю, стійкістю та простотою масштабування обчислювальних кластерів. "
Enfabrica представляє пристрої та рішення Accelerated Compute Fabric Switch (ACF-S), які доповнюють графічні процесори, центральні процесори та прискорювачі для вирішення критичних проблем мереж, вводу/виводу та масштабування пам'яті в ШІ центрів обробки даних та високопродуктивних обчислювальних кластерах. Це знижує обчислювальні витрати графічних процесорів центрів обробки даних і кластерів прискорених обчислень на 50%, розширює пам'ять у 50 разів і знижує обчислювальні витрати на виведення великих моделей приблизно на 50% у тій самій точці продуктивності, досягаючи зниження загальної вартості володіння (TCO).
За даними Dell'Oro Group, інвестиції в інфраструктуру штучного інтелекту дозволять капітальним витратам центрів обробки даних перевищити $500 млрд до 2027 року. Водночас, згідно з прогнозом IDC, очікується, що інвестиції в апаратне забезпечення в ШІ в широкому сенсі зростуть із середньорічним темпом зростання 20,5% протягом наступних п'яти років.
Очікується, що ринок підключених напівпровідників для центрів обробки даних подвоїться з майже 12,5 мільярда доларів у 2022 році до майже 25 мільярдів доларів до 2027 року.
Гевін Бейкер, який приєднується до ради директорів Enfabrica, є ІТ-директором і керуючим партнером Atreides Management, де він інвестував і працював у радах директорів таких компаній, як Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare і SpaceX.
Коли справа доходить до обчислювальної інфраструктури штучного інтелекту, він говорить про кілька важливих областей вдосконалення: «Поєднання швидшого сховища, кращої внутрішньої мережі (особливо Enfabrica), а також лінійної оптики, що підключається/спільно упакована, що з'являється, і покращеної інтеграції процесора/графічного процесора (GraceHopper від NVIDIA, MI300 від AMD і Dojo від Tesla) зруйнувало стіну пам'яті , що ще більше поліпшить рентабельність інвестицій в навчання - як безпосередньо знижуючи витрати на навчання, так і опосередковано збільшуючи норму прибутку і знижуючи вартість висновків наступними способами.
Таким чином, архітектури з перевагою в «корисних обчисленнях на одиницю енергії» виграють, і ми стрімко рухаємося до більш корисних обчислень на одиницю енергії. "
Допомагаємо обчислювати кластери графічного процесора NVIDIA руйнувати «стіну пам'яті»
У сфері обчислень, прискорених штучним інтелектом, «бар'єр пам'яті» є справжньою проблемою, пов'язаною зі збільшенням розриву між продуктивністю обробки та пропускною здатністю пам'яті, необхідною для забезпечення цієї продуктивності.
У порівнянні з традиційними процесорними обчисленнями, GPU-обчислення, які зазвичай використовуються в ШІ, є більш серйозними в цьому плані, оскільки графічні процесори мають більше ядер, вищу пропускну здатність обробки та величезний попит на дані.
Дані, що використовуються штучним інтелектом, повинні бути спочатку організовані та збережені в пам'яті, перш ніж вони можуть бути оброблені графічним процесором. Забезпечення необхідної пам'яті, пропускної здатності та ємності для ШІ є актуальним питанням.
Рішення Enfabrica включає ключові технології, такі як розв'язка CXL.mem, багаторівневість продуктивності/ємності та мережа RDMA, щоб досягти масштабованої ієрархії пам'яті з високою пропускною здатністю, високою ємністю та обмеженням затримки для обслуговування будь-якого великомасштабного обчислювального кластера штучного інтелекту.
Його перший чіп під назвою ACF (Accelerated Compute Fabric) перетворювач дозволяє обчислювальним пулам GPU безпосередньо підключатися до десятків терабайт локальних пулів DRAM CXL.mem з надзвичайно низькою затримкою.
Зокрема, ACF ще більше розширює рівень пам'яті, щоб забезпечити доступ з високою пропускною здатністю до петабайтів DRAM, розподілених між обчислювальними кластерами та рештою центру обробки даних через мережеві порти 800 Гбіт/с. Потім для прискорених обчислень будується ієрархічне сховище даних з ближньою пам'яттю, ближньою та далекою пам'яттю та мережевою далекою пам'яттю, і на кожному рівні пам'яті існують суворі обмеження затримки. За допомогою ACF графічні процесори NVIDIA, які виконують обробку даних, можуть отримувати дані з кількох різних місць, не відчуваючи бар'єрів швидкості.
Рішення Enfabrica під назвою ACF-S складається з кількох чіпів ACF з 8-Тбіт/с мережевими вузлами інфраструктури штучного інтелекту з інтерфейсами 800G Ethernet, PCIe Gen 5 і CXL 2.0+, які можуть знизити енергоспоживання вводу/виводу до 50% (економія 2 кіловат на стійку) порівняно з системами NVIDIA DGX-H100 і системами Meta Grand Teton з вісьмома графічними процесорами NVIDIA H100.
Крім того, рішення Enfabrica можуть бути використані не тільки для великомасштабних висновків ШІ, але й для навчання ШІ, а також для випадків використання, не пов'язаних зі штучним інтелектом, таких як бази даних та грід-обчислення.
Enfabrica планує продавати чіпи та рішення системобудівникам (постачальникам хмарних послуг, операторам центрів обробки даних) замість того, щоб будувати саму систему. Санкар розповів, що Enfabrica має глибокий зв'язок з екосистемою NVIDIA, але вони також планують співпрацювати з більшою кількістю різних компаній, що займаються обчисленнями штучного інтелекту.
«ACF-S нейтрально ставиться до типу та марки процесорів штучного інтелекту, які використовуються для обчислень штучного інтелекту, а також до точної розгорнутої моделі, яка дозволяє створювати інфраструктуру штучного інтелекту в кількох різних сценаріях використання та підтримує кількох постачальників процесорів без прив'язки до власних технологій», — сказав він. "
Швидша та нижча енергоспоживання, формується нове покоління обчислювальної системи штучного інтелекту
Всього через рік після поставки H100 NVIDIA випустила H200, що свідчить про її нагальність зберегти лідируючі позиції в області обчислювальних потужностей штучного інтелекту. Через вибух генеративного штучного інтелекту в минулому році його конкуренти також випустили потужні обчислювальні продукти зі штучним інтелектом, будь то чіпи AMD серії MI300 або чіпи Maia від Microsoft, які порівнюються з H100.
Обчислювальні потужності штучного інтелекту – це технологічно та концентрована на капіталі галузь, і в умовах «казкової боротьби» гігантів, як стартапи з обчислень штучного інтелекту можуть вижити?
Підхід d-Matrix зосереджений на висновках штучного інтелекту, а запущені чіпи логічного висновку ШІ є швидшими та енергоефективнішими, ніж аналогічні продукти від NVIDIA. Як важлива частина обчислювальної системи штучного інтелекту, Enfabrica допомагає графічним процесорам NVIDIA (та іншим обчислювальним чіпам штучного інтелекту) зламати «стіну пам'яті», зменшити обчислювальну потужність простою та покращити коефіцієнт використання обчислювальної системи в цілому.
Обчислювальні системи штучного інтелекту, як і всі обчислювальні системи, мають два важливі фактори: швидкість та енергоспоживання. Незважаючи на те, що великомасштабні обчислення штучного інтелекту (навчання чи висновки) керуються кластерами обчислювальних потужностей, вища швидкість обчислень і менше споживання енергії все ще є напрямком розвитку галузі в цілому.
Графічні процесори NVIDIA мають явну перевагу в напрямку більш високої швидкості обчислень, в той час як такі компанії, як Enfabrica, наполягають на зниженні енергоспоживання.
Як каже Рочан Санкар, засновник Enfabrica: «Для того, щоб обчислення штучного інтелекту були по-справжньому повсюдними, крива витрат повинна піти вниз». Ключовим моментом є те, чи краще та ефективніше використовується обчислювальна потужність графічного процесора. "
Очевидно, що інвестиції NVIDIA в Enfabrica також ґрунтуються на цій логіці, і в міру того, як технологія Enfabrica ще більше покращує використання енергії графічних процесорів NVIDIA, очікується, що її лідируючі позиції в галузі ще більше зміцняться.
Однак, зважаючи на цю очевидну та нагальну потребу, Enfabrica не єдина в галузі, гігант галузі Cisco також випустив серії мережевого обладнання штучного інтелекту Silicon One G200 та G202, і Broadcom також працює в цій сфері. Enfabrica хоче розвиватися далі і все ще стикається з конкуренцією.
ЯКЩО ЗАРУБІЖНА ІНДУСТРІЯ ШТУЧНОГО ІНТЕЛЕКТУ ЗІТКНУЛАСЯ З ТИМЧАСОВОЮ НЕСТАЧЕЮ ОБЧИСЛЮВАЛЬНИХ ПОТУЖНОСТЕЙ, ТО КИТАЙСЬКА ІНДУСТРІЯ ШТУЧНОГО ІНТЕЛЕКТУ ЗІТКНЕТЬСЯ З ДОВГОСТРОКОВОЮ НЕСТАЧЕЮ ОБЧИСЛЮВАЛЬНИХ ПОТУЖНОСТЕЙ ШТУЧНОГО ІНТЕЛЕКТУ, А ОСКІЛЬКИ ГРАФІЧНИЙ ПРОЦЕСОР NIVDIA ЩЕ БІЛЬШЕ ОБМЕЖЕНИЙ, ГАЛУЗЬ МАЄ ВИСОКИЙ ПОПИТ НА МІСЦЕВІ ОБЧИСЛЮВАЛЬНІ ПРОДУКТИ ШТУЧНОГО ІНТЕЛЕКТУ. В даний час Huawei, Alibaba, Baidu, Moore Threads, Cambrian та інші компанії розвивалися в області обчислювальних потужностей штучного інтелекту, і я сподіваюся, що вони, а також інші компанії, зможуть допомогти побудувати власну обчислювальну систему штучного інтелекту в Китаї.