Резко сократив скорость простоя вычислительной мощности графических процессоров, Enfabrica получила раунд финансирования в размере 125 миллионов долларов от NVIDIA
Нехватка вычислительных мощностей в настоящее время является проблемой, с которой сталкивается вся индустрия искусственного интеллекта, только на прошлой неделе, после OpenAI Devday, из-за ряда новых функций, которые привлекли большое количество пользователей, чтобы попробовать, API ChatGPT и GPT испытали широкий спектр длительных простоев, а Сэм Альтман также объявил о приостановке регистрации новых участников Plus.
В настоящее время в области вычислительной мощности искусственного интеллекта графический процессор NVIDIA занимает почти монопольное положение, будь то A100, H100 или только что выпущенный H200, он является эталоном вычислительных чипов искусственного интеллекта, но его графический процессор сталкивается с проблемой: кластер вычислительной мощности видеокарты, развернутый в дата-центре, не сможет предоставлять данные достаточно быстро, потому что сеть подключения не может предоставлять данные быстро, и он не может работать с полной нагрузкой часть времени, что приводит к пустой трате вычислительной мощности, что, в свою очередь, повышает совокупную стоимость владения (TCO).
Стартап под названием Enfabrica использует сетевые чипы, разработанные специально для центров обработки данных с искусственным интеллектом, чтобы увеличить использование вычислительной мощности узлов производительности GPU на 50% и снизить затраты на вычислительную мощность для инференса и обучения ИИ.
Enfabrica закрыла раунд финансирования серии B на сумму 125 миллионов долларов США под руководством Atreides Management с NVIDIA в качестве стратегического инвестора, а также с участием IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners и выпускников Ventures, ее ранний инвестор, Sutter Hill Ventures, также продолжает наращивать вес.
Этот раунд финансирования увеличил оценку компании более чем в 5 раз по сравнению с предыдущим раундом, в результате чего ее совокупное финансирование достигло $148 млн. Гэвин Бейкер, основатель Atreides Management, присоединяется к совету директоров, чтобы помочь компании в росте и стратегическом направлении.
Стремясь решить основные проблемы в области вычислительной мощности ИИ, два ветерана в области чипов объединяют усилия, чтобы начать бизнес
Согласно последнему исследованию рынка, проведенному 650 Group, исследовательским институтом, специализирующимся на цепочках поставок облачных вычислений, размер спроса на вычисления AI/ML, вероятно, будет расти от 8 до 275 раз каждые 24 месяца, а серверы на основе искусственного интеллекта и машинного обучения вырастут с 1% рынка до почти 20% в следующем десятилетии.
Однако из-за особенностей вычислений на основе искусственного интеллекта большое перемещение данных и метаданных между элементами распределенных вычислений сформировало узкое место. Дилан Патель, аналитик SemiAnalysis, отмечает, что вычислительная мощность вычислений с плавающей запятой (FLOP) каждого поколения чипов/корпусов растет быстрее, чем скорость ввода и вывода данных. И это несоответствие усугубляется.
Enfabrica была создана Рочаном Санкаром и Шриджитом Мукерджи. Рочан Санкар (Rochan Sankar) — бывший технический директор гиганта Broadcom, а Шриджит Мукерджи (Shrijeet Mukherjee) отвечал за сетевую платформу и архитектуру в Google, и у них есть глубокое понимание и опыт работы с чипами и сетевой архитектурой.
С точки зрения организационной структуры, Санкар является генеральным директором, Мукерджи — директором по развитию, а основная команда Enfabrica включает в себя старших инженеров из Cisco, Meta, Intel и других компаний в области искусственного интеллекта, сетей и чипов.
Enfabrica нацелена на растущий спрос на «параллельную, ускоренную и гетерогенную вычислительную инфраструктуру» (т.е. графические процессоры) в индустрии искусственного интеллекта.
«Самая большая проблема, связанная с текущей революцией ИИ, — это расширение инфраструктуры ИИ — как с точки зрения вычислительных затрат, так и с точки зрения вычислительной устойчивости.
Традиционные сетевые чипы, такие как коммутаторы, с трудом справляются с требованиями современных рабочих нагрузок ИИ к перемещению данных, что может создавать узкие места для вычислительных требований, таких как обучение ИИ или тонкая настройка ИИ, требующие больших наборов данных в процессе обучения.
В вычислительном пространстве ИИ существует острая потребность в преодолении разрыва между растущими требованиями к рабочим нагрузкам ИИ и общей стоимостью, эффективностью, устойчивостью и простотой масштабирования вычислительных кластеров. "
Enfabrica представляет устройства и решения Accelerated Compute Fabric Switch (ACF-S), которые дополняют графические процессоры, центральные процессоры и ускорители для решения критически важных проблем сети, ввода-вывода и масштабирования памяти в центрах обработки данных, ИИ и высокопроизводительных вычислительных кластерах. Он снижает вычислительные затраты на графические процессоры центров обработки данных и кластеры ускоренных вычислений на 50%, увеличивает объем памяти в 50 раз и снижает вычислительные затраты на вывод больших моделей примерно на 50% при той же точке производительности, достигая снижения совокупной стоимости владения (TCO).
По данным Dell'Oro Group, инвестиции в инфраструктуру искусственного интеллекта позволят к 2027 году превысить 500 миллиардов долларов США. В то же время, согласно прогнозу IDC, ожидается, что инвестиции в аппаратное обеспечение в ИИ в широком смысле будут расти со среднегодовым темпом роста 20,5% в течение следующих пяти лет.
Ожидается, что рынок подключенных полупроводников для центров обработки данных удвоится с почти $12,5 млрд в 2022 году до почти $25 млрд к 2027 году.
Гэвин Бейкер (Gavin Baker), входящий в совет директоров Enfabrica, является директором по информационным технологиям и управляющим партнером компании Atreides Management, где он инвестировал и входил в советы директоров таких компаний, как Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare и SpaceX.
Когда речь заходит о вычислительной инфраструктуре ИИ, он говорит о нескольких важных областях улучшения: «Сочетание более быстрого хранения данных, улучшенных серверных сетей (особенно Enfabrica) и появляющейся линейной подключаемой/сопакетной оптики и улучшенной интеграции CP/GPU (GraceHopper от NVIDIA, MI300 от AMD и Dojo от Tesla) разрушило стену памяти , что еще больше повысит окупаемость инвестиций в обучение - как напрямую снижая затраты на обучение, так и косвенно увеличивая маржу прибыли и снижая стоимость логического вывода следующими способами.
Подводя итог, можно сказать, что архитектуры с преимуществом в «полезных вычислениях на единицу энергии» выиграют, и мы быстро движемся к более полезным вычислениям на единицу энергии. "
Помощь вычислительным кластерам NVIDIA GPU в преодолении «стены памяти»
В области вычислений с ускорением ИИ «барьер памяти» является реальной проблемой, относящейся к увеличивающемуся разрыву между производительностью обработки и пропускной способностью памяти, необходимой для обеспечения этой производительности.
По сравнению с традиционными вычислениями на CPU, вычисления на GPU, которые обычно используются в ИИ, более серьезны в этом отношении, потому что графические процессоры имеют больше ядер, более высокую производительность обработки и огромный спрос на данные.
Данные, используемые искусственным интеллектом, должны быть организованы и сохранены в памяти, прежде чем они могут быть обработаны графическим процессором. Обеспечение необходимой памяти, пропускной способности и емкости для ИИ является насущной проблемой.
Для решения этой проблемы уже сейчас можно использовать несколько ключевых технологий: архитектуры многоуровневого хранения и кэширования производительности/емкости памяти, которые ранее использовались в центральных процессорах и распределенных кластерных вычислениях, сетевую технологию удаленного прямого доступа к памяти (RDMA), которая позволяет создавать расширенные системы искусственного интеллекта, а также широко признанный и принятый в отрасли стандарт интерфейса Compute Express Link (CXL).
Решение Enfabrica включает в себя ключевые технологии, такие как разделение CXL.mem, многоуровневое распределение производительности и емкости и сеть RDMA для создания масштабируемой иерархии памяти с высокой пропускной способностью, высокой емкостью и ограниченной задержкой для обслуживания любого крупномасштабного вычислительного кластера ИИ.
Ее первый чип, получивший название ACF (Accelerated Compute Fabric) converter, позволяет напрямую подключать пулы вычислительной мощности GPU к десяткам терабайт локальных пулов DRAM CXL.mem с чрезвычайно низкой задержкой.
В частности, ACF продолжает развивать многоуровневое хранение памяти, чтобы обеспечить доступ с высокой пропускной способностью к петабайтам DRAM, распределенным по вычислительным кластерам и остальной части центра обработки данных, через сетевые порты 800GbE. Затем для ускоренных вычислений создается иерархическое хранилище данных с ближней памятью, ближней и дальней памятью, а также сетевой дальней памятью, и на каждом уровне памяти существуют строгие ограничения задержки. С помощью ACF графические процессоры NVIDIA, выполняющие обработку данных, могут извлекать данные из нескольких разных мест, не испытывая барьеров скорости.
Решение Enfabrica, получившее название ACF-S, состоит из нескольких чипов ACF с сетевыми узлами инфраструктуры AI 8 Тбит/с с интерфейсами 800G Ethernet, PCIe Gen 5 и CXL 2.0+, которые могут снизить энергопотребление ввода-вывода до 50% (экономия 2 киловатт на стойку) по сравнению с системами NVIDIA DGX-H100 и системами Meta Grand Teton с восемью графическими процессорами NVIDIA H100.
«ACF-S — это конвергентное решение, которое устраняет необходимость в традиционных, разрозненных серверных входах/выходах и сетевых чипах, таких как сетевые коммутаторы стоечного уровня, контроллеры серверных сетевых интерфейсов и коммутаторы PCIe. — объяснил Рочан Санкар.
Устройства ACF-S позволяют компаниям, занимающимся задачами логического вывода ИИ, использовать как можно меньше графических процессоров, центральных процессоров и других ускорителей ИИ. Это связано с тем, что ACF-S может более эффективно использовать существующее оборудование, быстро перемещая большие объемы данных.
Более того, решения Enfabrica можно использовать не только для крупномасштабного логического вывода ИИ, но и для обучения ИИ, а также для сценариев использования, не связанных с ИИ, таких как базы данных и распределенные вычисления.
Enfabrica планирует продавать чипы и решения сборщикам систем (облачным вендорам, операторам центров обработки данных) вместо того, чтобы строить саму систему. Санкар рассказал, что Enfabrica тесно связана с экосистемой NVIDIA, но они также планируют работать с большим количеством различных компаний, занимающихся вычислениями на основе искусственного интеллекта.
«ACF-S нейтрально относится к типу и марке процессоров ИИ, используемых для вычислений ИИ, а также к точной развернутой модели, которая позволяет создавать инфраструктуру ИИ в нескольких различных сценариях использования и поддерживает несколько поставщиков процессоров без привязки к проприетарной технологии», — сказал он. "
Более быстрое и низкое энергопотребление, новое поколение вычислительных мощностей с искусственным интеллектом обретает форму
Всего через год после поставки H100 NVIDIA выпустила H200, что свидетельствует о ее стремлении сохранить лидирующие позиции в области вычислительной мощности искусственного интеллекта. Из-за бурного развития генеративного ИИ в прошлом году его конкуренты также запустили мощные вычислительные продукты с искусственным интеллектом, будь то чипы AMD серии MI300 или чипы Microsoft Maia, которые сравниваются с H100.
Вычислительные мощности искусственного интеллекта — это технологически емкая и капиталоконцентрированная отрасль, и перед лицом «сказочной борьбы» гигантов, как стартапы в области вычислений с искусственным интеллектом могут выжить?
Подход d-Matrix ориентирован на инференс ИИ, а выпущенные чипы инференса ИИ быстрее и энергоэффективнее, чем аналогичные продукты NVIDIA. Являясь важной частью вычислительной системы ИИ, Enfabrica помогает графическим процессорам NVIDIA (и другим вычислительным чипам ИИ) преодолевать «стену памяти», уменьшать простаивающие вычислительные мощности и улучшать коэффициент использования вычислительной системы в целом.
Вычислительные системы с искусственным интеллектом, как и все вычислительные системы, имеют два важных фактора: скорость и энергопотребление. Несмотря на то, что крупномасштабные вычисления на основе искусственного интеллекта (будь то обучение или логические выводы) выполняются кластерами вычислительных мощностей, более высокая скорость вычислений и более низкое энергопотребление по-прежнему являются направлением развития отрасли в целом.
Графические процессоры NVIDIA имеют явное преимущество в сторону более высоких скоростей вычислений, в то время как такие компании, как Enfabrica, настаивают на более низком энергопотреблении.
Как говорит Рочан Санкар, основатель Enfabrica, «для того, чтобы вычисления на основе искусственного интеллекта стали по-настоящему повсеместными, кривая затрат должна снизиться». Ключевым моментом является то, используется ли вычислительная мощность графического процессора лучше и эффективнее. "
Очевидно, что инвестиции NVIDIA в Enfabrica также основаны на этой логике, и по мере того, как технология Enfabrica еще больше улучшает использование мощности графических процессоров NVIDIA, ожидается, что ее лидирующие позиции в отрасли будут еще больше укрепляться.
Однако перед лицом этой очевидной и насущной необходимости Enfabrica не единственная в отрасли, отраслевой гигант Cisco также запустил серии сетевого оборудования искусственного интеллекта Silicon One G200 и G202, и Broadcom также работает в этой области. Enfabrica хочет расти дальше и по-прежнему сталкивается с конкуренцией.
ЕСЛИ ЗАРУБЕЖНАЯ ИНДУСТРИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА СТОЛКНУЛАСЬ С ВРЕМЕННОЙ НЕХВАТКОЙ ВЫЧИСЛИТЕЛЬНЫХ МОЩНОСТЕЙ, ТО ИНДУСТРИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА КИТАЯ ДОЛЖНА СТОЛКНУТЬСЯ С ДОЛГОСРОЧНОЙ НЕХВАТКОЙ ВЫЧИСЛИТЕЛЬНЫХ МОЩНОСТЕЙ ИИ, А ПОСКОЛЬКУ ГРАФИЧЕСКИЕ ПРОЦЕССОРЫ NIVDIA ЕЩЕ БОЛЬШЕ ОГРАНИЧЕНЫ, ОТРАСЛЬ ИМЕЕТ ВЫСОКИЙ СПРОС НА МЕСТНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ПРОДУКТЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. В настоящее время Huawei, Alibaba, Baidu, Moore Threads, Cambrian и другие компании развиваются в области вычислительных мощностей ИИ, и я надеюсь, что они, как и другие компании, смогут помочь построить собственную вычислительную систему ИИ в Китае.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Резко сократив скорость простоя вычислительной мощности графических процессоров, Enfabrica получила раунд финансирования в размере 125 миллионов долларов от NVIDIA
Первоисточник: Альфа Коммуна
Нехватка вычислительных мощностей в настоящее время является проблемой, с которой сталкивается вся индустрия искусственного интеллекта, только на прошлой неделе, после OpenAI Devday, из-за ряда новых функций, которые привлекли большое количество пользователей, чтобы попробовать, API ChatGPT и GPT испытали широкий спектр длительных простоев, а Сэм Альтман также объявил о приостановке регистрации новых участников Plus.
В настоящее время в области вычислительной мощности искусственного интеллекта графический процессор NVIDIA занимает почти монопольное положение, будь то A100, H100 или только что выпущенный H200, он является эталоном вычислительных чипов искусственного интеллекта, но его графический процессор сталкивается с проблемой: кластер вычислительной мощности видеокарты, развернутый в дата-центре, не сможет предоставлять данные достаточно быстро, потому что сеть подключения не может предоставлять данные быстро, и он не может работать с полной нагрузкой часть времени, что приводит к пустой трате вычислительной мощности, что, в свою очередь, повышает совокупную стоимость владения (TCO).
Стартап под названием Enfabrica использует сетевые чипы, разработанные специально для центров обработки данных с искусственным интеллектом, чтобы увеличить использование вычислительной мощности узлов производительности GPU на 50% и снизить затраты на вычислительную мощность для инференса и обучения ИИ.
Enfabrica закрыла раунд финансирования серии B на сумму 125 миллионов долларов США под руководством Atreides Management с NVIDIA в качестве стратегического инвестора, а также с участием IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners и выпускников Ventures, ее ранний инвестор, Sutter Hill Ventures, также продолжает наращивать вес.
Этот раунд финансирования увеличил оценку компании более чем в 5 раз по сравнению с предыдущим раундом, в результате чего ее совокупное финансирование достигло $148 млн. Гэвин Бейкер, основатель Atreides Management, присоединяется к совету директоров, чтобы помочь компании в росте и стратегическом направлении.
Стремясь решить основные проблемы в области вычислительной мощности ИИ, два ветерана в области чипов объединяют усилия, чтобы начать бизнес
Согласно последнему исследованию рынка, проведенному 650 Group, исследовательским институтом, специализирующимся на цепочках поставок облачных вычислений, размер спроса на вычисления AI/ML, вероятно, будет расти от 8 до 275 раз каждые 24 месяца, а серверы на основе искусственного интеллекта и машинного обучения вырастут с 1% рынка до почти 20% в следующем десятилетии.
Однако из-за особенностей вычислений на основе искусственного интеллекта большое перемещение данных и метаданных между элементами распределенных вычислений сформировало узкое место. Дилан Патель, аналитик SemiAnalysis, отмечает, что вычислительная мощность вычислений с плавающей запятой (FLOP) каждого поколения чипов/корпусов растет быстрее, чем скорость ввода и вывода данных. И это несоответствие усугубляется.
Enfabrica была создана Рочаном Санкаром и Шриджитом Мукерджи. Рочан Санкар (Rochan Sankar) — бывший технический директор гиганта Broadcom, а Шриджит Мукерджи (Shrijeet Mukherjee) отвечал за сетевую платформу и архитектуру в Google, и у них есть глубокое понимание и опыт работы с чипами и сетевой архитектурой.
Enfabrica нацелена на растущий спрос на «параллельную, ускоренную и гетерогенную вычислительную инфраструктуру» (т.е. графические процессоры) в индустрии искусственного интеллекта.
«Самая большая проблема, связанная с текущей революцией ИИ, — это расширение инфраструктуры ИИ — как с точки зрения вычислительных затрат, так и с точки зрения вычислительной устойчивости.
Традиционные сетевые чипы, такие как коммутаторы, с трудом справляются с требованиями современных рабочих нагрузок ИИ к перемещению данных, что может создавать узкие места для вычислительных требований, таких как обучение ИИ или тонкая настройка ИИ, требующие больших наборов данных в процессе обучения.
В вычислительном пространстве ИИ существует острая потребность в преодолении разрыва между растущими требованиями к рабочим нагрузкам ИИ и общей стоимостью, эффективностью, устойчивостью и простотой масштабирования вычислительных кластеров. "
Enfabrica представляет устройства и решения Accelerated Compute Fabric Switch (ACF-S), которые дополняют графические процессоры, центральные процессоры и ускорители для решения критически важных проблем сети, ввода-вывода и масштабирования памяти в центрах обработки данных, ИИ и высокопроизводительных вычислительных кластерах. Он снижает вычислительные затраты на графические процессоры центров обработки данных и кластеры ускоренных вычислений на 50%, увеличивает объем памяти в 50 раз и снижает вычислительные затраты на вывод больших моделей примерно на 50% при той же точке производительности, достигая снижения совокупной стоимости владения (TCO).
По данным Dell'Oro Group, инвестиции в инфраструктуру искусственного интеллекта позволят к 2027 году превысить 500 миллиардов долларов США. В то же время, согласно прогнозу IDC, ожидается, что инвестиции в аппаратное обеспечение в ИИ в широком смысле будут расти со среднегодовым темпом роста 20,5% в течение следующих пяти лет.
Ожидается, что рынок подключенных полупроводников для центров обработки данных удвоится с почти $12,5 млрд в 2022 году до почти $25 млрд к 2027 году.
Гэвин Бейкер (Gavin Baker), входящий в совет директоров Enfabrica, является директором по информационным технологиям и управляющим партнером компании Atreides Management, где он инвестировал и входил в советы директоров таких компаний, как Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare и SpaceX.
Когда речь заходит о вычислительной инфраструктуре ИИ, он говорит о нескольких важных областях улучшения: «Сочетание более быстрого хранения данных, улучшенных серверных сетей (особенно Enfabrica) и появляющейся линейной подключаемой/сопакетной оптики и улучшенной интеграции CP/GPU (GraceHopper от NVIDIA, MI300 от AMD и Dojo от Tesla) разрушило стену памяти , что еще больше повысит окупаемость инвестиций в обучение - как напрямую снижая затраты на обучение, так и косвенно увеличивая маржу прибыли и снижая стоимость логического вывода следующими способами.
Подводя итог, можно сказать, что архитектуры с преимуществом в «полезных вычислениях на единицу энергии» выиграют, и мы быстро движемся к более полезным вычислениям на единицу энергии. "
Помощь вычислительным кластерам NVIDIA GPU в преодолении «стены памяти»
В области вычислений с ускорением ИИ «барьер памяти» является реальной проблемой, относящейся к увеличивающемуся разрыву между производительностью обработки и пропускной способностью памяти, необходимой для обеспечения этой производительности.
По сравнению с традиционными вычислениями на CPU, вычисления на GPU, которые обычно используются в ИИ, более серьезны в этом отношении, потому что графические процессоры имеют больше ядер, более высокую производительность обработки и огромный спрос на данные.
Данные, используемые искусственным интеллектом, должны быть организованы и сохранены в памяти, прежде чем они могут быть обработаны графическим процессором. Обеспечение необходимой памяти, пропускной способности и емкости для ИИ является насущной проблемой.
Решение Enfabrica включает в себя ключевые технологии, такие как разделение CXL.mem, многоуровневое распределение производительности и емкости и сеть RDMA для создания масштабируемой иерархии памяти с высокой пропускной способностью, высокой емкостью и ограниченной задержкой для обслуживания любого крупномасштабного вычислительного кластера ИИ.
Ее первый чип, получивший название ACF (Accelerated Compute Fabric) converter, позволяет напрямую подключать пулы вычислительной мощности GPU к десяткам терабайт локальных пулов DRAM CXL.mem с чрезвычайно низкой задержкой.
В частности, ACF продолжает развивать многоуровневое хранение памяти, чтобы обеспечить доступ с высокой пропускной способностью к петабайтам DRAM, распределенным по вычислительным кластерам и остальной части центра обработки данных, через сетевые порты 800GbE. Затем для ускоренных вычислений создается иерархическое хранилище данных с ближней памятью, ближней и дальней памятью, а также сетевой дальней памятью, и на каждом уровне памяти существуют строгие ограничения задержки. С помощью ACF графические процессоры NVIDIA, выполняющие обработку данных, могут извлекать данные из нескольких разных мест, не испытывая барьеров скорости.
Решение Enfabrica, получившее название ACF-S, состоит из нескольких чипов ACF с сетевыми узлами инфраструктуры AI 8 Тбит/с с интерфейсами 800G Ethernet, PCIe Gen 5 и CXL 2.0+, которые могут снизить энергопотребление ввода-вывода до 50% (экономия 2 киловатт на стойку) по сравнению с системами NVIDIA DGX-H100 и системами Meta Grand Teton с восемью графическими процессорами NVIDIA H100.
Более того, решения Enfabrica можно использовать не только для крупномасштабного логического вывода ИИ, но и для обучения ИИ, а также для сценариев использования, не связанных с ИИ, таких как базы данных и распределенные вычисления.
Enfabrica планирует продавать чипы и решения сборщикам систем (облачным вендорам, операторам центров обработки данных) вместо того, чтобы строить саму систему. Санкар рассказал, что Enfabrica тесно связана с экосистемой NVIDIA, но они также планируют работать с большим количеством различных компаний, занимающихся вычислениями на основе искусственного интеллекта.
«ACF-S нейтрально относится к типу и марке процессоров ИИ, используемых для вычислений ИИ, а также к точной развернутой модели, которая позволяет создавать инфраструктуру ИИ в нескольких различных сценариях использования и поддерживает несколько поставщиков процессоров без привязки к проприетарной технологии», — сказал он. "
Более быстрое и низкое энергопотребление, новое поколение вычислительных мощностей с искусственным интеллектом обретает форму
Всего через год после поставки H100 NVIDIA выпустила H200, что свидетельствует о ее стремлении сохранить лидирующие позиции в области вычислительной мощности искусственного интеллекта. Из-за бурного развития генеративного ИИ в прошлом году его конкуренты также запустили мощные вычислительные продукты с искусственным интеллектом, будь то чипы AMD серии MI300 или чипы Microsoft Maia, которые сравниваются с H100.
Вычислительные мощности искусственного интеллекта — это технологически емкая и капиталоконцентрированная отрасль, и перед лицом «сказочной борьбы» гигантов, как стартапы в области вычислений с искусственным интеллектом могут выжить?
Подход d-Matrix ориентирован на инференс ИИ, а выпущенные чипы инференса ИИ быстрее и энергоэффективнее, чем аналогичные продукты NVIDIA. Являясь важной частью вычислительной системы ИИ, Enfabrica помогает графическим процессорам NVIDIA (и другим вычислительным чипам ИИ) преодолевать «стену памяти», уменьшать простаивающие вычислительные мощности и улучшать коэффициент использования вычислительной системы в целом.
Вычислительные системы с искусственным интеллектом, как и все вычислительные системы, имеют два важных фактора: скорость и энергопотребление. Несмотря на то, что крупномасштабные вычисления на основе искусственного интеллекта (будь то обучение или логические выводы) выполняются кластерами вычислительных мощностей, более высокая скорость вычислений и более низкое энергопотребление по-прежнему являются направлением развития отрасли в целом.
Графические процессоры NVIDIA имеют явное преимущество в сторону более высоких скоростей вычислений, в то время как такие компании, как Enfabrica, настаивают на более низком энергопотреблении.
Как говорит Рочан Санкар, основатель Enfabrica, «для того, чтобы вычисления на основе искусственного интеллекта стали по-настоящему повсеместными, кривая затрат должна снизиться». Ключевым моментом является то, используется ли вычислительная мощность графического процессора лучше и эффективнее. "
Очевидно, что инвестиции NVIDIA в Enfabrica также основаны на этой логике, и по мере того, как технология Enfabrica еще больше улучшает использование мощности графических процессоров NVIDIA, ожидается, что ее лидирующие позиции в отрасли будут еще больше укрепляться.
Однако перед лицом этой очевидной и насущной необходимости Enfabrica не единственная в отрасли, отраслевой гигант Cisco также запустил серии сетевого оборудования искусственного интеллекта Silicon One G200 и G202, и Broadcom также работает в этой области. Enfabrica хочет расти дальше и по-прежнему сталкивается с конкуренцией.
ЕСЛИ ЗАРУБЕЖНАЯ ИНДУСТРИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА СТОЛКНУЛАСЬ С ВРЕМЕННОЙ НЕХВАТКОЙ ВЫЧИСЛИТЕЛЬНЫХ МОЩНОСТЕЙ, ТО ИНДУСТРИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА КИТАЯ ДОЛЖНА СТОЛКНУТЬСЯ С ДОЛГОСРОЧНОЙ НЕХВАТКОЙ ВЫЧИСЛИТЕЛЬНЫХ МОЩНОСТЕЙ ИИ, А ПОСКОЛЬКУ ГРАФИЧЕСКИЕ ПРОЦЕССОРЫ NIVDIA ЕЩЕ БОЛЬШЕ ОГРАНИЧЕНЫ, ОТРАСЛЬ ИМЕЕТ ВЫСОКИЙ СПРОС НА МЕСТНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ ПРОДУКТЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. В настоящее время Huawei, Alibaba, Baidu, Moore Threads, Cambrian и другие компании развиваются в области вычислительных мощностей ИИ, и я надеюсь, что они, как и другие компании, смогут помочь построить собственную вычислительную систему ИИ в Китае.