En réduisant considérablement le taux d’inactivité de la puissance de calcul du GPU, Enfabrica a reçu un financement de 125 millions de dollars de NVIDIA
Le manque de puissance de calcul est actuellement un problème auquel l’ensemble de l’industrie de l’IA est confrontée, pas plus tard que la semaine dernière, après le Devday d’OpenAI, en raison d’une série de nouvelles fonctionnalités qui ont attiré un grand nombre d’utilisateurs à essayer, ChatGPT et les API de GPT ont connu un large éventail de temps d’arrêt à long terme, et Sam Altman a également annoncé la suspension de l’inscription des nouveaux membres Plus.
À l’heure actuelle, dans le domaine de la puissance de calcul de l’IA, le GPU de NVIDIA occupe une position quasi monopolistique, qu’il s’agisse de l’A100, du H100 ou du H200 qui vient de sortir, c’est la référence des puces de calcul de l’IA, mais son GPU fait face à un problème : le cluster de puissance de calcul de la carte graphique déployé dans le centre de données ne sera pas en mesure de fournir des données assez rapidement car le réseau de connexion ne peut pas fournir de données rapidement, et il ne peut pas fonctionner à pleine charge une partie du temps, ce qui entraîne un gaspillage de puissance de calcul, ce qui fait grimper le coût total de possession (TCO).
Une start-up appelée Enfabrica utilise des puces réseau développées spécifiquement pour les centres de données d’IA afin d’augmenter de 50 % l’utilisation de la puissance de calcul des nœuds de performance GPU et de réduire le coût de la puissance de calcul de l’inférence et de l’entraînement de l’IA.
Enfabrica a clôturé un tour de financement de série B de 125 millions de dollars mené par Atreides Management avec NVIDIA en tant qu’investisseur stratégique, avec la participation d’IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners et Alumni Ventures, son premier investisseur, Sutter Hill Ventures, continue également d’ajouter des poids.
Cette ronde de financement a multiplié par plus de 5 la valorisation de l’entreprise par rapport à la ronde précédente, portant son financement cumulé à 148 millions de dollars. Gavin Baker, fondateur d’Atreides Management, se joint au conseil d’administration pour contribuer à la croissance et à l’orientation stratégique de l’entreprise.
Visant les grands défis dans le domaine de la puissance de calcul de l’IA, deux vétérans dans le domaine des puces s’associent pour créer une entreprise
Selon la dernière étude de marché de 650 Group, un institut de recherche spécialisé dans les chaînes d’approvisionnement du cloud computing, la taille de la demande de calcul IA/ML devrait être multipliée par 8 à 275 tous les 24 mois, et les serveurs basés sur l’IA/ML passeront de 1 % du marché à près de 20 % au cours de la prochaine décennie.
Cependant, en raison des caractéristiques de l’informatique basée sur l’IA, le grand mouvement de données et de métadonnées entre les éléments informatiques distribués a formé un goulot d’étranglement. Dylan Patel, analyste chez SemiAnalysis, souligne que la puissance de calcul en virgule flottante (FLOP) de chaque génération de puces/boîtiers augmente plus rapidement que la vitesse d’entrée et de sortie des données. Et ce décalage ne fait que s’aggraver.
Enfabrica a été créé par Rochan Sankar et Shrijeet Mukherjee. Rochan Sankar est un ancien directeur de l’ingénierie chez le géant des puces Broadcom, et Shrijeet Mukherjee était responsable de la plate-forme et de l’architecture réseau chez Google, et ils ont une compréhension et une expérience approfondies des puces et de l’architecture réseau.
En termes de structure organisationnelle, Sankar est le PDG, Mukherjee est le directeur du développement, et l’équipe de base d’Enfabrica comprend des ingénieurs seniors de Cisco, Meta, Intel et d’autres entreprises dans les domaines de l’IA, des réseaux et des puces.
Enfabrica cible la demande croissante d’infrastructures informatiques « parallèles, accélérées et hétérogènes » (c’est-à-dire des GPU) dans l’industrie de l’IA.
« Le plus grand défi posé par la révolution actuelle de l’IA est l’expansion de l’infrastructure de l’IA, tant en termes de coût de calcul que de durabilité informatique.
Les puces réseau traditionnelles, telles que les commutateurs, ont du mal à répondre aux demandes de déplacement de données des charges de travail d’IA modernes, ce qui peut créer des goulots d’étranglement pour les demandes de calcul telles que l’entraînement de l’IA ou le réglage fin de l’IA qui nécessitent de grands ensembles de données pendant le processus d’apprentissage.
Il existe un besoin urgent dans le domaine de l’informatique basée sur l’IA de combler le fossé entre les demandes croissantes des charges de travail d’IA et le coût, l’efficacité, la durabilité et la facilité de mise à l’échelle globaux des clusters informatiques. "
Enfabrica présente des dispositifs et des solutions ACF-S (Accelerated Compute Fabric Switch) qui complètent les GPU, les CPU et les accélérateurs pour résoudre les problèmes critiques de mise en réseau, d’E/S et de mise à l’échelle de la mémoire dans les clusters d’IA et de calcul haute performance des centres de données. Il réduit de 50 % le coût de calcul des GPU de centre de données et des clusters de calcul accéléré, multiplie par 50 la mémoire et réduit le coût de calcul de l’inférence de grands modèles d’environ 50 % au même point de performance, ce qui permet de réduire le coût total de possession (TCO).
Selon Dell’Oro Group, les investissements dans l’infrastructure d’IA permettront aux dépenses d’investissement des centres de données de dépasser 500 milliards de dollars d’ici 2027. Dans le même temps, selon les prévisions d’IDC, les investissements matériels dans l’IA au sens large devraient croître à un TCAC de 20,5 % au cours des cinq prochaines années.
Le marché des semi-conducteurs connectés pour les centres de données devrait doubler, passant de près de 12,5 milliards de dollars en 2022 à près de 25 milliards de dollars d’ici 2027.
Gavin Baker, qui rejoint le conseil d’administration d’Enfabrica, est CIO et associé directeur d’Atreides Management, où il a investi et siégé aux conseils d’administration de sociétés telles que Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare et SpaceX.
En ce qui concerne l’infrastructure informatique de l’IA, il parle de plusieurs domaines d’amélioration importants : « La combinaison d’un stockage plus rapide, d’une meilleure mise en réseau back-end (en particulier Enfabrica), de l’optique linéaire enfichable/co-packagée et de l’amélioration de l’intégration CPU/GPU (GraceHopper de NVIDIA, MI300 d’AMD et Dojo de Tesla) a fait tomber le mur de la mémoire , ce qui améliorera encore le retour sur investissement de la formation, à la fois en réduisant directement le coût de la formation et en augmentant indirectement la marge bénéficiaire et en réduisant le coût de l’inférence de la manière suivante.
En résumé, les architectures ayant un avantage dans le « calcul utile par unité d’énergie » gagneront, et nous nous dirigeons rapidement vers un calcul plus utile par unité d’énergie. "
Aider les clusters de calcul GPU NVIDIA à briser le « mur de la mémoire"
Dans le domaine de l’informatique accélérée par l’IA, la « barrière de la mémoire » est un véritable problème, faisant référence à l’écart grandissant entre les performances de traitement et la bande passante mémoire nécessaire pour fournir ces performances.
Par rapport à l’informatique traditionnelle par processeur, l’informatique GPU, qui est couramment utilisée dans l’IA, est plus sérieuse à cet égard, car les GPU ont plus de cœurs, un débit de traitement plus élevé et une énorme demande de données.
Les données utilisées par l’IA doivent d’abord être organisées et stockées en mémoire avant de pouvoir être traitées par le GPU. Fournir la mémoire, la bande passante et la capacité nécessaires à l’IA est une question urgente.
Pour résoudre ce problème, plusieurs technologies clés peuvent déjà être exploitées : les architectures de hiérarchisation et de mise en cache des performances et de la capacité de la mémoire qui ont déjà été utilisées dans les processeurs et l’informatique en cluster distribuée, la technologie de mise en réseau RDMA (Remote Direct Memory Access) qui permet des systèmes d’IA étendus, et la norme d’interface Compute Express Link (CXL) largement reconnue et adoptée dans l’industrie.
La solution d’Enfabrica intègre des technologies clés telles que le découplage CXL.mem, la hiérarchisation des performances/capacité et la mise en réseau RDMA pour obtenir une hiérarchie de mémoire évolutive, à large bande passante, à haute capacité et à latence limitée pour servir n’importe quel cluster de calcul d’IA à grande échelle.
Sa première puce, appelée convertisseur ACF (Accelerated Compute Fabric), permet aux pools de puissance de calcul GPU d’être directement connectés à des dizaines de téraoctets de pools DRAM CXL.mem locaux avec une latence extrêmement faible.
Plus précisément, ACF pousse encore plus loin la hiérarchisation de la mémoire pour permettre un accès à large bande passante à des pétaoctets de DRAM distribués sur les clusters de calcul et le reste du centre de données via des ports réseau 800 GbE. Ensuite, un magasin de données hiérarchique avec une mémoire proche, une mémoire proche et lointaine et une mémoire distante réseau est conçu pour le calcul accéléré, et il existe des limites de latence strictes à chaque niveau de mémoire. Avec l’aide d’ACF, les GPU NVIDIA effectuant le traitement des données sont capables d’extraire des données de plusieurs endroits différents sans rencontrer de barrières de vitesse.
La solution d’Enfabrica, appelée ACF-S, se compose de plusieurs puces ACF avec des nœuds de réseau d’infrastructure d’IA de 8 Tbit/s avec des interfaces Ethernet 800G, PCIe Gen 5 et CXL 2.0+, qui peuvent réduire la consommation d’énergie d’E/S jusqu’à 50 % (économie de 2 kilowatts par rack) par rapport aux systèmes NVIDIA DGX-H100 et aux systèmes Meta Grand Teton avec huit GPU NVIDIA H100.
« ACF-S est une solution convergée qui élimine le besoin d’E/S de serveur et de puces réseau traditionnelles et disparates, telles que les commutateurs réseau au niveau du rack, les contrôleurs d’interface réseau de serveur et les commutateurs PCIe. », a expliqué Rochan Sankar.
Les dispositifs ACF-S permettent aux entreprises qui effectuent des tâches d’inférence d’IA d’utiliser le moins de GPU, de CPU et d’autres accélérateurs d’IA que possible. En effet, ACF-S est capable d’utiliser plus efficacement le matériel existant en déplaçant rapidement de grandes quantités de données.
De plus, les solutions d’Enfabrica peuvent être utilisées non seulement pour l’inférence d’IA à grande échelle, mais aussi pour l’entraînement de l’IA, ainsi que pour des cas d’utilisation non liés à l’IA tels que les bases de données et le grid computing.
Enfabrica prévoit de vendre des puces et des solutions aux constructeurs de systèmes (fournisseurs de cloud, opérateurs de centres de données) au lieu de construire le système lui-même. Sankar a révélé qu’Enfabrica s’intègre parfaitement à l’écosystème NVIDIA, mais qu’ils prévoient également de travailler avec d’autres sociétés d’informatique basée sur l’IA.
« ACF-S est neutre quant au type et à la marque des processeurs d’IA utilisés pour l’informatique d’IA, ainsi qu’au modèle exact déployé, qui permet la construction d’une infrastructure d’IA dans plusieurs cas d’utilisation différents et prend en charge plusieurs fournisseurs de processeurs sans verrouillage de la technologie propriétaire », a-t-il déclaré. "
Plus rapide, moins gourmand en énergie, une nouvelle génération de système de puissance de calcul IA prend forme
Un an seulement après la sortie du H100, NVIDIA a lancé le H200, ce qui montre son urgence à maintenir sa position de leader dans le domaine de la puissance de calcul de l’IA. En raison de l’explosion de l’IA générative au cours de l’année écoulée, ses concurrents ont également lancé de puissants produits informatiques d’IA, qu’il s’agisse des puces de la série MI300 d’AMD ou des puces Maia de Microsoft qui se comparent au H100.
La puissance de calcul de l’IA est une industrie à forte intensité technologique et à forte concentration de capital, face au « combat de fées » des géants, comment les startups de l’informatique IA peuvent-elles survivre ?
L’approche de d-Matrix est axée sur l’inférence de l’IA, et les puces d’inférence d’IA lancées sont plus rapides et plus économes en énergie que les produits similaires de NVIDIA. En tant qu’élément important du système informatique d’IA, Enfabrica aide les GPU de NVIDIA (et d’autres puces informatiques d’IA) à briser le « mur de la mémoire », à réduire la puissance de calcul inutilisée et à améliorer le taux d’utilisation du système informatique dans son ensemble.
Les systèmes informatiques d’IA, comme tous les systèmes informatiques, ont deux facteurs importants, la vitesse et la consommation d’énergie. Bien que le calcul de l’IA à grande échelle (qu’il s’agisse d’entraînement ou d’inférence) soit géré par des clusters de puissance de calcul, une vitesse de calcul plus rapide et une consommation d’énergie plus faible sont toujours la direction de l’industrie dans son ensemble.
Les GPU de NVIDIA ont un net avantage dans le sens de vitesses de calcul plus rapides, tandis que des entreprises comme Enfabrica font pression pour réduire la consommation d’énergie.
Comme le dit Rochan Sankar, fondateur d’Enfabrica, « pour que l’informatique basée sur l’IA soit vraiment omniprésente, la courbe des coûts doit baisser ». La clé est de savoir si la puissance de calcul du GPU est mieux utilisée et plus efficacement. "
De toute évidence, l’investissement de NVIDIA dans Enfabrica est également basé sur cette logique, et à mesure que la technologie Enfabrica améliore encore l’utilisation de l’énergie GPU de NVIDIA, sa position de leader dans l’industrie devrait être encore renforcée.
Cependant, face à ce besoin évident et urgent, Enfabrica n’est pas le seul dans l’industrie, le géant de l’industrie Cisco a également lancé les séries Silicon One G200 et G202 de matériel de réseau d’IA, et Broadcom travaille également dans ce domaine. Enfabrica veut continuer à se développer et doit encore faire face à la concurrence.
SI L’INDUSTRIE DE L’IA À L’ÉTRANGER A ÉTÉ CONFRONTÉE À UNE PÉNURIE TEMPORAIRE DE PUISSANCE DE CALCUL, L’INDUSTRIE CHINOISE DE L’IA DOIT FAIRE FACE À UNE PÉNURIE À LONG TERME DE PUISSANCE DE CALCUL DE L’IA, ET AVEC LE GPU DE NIVDIA ÉTANT ENCORE PLUS RESTREINT, L’INDUSTRIE A UNE FORTE DEMANDE POUR LES PRODUITS INFORMATIQUES D’IA LOCAUX. À l’heure actuelle, Huawei, Alibaba, Baidu, Moore Threads, Cambrian et d’autres entreprises se sont développées dans le domaine de la puissance de calcul de l’IA, et j’espère qu’elles, ainsi que d’autres entreprises, pourront aider à construire le propre système de puissance de calcul de l’IA de la Chine.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
En réduisant considérablement le taux d’inactivité de la puissance de calcul du GPU, Enfabrica a reçu un financement de 125 millions de dollars de NVIDIA
Source originale : Alpha Commune
Le manque de puissance de calcul est actuellement un problème auquel l’ensemble de l’industrie de l’IA est confrontée, pas plus tard que la semaine dernière, après le Devday d’OpenAI, en raison d’une série de nouvelles fonctionnalités qui ont attiré un grand nombre d’utilisateurs à essayer, ChatGPT et les API de GPT ont connu un large éventail de temps d’arrêt à long terme, et Sam Altman a également annoncé la suspension de l’inscription des nouveaux membres Plus.
À l’heure actuelle, dans le domaine de la puissance de calcul de l’IA, le GPU de NVIDIA occupe une position quasi monopolistique, qu’il s’agisse de l’A100, du H100 ou du H200 qui vient de sortir, c’est la référence des puces de calcul de l’IA, mais son GPU fait face à un problème : le cluster de puissance de calcul de la carte graphique déployé dans le centre de données ne sera pas en mesure de fournir des données assez rapidement car le réseau de connexion ne peut pas fournir de données rapidement, et il ne peut pas fonctionner à pleine charge une partie du temps, ce qui entraîne un gaspillage de puissance de calcul, ce qui fait grimper le coût total de possession (TCO).
Une start-up appelée Enfabrica utilise des puces réseau développées spécifiquement pour les centres de données d’IA afin d’augmenter de 50 % l’utilisation de la puissance de calcul des nœuds de performance GPU et de réduire le coût de la puissance de calcul de l’inférence et de l’entraînement de l’IA.
Enfabrica a clôturé un tour de financement de série B de 125 millions de dollars mené par Atreides Management avec NVIDIA en tant qu’investisseur stratégique, avec la participation d’IAG Capital Partners, Liberty Global Ventures, Valor Equity Partners, Infinitum Partners et Alumni Ventures, son premier investisseur, Sutter Hill Ventures, continue également d’ajouter des poids.
Cette ronde de financement a multiplié par plus de 5 la valorisation de l’entreprise par rapport à la ronde précédente, portant son financement cumulé à 148 millions de dollars. Gavin Baker, fondateur d’Atreides Management, se joint au conseil d’administration pour contribuer à la croissance et à l’orientation stratégique de l’entreprise.
Visant les grands défis dans le domaine de la puissance de calcul de l’IA, deux vétérans dans le domaine des puces s’associent pour créer une entreprise
Selon la dernière étude de marché de 650 Group, un institut de recherche spécialisé dans les chaînes d’approvisionnement du cloud computing, la taille de la demande de calcul IA/ML devrait être multipliée par 8 à 275 tous les 24 mois, et les serveurs basés sur l’IA/ML passeront de 1 % du marché à près de 20 % au cours de la prochaine décennie.
Cependant, en raison des caractéristiques de l’informatique basée sur l’IA, le grand mouvement de données et de métadonnées entre les éléments informatiques distribués a formé un goulot d’étranglement. Dylan Patel, analyste chez SemiAnalysis, souligne que la puissance de calcul en virgule flottante (FLOP) de chaque génération de puces/boîtiers augmente plus rapidement que la vitesse d’entrée et de sortie des données. Et ce décalage ne fait que s’aggraver.
Enfabrica a été créé par Rochan Sankar et Shrijeet Mukherjee. Rochan Sankar est un ancien directeur de l’ingénierie chez le géant des puces Broadcom, et Shrijeet Mukherjee était responsable de la plate-forme et de l’architecture réseau chez Google, et ils ont une compréhension et une expérience approfondies des puces et de l’architecture réseau.
Enfabrica cible la demande croissante d’infrastructures informatiques « parallèles, accélérées et hétérogènes » (c’est-à-dire des GPU) dans l’industrie de l’IA.
« Le plus grand défi posé par la révolution actuelle de l’IA est l’expansion de l’infrastructure de l’IA, tant en termes de coût de calcul que de durabilité informatique.
Les puces réseau traditionnelles, telles que les commutateurs, ont du mal à répondre aux demandes de déplacement de données des charges de travail d’IA modernes, ce qui peut créer des goulots d’étranglement pour les demandes de calcul telles que l’entraînement de l’IA ou le réglage fin de l’IA qui nécessitent de grands ensembles de données pendant le processus d’apprentissage.
Il existe un besoin urgent dans le domaine de l’informatique basée sur l’IA de combler le fossé entre les demandes croissantes des charges de travail d’IA et le coût, l’efficacité, la durabilité et la facilité de mise à l’échelle globaux des clusters informatiques. "
Enfabrica présente des dispositifs et des solutions ACF-S (Accelerated Compute Fabric Switch) qui complètent les GPU, les CPU et les accélérateurs pour résoudre les problèmes critiques de mise en réseau, d’E/S et de mise à l’échelle de la mémoire dans les clusters d’IA et de calcul haute performance des centres de données. Il réduit de 50 % le coût de calcul des GPU de centre de données et des clusters de calcul accéléré, multiplie par 50 la mémoire et réduit le coût de calcul de l’inférence de grands modèles d’environ 50 % au même point de performance, ce qui permet de réduire le coût total de possession (TCO).
Selon Dell’Oro Group, les investissements dans l’infrastructure d’IA permettront aux dépenses d’investissement des centres de données de dépasser 500 milliards de dollars d’ici 2027. Dans le même temps, selon les prévisions d’IDC, les investissements matériels dans l’IA au sens large devraient croître à un TCAC de 20,5 % au cours des cinq prochaines années.
Le marché des semi-conducteurs connectés pour les centres de données devrait doubler, passant de près de 12,5 milliards de dollars en 2022 à près de 25 milliards de dollars d’ici 2027.
Gavin Baker, qui rejoint le conseil d’administration d’Enfabrica, est CIO et associé directeur d’Atreides Management, où il a investi et siégé aux conseils d’administration de sociétés telles que Nutanix, Jet.com, AppNexus, Dataminr, Cloudflare et SpaceX.
En ce qui concerne l’infrastructure informatique de l’IA, il parle de plusieurs domaines d’amélioration importants : « La combinaison d’un stockage plus rapide, d’une meilleure mise en réseau back-end (en particulier Enfabrica), de l’optique linéaire enfichable/co-packagée et de l’amélioration de l’intégration CPU/GPU (GraceHopper de NVIDIA, MI300 d’AMD et Dojo de Tesla) a fait tomber le mur de la mémoire , ce qui améliorera encore le retour sur investissement de la formation, à la fois en réduisant directement le coût de la formation et en augmentant indirectement la marge bénéficiaire et en réduisant le coût de l’inférence de la manière suivante.
En résumé, les architectures ayant un avantage dans le « calcul utile par unité d’énergie » gagneront, et nous nous dirigeons rapidement vers un calcul plus utile par unité d’énergie. "
Aider les clusters de calcul GPU NVIDIA à briser le « mur de la mémoire"
Dans le domaine de l’informatique accélérée par l’IA, la « barrière de la mémoire » est un véritable problème, faisant référence à l’écart grandissant entre les performances de traitement et la bande passante mémoire nécessaire pour fournir ces performances.
Par rapport à l’informatique traditionnelle par processeur, l’informatique GPU, qui est couramment utilisée dans l’IA, est plus sérieuse à cet égard, car les GPU ont plus de cœurs, un débit de traitement plus élevé et une énorme demande de données.
Les données utilisées par l’IA doivent d’abord être organisées et stockées en mémoire avant de pouvoir être traitées par le GPU. Fournir la mémoire, la bande passante et la capacité nécessaires à l’IA est une question urgente.
La solution d’Enfabrica intègre des technologies clés telles que le découplage CXL.mem, la hiérarchisation des performances/capacité et la mise en réseau RDMA pour obtenir une hiérarchie de mémoire évolutive, à large bande passante, à haute capacité et à latence limitée pour servir n’importe quel cluster de calcul d’IA à grande échelle.
Sa première puce, appelée convertisseur ACF (Accelerated Compute Fabric), permet aux pools de puissance de calcul GPU d’être directement connectés à des dizaines de téraoctets de pools DRAM CXL.mem locaux avec une latence extrêmement faible.
Plus précisément, ACF pousse encore plus loin la hiérarchisation de la mémoire pour permettre un accès à large bande passante à des pétaoctets de DRAM distribués sur les clusters de calcul et le reste du centre de données via des ports réseau 800 GbE. Ensuite, un magasin de données hiérarchique avec une mémoire proche, une mémoire proche et lointaine et une mémoire distante réseau est conçu pour le calcul accéléré, et il existe des limites de latence strictes à chaque niveau de mémoire. Avec l’aide d’ACF, les GPU NVIDIA effectuant le traitement des données sont capables d’extraire des données de plusieurs endroits différents sans rencontrer de barrières de vitesse.
La solution d’Enfabrica, appelée ACF-S, se compose de plusieurs puces ACF avec des nœuds de réseau d’infrastructure d’IA de 8 Tbit/s avec des interfaces Ethernet 800G, PCIe Gen 5 et CXL 2.0+, qui peuvent réduire la consommation d’énergie d’E/S jusqu’à 50 % (économie de 2 kilowatts par rack) par rapport aux systèmes NVIDIA DGX-H100 et aux systèmes Meta Grand Teton avec huit GPU NVIDIA H100.
De plus, les solutions d’Enfabrica peuvent être utilisées non seulement pour l’inférence d’IA à grande échelle, mais aussi pour l’entraînement de l’IA, ainsi que pour des cas d’utilisation non liés à l’IA tels que les bases de données et le grid computing.
Enfabrica prévoit de vendre des puces et des solutions aux constructeurs de systèmes (fournisseurs de cloud, opérateurs de centres de données) au lieu de construire le système lui-même. Sankar a révélé qu’Enfabrica s’intègre parfaitement à l’écosystème NVIDIA, mais qu’ils prévoient également de travailler avec d’autres sociétés d’informatique basée sur l’IA.
« ACF-S est neutre quant au type et à la marque des processeurs d’IA utilisés pour l’informatique d’IA, ainsi qu’au modèle exact déployé, qui permet la construction d’une infrastructure d’IA dans plusieurs cas d’utilisation différents et prend en charge plusieurs fournisseurs de processeurs sans verrouillage de la technologie propriétaire », a-t-il déclaré. "
Plus rapide, moins gourmand en énergie, une nouvelle génération de système de puissance de calcul IA prend forme
Un an seulement après la sortie du H100, NVIDIA a lancé le H200, ce qui montre son urgence à maintenir sa position de leader dans le domaine de la puissance de calcul de l’IA. En raison de l’explosion de l’IA générative au cours de l’année écoulée, ses concurrents ont également lancé de puissants produits informatiques d’IA, qu’il s’agisse des puces de la série MI300 d’AMD ou des puces Maia de Microsoft qui se comparent au H100.
La puissance de calcul de l’IA est une industrie à forte intensité technologique et à forte concentration de capital, face au « combat de fées » des géants, comment les startups de l’informatique IA peuvent-elles survivre ?
L’approche de d-Matrix est axée sur l’inférence de l’IA, et les puces d’inférence d’IA lancées sont plus rapides et plus économes en énergie que les produits similaires de NVIDIA. En tant qu’élément important du système informatique d’IA, Enfabrica aide les GPU de NVIDIA (et d’autres puces informatiques d’IA) à briser le « mur de la mémoire », à réduire la puissance de calcul inutilisée et à améliorer le taux d’utilisation du système informatique dans son ensemble.
Les systèmes informatiques d’IA, comme tous les systèmes informatiques, ont deux facteurs importants, la vitesse et la consommation d’énergie. Bien que le calcul de l’IA à grande échelle (qu’il s’agisse d’entraînement ou d’inférence) soit géré par des clusters de puissance de calcul, une vitesse de calcul plus rapide et une consommation d’énergie plus faible sont toujours la direction de l’industrie dans son ensemble.
Les GPU de NVIDIA ont un net avantage dans le sens de vitesses de calcul plus rapides, tandis que des entreprises comme Enfabrica font pression pour réduire la consommation d’énergie.
Comme le dit Rochan Sankar, fondateur d’Enfabrica, « pour que l’informatique basée sur l’IA soit vraiment omniprésente, la courbe des coûts doit baisser ». La clé est de savoir si la puissance de calcul du GPU est mieux utilisée et plus efficacement. "
De toute évidence, l’investissement de NVIDIA dans Enfabrica est également basé sur cette logique, et à mesure que la technologie Enfabrica améliore encore l’utilisation de l’énergie GPU de NVIDIA, sa position de leader dans l’industrie devrait être encore renforcée.
Cependant, face à ce besoin évident et urgent, Enfabrica n’est pas le seul dans l’industrie, le géant de l’industrie Cisco a également lancé les séries Silicon One G200 et G202 de matériel de réseau d’IA, et Broadcom travaille également dans ce domaine. Enfabrica veut continuer à se développer et doit encore faire face à la concurrence.
SI L’INDUSTRIE DE L’IA À L’ÉTRANGER A ÉTÉ CONFRONTÉE À UNE PÉNURIE TEMPORAIRE DE PUISSANCE DE CALCUL, L’INDUSTRIE CHINOISE DE L’IA DOIT FAIRE FACE À UNE PÉNURIE À LONG TERME DE PUISSANCE DE CALCUL DE L’IA, ET AVEC LE GPU DE NIVDIA ÉTANT ENCORE PLUS RESTREINT, L’INDUSTRIE A UNE FORTE DEMANDE POUR LES PRODUITS INFORMATIQUES D’IA LOCAUX. À l’heure actuelle, Huawei, Alibaba, Baidu, Moore Threads, Cambrian et d’autres entreprises se sont développées dans le domaine de la puissance de calcul de l’IA, et j’espère qu’elles, ainsi que d’autres entreprises, pourront aider à construire le propre système de puissance de calcul de l’IA de la Chine.