Source originale : Revue des sciences et de la technologie de Yuanchuan
Source de l’image : Généré par Unbounded AI
Le mois dernier, une « guerre animale » a éclaté dans l’industrie de l’IA.
D’un côté, il y a le lama (lama) de Meta, qui a toujours été populaire auprès de la communauté des développeurs en raison de sa nature open source. Après avoir soigneusement étudié l’article et le code source de Llama, NEC a rapidement « développé indépendamment » la version japonaise de ChatGPT, aidant ainsi le Japon à résoudre le problème du cou de l’IA.
**De l’autre côté se trouve un grand modèle appelé le Falcon (Falcon). **En mai de cette année, le Falcon-40B a été lancé, battant le lama dans le classement « Open Source LLM (Large Language Model) ».
La liste, produite par Hugging face, une communauté de modèles open source, fournit un ensemble de critères pour mesurer les capacités de LLM et les classer. Le classement est essentiellement composé de Lama et Falcon qui font défiler les graphiques à tour de rôle.
Après le lancement de Llama 2, la famille de lamas a repris une ville ; Mais au début du mois de septembre, Falcon a lancé la version 180B, obtenant une fois de plus de classements.
Falcon a écrasé Llama 2 avec 68,74 points
Il est intéressant de noter que le développeur du « Faucon » n’est pas une entreprise technologique, mais l’Institut d’innovation scientifique et technologique basé à Abu Dhabi, la capitale des Émirats arabes unis. Des sources gouvernementales ont déclaré : « Nous sommes impliqués dans ce jeu pour subvertir les principaux acteurs. »[4] 。
Le lendemain de la sortie de la version 180B, le ministre de l’Intelligence artificielle des Émirats arabes unis, Omar, a été sélectionné comme l’une des « 100 personnes les plus influentes dans le domaine de l’IA » par Time Magazine ; Aux côtés de ce visage du Moyen-Orient, il y avait le « parrain de l’IA » Hinton, Altman d’OpenAI et Robin Li.
Ministre de l’Intelligence Artificielle des Émirats Arabes Unis
Aujourd’hui, le domaine de l’IA est déjà entré dans la phase de la « danse de groupe » : tous les pays et entreprises disposant d’un peu de ressources financières ont plus ou moins l’intention de créer une « XX version nationale de ChatGPT ». Rien que dans les cercles du Golfe, il y a plus d’un acteur : l’Arabie saoudite vient d’acheter plus de 3 000 H100 pour ses universités en août afin de former le LLM.
Zhu Xiaohu, un investisseur en capital-risque de GSR River, s’est plaint un jour dans le cercle d’amis : « À l’époque, je méprisais l’innovation du modèle économique (d’Internet) et je sentais qu’il n’y avait pas de barrières : une guerre de cent régiments, une guerre de cent voitures, une guerre de cent radiodiffusions ; Je ne m’attendais pas à ce que l’entrepreneuriat des grands modèles de technologie dure soit encore une guerre de cent modèles...
Comment la technologie dure à haute difficulté que l’on dit être un pays peut-elle produire 100 000 catties par mu ?
Le transformateur dévore le monde
Les startups américaines, les géants chinois de la technologie et les barons du pétrole du Moyen-Orient ont pu rêver de grands modèles grâce au célèbre article : « L’attention est tout ce dont vous avez besoin ».
En 2017, 8 informaticiens de Google ont révélé l’algorithme Transformer au monde entier dans cet article. Cet article est actuellement le troisième article le plus cité de l’histoire de l’intelligence artificielle, et l’émergence de Transformer a appuyé sur la gâchette de ce cycle de boom de l’intelligence artificielle.
Quelle que soit leur nationalité, les grands modèles actuels, y compris la série GPT qui a secoué le monde, reposent sur les épaules du Transformer.
Avant cela, « apprendre aux machines à lire » était un problème académique reconnu. Contrairement à la reconnaissance d’images, lorsque les humains lisent du texte, ils prêtent non seulement attention aux mots et aux phrases qu’ils sont en train de voir, mais les comprennent également dans leur contexte.
Par exemple, le mot « Transformer » peut en fait être traduit par « Transformer », mais les lecteurs de cet article ne le comprendront certainement pas de cette façon, car tout le monde sait qu’il ne s’agit pas d’un article sur les films hollywoodiens. **
Cependant, dans les premières années, les entrées des réseaux neuronaux étaient indépendantes les unes des autres, et ils n’avaient pas la capacité de comprendre un grand paragraphe de texte ou même l’article entier, de sorte que le problème de la traduction de « salle d’eau bouillante » en « salle d’eau libre » s’est posé.
Ce n’est qu’en 2014 qu’Ilya Sutskever, un informaticien qui a travaillé chez Google et qui est ensuite passé à OpenAI, a été le premier à produire des résultats. Il a utilisé des réseaux neuronaux récurrents (RNN) pour traiter le langage naturel, ce qui a rapidement permis à Google Translate de se démarquer de la concurrence.
RNN propose un « design de boucle », de sorte que chaque neurone accepte à la fois l’information d’entrée du moment actuel et l’information d’entrée du moment précédent, de sorte que le réseau de neurones ait la capacité de « combiner le contexte ».
Réseaux de neurones récurrents
L’émergence des RNN a déclenché une passion pour la recherche dans les cercles universitaires, et Noam Shazeer, l’auteur de l’article de Transformer, en était également accro. Cependant, les développeurs se sont rapidement rendu compte que les RNN avaient un sérieux défaut :
**L’algorithme utilise des calculs séquentiels, ce qui peut résoudre le problème du contexte, mais il n’est pas efficace et difficile de gérer un grand nombre de paramètres. **
La conception encombrante de la RNN a rapidement ennuyé Shazel. Ainsi, depuis 2015, Shazel et 7 amis développent des alternatives aux RNN, et le résultat est Transformer[8] 。
Noam Shazeer
Par rapport aux RNN, la transformation de Transformer a deux points :
Tout d’abord, la conception en boucle des RNN est remplacée par un codage positionnel, réalisant ainsi le calcul parallèle - ce changement améliore considérablement l’efficacité de l’entraînement de Transformer, devenant ainsi capable de traiter des données volumineuses, poussant l’IA à l’ère des grands modèles ; Deuxièmement, la capacité de renforcer davantage le contexte a été encore renforcée.
Comme Transformer a résolu de nombreux défauts en une seule fois, il est progressivement devenu la seule solution au NLP (traitement du langage naturel), qui a un sens de « Transformer n’est pas né dans la nature, le NLP est comme une longue nuit ». Même Ilya abandonna le RNN, qui tenait l’autel de ses propres mains, et passa au Transformer.
En d’autres termes, Transformer est le grand-père de tous les grands modèles d’aujourd’hui, parce qu’il a transformé le grand modèle d’un problème de recherche théorique en un problème purement technique. **
[9]Le diagramme de l’arbre de développement de la technologie LLM, la racine de l’arbre gris est le transformateur
En 2019, OpenAI a développé GPT-2 basé sur Transformer, ce qui a déjà surpris le milieu universitaire. En réponse, Google a rapidement déployé une IA plus puissante appelée Meena.
Par rapport à GPT-2, Meena n’a pas d’innovation algorithmique sous-jacente, mais 8,5 fois plus de paramètres d’apprentissage et 14 fois plus de puissance de calcul que GPT-2. Shazel, l’auteur de l’article de Transformer, a été tellement choqué par la « pile violente » qu’il a écrit un mémo sur place « Meena dévore le monde ».
L’avènement de Transformer a considérablement ralenti l’innovation des algorithmes sous-jacents dans le milieu universitaire. Les éléments d’ingénierie tels que l’ingénierie des données, l’échelle de puissance de calcul et l’architecture du modèle sont devenus de plus en plus des gagnants et des perdants importants dans la compétition de l’IA, et tant que les entreprises technologiques disposant de certaines capacités techniques peuvent éliminer un grand modèle à la main.
Par conséquent, lorsque l’informaticien Andrew Ng a prononcé un discours à l’Université de Stanford, il a mentionné un point : « L’IA est un ensemble d’outils, y compris l’apprentissage supervisé, l’apprentissage non supervisé, l’apprentissage par renforcement et maintenant l’intelligence artificielle générative. » Toutes ces technologies sont à usage général, similaires à d’autres technologies à usage général telles que l’électricité et Internet.[10] "
OpenAI est toujours le baromètre de LLM, mais le cabinet d’analyse des semi-conducteurs Semi Analysis estime que la compétitivité de GPT-4 provient des solutions d’ingénierie – si elles sont open source, n’importe quel concurrent peut rapidement répliquer.
L’analyste prédit qu’il ne faudra peut-être pas longtemps avant que d’autres grandes entreprises technologiques puissent créer de grands modèles avec les mêmes performances que GPT-4[11] 。
Douves construites sur verre
À l’heure actuelle, la « guerre des cent modèles » n’est plus un artifice rhétorique, mais une réalité objective.
Des rapports pertinents montrent qu’en juillet de cette année, le nombre de grands modèles nationaux a atteint 130, soit plus que les 114 aux États-Unis, réussissant des dépassements dans les virages, et divers mythes et légendes ne suffisent presque pas pour que les entreprises technologiques nationales prennent des noms[12] 。
En plus de la Chine et des États-Unis, un certain nombre de pays plus riches ont également atteint initialement le principe « un pays, un modèle :* * En plus du Japon et des Émirats arabes unis, il y a aussi le grand modèle Bhashini, dirigé par le gouvernement indien, la société Internet sud-coréenne Naver’s HyperClova X et ainsi de suite. **
La bataille qui nous attend semble être revenue à l’ère des pionniers d’Internet, où les bulles et les « capacités des billets de banque » étaient bombardées.
Comme mentionné précédemment, Transformer transforme les grands modèles en problèmes purement techniques, tant que quelqu’un a de l’argent et des cartes graphiques, le reste est perdu pour les paramètres. Cependant, bien que le billet d’entrée ne soit pas difficile à obtenir, cela ne signifie pas que tout le monde a la possibilité de devenir un BAT à l’ère de l’IA.
La « guerre des animaux » mentionnée au début est un cas typique : bien que Falcon ait battu le lama dans le classement, il est difficile de dire quel impact elle a eu sur Meta. **
Comme nous le savons tous, les entreprises publient leurs propres résultats de recherche scientifique, non seulement pour partager le bien-être de la science et de la technologie avec le public, mais aussi pour mobiliser la sagesse de la population. Alors que les professeurs d’université, les instituts de recherche et les petites et moyennes entreprises continuent d’utiliser et d’améliorer Llama, Meta peut appliquer ces résultats à ses propres produits.
**Pour le modèle open source, une communauté de développeurs active est sa compétence principale. **
Dès 2015, lors de la création de l’AI Lab, Meta avait donné le ton principal de l’open source ; Zuckerberg a également fait fortune dans le secteur des médias sociaux, et il connaît bien la question de « faire du bon travail dans les relations publiques ».
Par exemple, en octobre, Meta a lancé une campagne « AI Creator Incentive » : les développeurs qui utilisent Llama 2 pour résoudre des problèmes sociaux tels que l’éducation et l’environnement auront la possibilité de recevoir un financement de 500 000 dollars.
Aujourd’hui, la série Llama de Meta est la plume du LLM open source.
Au début du mois d’octobre, un total de 8 des 10 meilleures listes de LLM open source de Hugging face sont basées sur Llama 2 et utilisent sa licence open source. Rien que sur Hugging face, il y a plus de 1 500 LLM utilisant le protocole open source Llama 2[13] 。
Depuis le début du mois d’octobre, le LLM numéro un sur Hugging face est basé sur Llama 2
Bien sûr, il est normal d’améliorer les performances comme Falcon, mais à ce jour, la plupart des LLM sur le marché ont encore un écart de performance visible avec GPT-4.
Par exemple, l’autre jour, GPT-4 a dominé le test AgentBench avec un score de 4,41. La norme AgentBench est lancée conjointement par l’Université Tsinghua, l’Université d’État de l’Ohio et l’Université de Californie à Berkeley, afin d’évaluer la capacité de raisonnement et de prise de décision du LLM dans un environnement multidimensionnel de génération ouverte, y compris des tâches dans 8 environnements différents tels que le système d’exploitation, la base de données, le graphe de connaissances et la bataille de cartes.
Les résultats des tests ont montré que Claude, qui a terminé deuxième, n’avait que 2,77 points, et l’écart était toujours évident. En ce qui concerne ces énormes LLM open source, leurs résultats aux tests oscillent autour de 1 point, soit moins de 1/4 de GPT-4[14] 。
Résultats des tests AgentBench
Vous savez, GPT-4 a été publié en mars de cette année, ce qui est toujours le résultat après que les pairs mondiaux aient rattrapé leur retard pendant plus de six mois. Ce qui cause cet écart, c’est l’expérience accumulée par l’équipe de scientifiques d’OpenAI avec une « densité de QI » élevée et un LLM de recherche à long terme, de sorte qu’elle peut toujours être loin devant.
En d’autres termes, la capacité de base du grand modèle n’est pas un paramètre, mais la construction de l’écologie (open source) ou de la capacité de raisonnement pur (source fermée). **
Au fur et à mesure que la communauté open source devient plus active, les performances des LLM peuvent converger, car ils utilisent tous des architectures de modèles similaires et des ensembles de données similaires.
Autre énigme plus intuitive : à part Midjourney, aucun grand modèle ne semble gagner de l’argent.
Ancre de valeur
En août de cette année, un article curieux intitulé « OpenAI pourrait faire faillite d’ici la fin de 2024 » a attiré beaucoup d’attention[16] 。 L’idée maîtresse de l’article peut se résumer presque en une phrase : la combustion de l’argent par OpenAI est trop rapide. **
L’article mentionne que depuis le développement de ChatGPT, les pertes d’OpenAI augmentent rapidement, perdant environ 540 millions de dollars rien qu’en 2022, et ne peut qu’attendre que les investisseurs de Microsoft paient.
Bien que le titre de l’article soit sensationnel, il raconte également la situation actuelle de nombreux grands fournisseurs de modèles : ** Il existe un grave déséquilibre entre les coûts et les revenus. **
Le coût est trop élevé, ce qui entraîne la dépendance actuelle à l’intelligence artificielle pour gagner beaucoup d’argent uniquement NVIDIA, tout au plus ajouter un Broadcom.
Selon le cabinet de conseil Omdia, Nvidia a vendu plus de 300 000 unités H100 au deuxième trimestre de cette année. Il s’agit d’une puce d’IA, l’efficacité de la formation de l’IA est extrêmement élevée, et les entreprises technologiques et les instituts de recherche scientifique du monde entier s’arrachent. Si les 300 000 H100 vendus étaient empilés les uns sur les autres, ils pèseraient l’équivalent de 4,5 Boeing 747[18] 。
La performance de Nvidia a également décollé, avec un chiffre d’affaires de 854 % en glissement annuel, ce qui a déjà choqué Wall Street. Soit dit en passant, le prix actuel du H100 sur le marché de l’occasion a été spéculé entre 40 000 et 50 000 dollars, mais son coût en matériaux n’est que d’environ 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu une résistance au développement de l’industrie dans une certaine mesure. Sequoia Capital a fait un calcul : ** les entreprises technologiques mondiales devraient dépenser 200 milliards de dollars par an pour la construction d’infrastructures de grande envergure ; En revanche, les grands modèles ne peuvent générer que jusqu’à 75 milliards de dollars par an, avec un écart d’au moins 125 milliards de dollars[17] 。 **
Jensen Huang avec H100
De plus, à quelques exceptions près comme Midjourney, la plupart des éditeurs de logiciels n’ont pas encore compris comment gagner de l’argent après avoir payé des coûts énormes. En particulier, les deux grands frères leaders de l’industrie, Microsoft et Adobe, ont un peu trébuché.
Microsoft et OpenAI ont collaboré pour développer un outil de génération de code d’IA, GitHub Copilot, qui facture 10 dollars par mois, mais en raison du coût des installations, Microsoft perd 20 dollars, et les gros utilisateurs peuvent même faire payer 80 dollars par mois à Microsoft. Sur la base de cette spéculation, le Microsoft 365 Copilot à 30 $ n’est pas une perte.
Par coïncidence, Adobe, qui vient de lancer l’outil Firefly AI, a également rapidement lancé un système de points de support pour empêcher les utilisateurs de l’utiliser massivement et de faire perdre de l’argent à l’entreprise. Une fois qu’un utilisateur utilise plus que les crédits alloués chaque mois, Adobe ralentit le service.
Vous devez savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios commerciaux clairs et un grand nombre d’utilisateurs payants prêts à l’emploi. La plupart des paramètres sont empilés dans le ciel, et le plus grand scénario d’application est le chat.
Il est indéniable que sans l’émergence d’OpenAI et de ChatGPT, cette révolution de l’IA n’aurait peut-être pas eu lieu du tout ; Mais à l’heure actuelle, l’intérêt de l’entraînement de grands modèles peut être un point d’interrogation.
De plus, à mesure que la concurrence pour l’homogénéisation s’intensifie et qu’il y a de plus en plus de modèles open source sur le marché, il peut y avoir moins de place pour les simples fournisseurs de grands modèles.
La popularité de l’iPhone 4 n’est pas due au processeur A4 de 45 nm, mais au fait qu’il peut jouer à Plants vs. Zombies et Angry Birds.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le grand modèle n’est-il pas un peu trop ?
Source originale : Revue des sciences et de la technologie de Yuanchuan
Le mois dernier, une « guerre animale » a éclaté dans l’industrie de l’IA.
D’un côté, il y a le lama (lama) de Meta, qui a toujours été populaire auprès de la communauté des développeurs en raison de sa nature open source. Après avoir soigneusement étudié l’article et le code source de Llama, NEC a rapidement « développé indépendamment » la version japonaise de ChatGPT, aidant ainsi le Japon à résoudre le problème du cou de l’IA.
**De l’autre côté se trouve un grand modèle appelé le Falcon (Falcon). **En mai de cette année, le Falcon-40B a été lancé, battant le lama dans le classement « Open Source LLM (Large Language Model) ».
La liste, produite par Hugging face, une communauté de modèles open source, fournit un ensemble de critères pour mesurer les capacités de LLM et les classer. Le classement est essentiellement composé de Lama et Falcon qui font défiler les graphiques à tour de rôle.
Après le lancement de Llama 2, la famille de lamas a repris une ville ; Mais au début du mois de septembre, Falcon a lancé la version 180B, obtenant une fois de plus de classements.
Il est intéressant de noter que le développeur du « Faucon » n’est pas une entreprise technologique, mais l’Institut d’innovation scientifique et technologique basé à Abu Dhabi, la capitale des Émirats arabes unis. Des sources gouvernementales ont déclaré : « Nous sommes impliqués dans ce jeu pour subvertir les principaux acteurs. »[4] 。
Le lendemain de la sortie de la version 180B, le ministre de l’Intelligence artificielle des Émirats arabes unis, Omar, a été sélectionné comme l’une des « 100 personnes les plus influentes dans le domaine de l’IA » par Time Magazine ; Aux côtés de ce visage du Moyen-Orient, il y avait le « parrain de l’IA » Hinton, Altman d’OpenAI et Robin Li.
Aujourd’hui, le domaine de l’IA est déjà entré dans la phase de la « danse de groupe » : tous les pays et entreprises disposant d’un peu de ressources financières ont plus ou moins l’intention de créer une « XX version nationale de ChatGPT ». Rien que dans les cercles du Golfe, il y a plus d’un acteur : l’Arabie saoudite vient d’acheter plus de 3 000 H100 pour ses universités en août afin de former le LLM.
Zhu Xiaohu, un investisseur en capital-risque de GSR River, s’est plaint un jour dans le cercle d’amis : « À l’époque, je méprisais l’innovation du modèle économique (d’Internet) et je sentais qu’il n’y avait pas de barrières : une guerre de cent régiments, une guerre de cent voitures, une guerre de cent radiodiffusions ; Je ne m’attendais pas à ce que l’entrepreneuriat des grands modèles de technologie dure soit encore une guerre de cent modèles...
Comment la technologie dure à haute difficulté que l’on dit être un pays peut-elle produire 100 000 catties par mu ?
Le transformateur dévore le monde
Les startups américaines, les géants chinois de la technologie et les barons du pétrole du Moyen-Orient ont pu rêver de grands modèles grâce au célèbre article : « L’attention est tout ce dont vous avez besoin ».
En 2017, 8 informaticiens de Google ont révélé l’algorithme Transformer au monde entier dans cet article. Cet article est actuellement le troisième article le plus cité de l’histoire de l’intelligence artificielle, et l’émergence de Transformer a appuyé sur la gâchette de ce cycle de boom de l’intelligence artificielle.
Quelle que soit leur nationalité, les grands modèles actuels, y compris la série GPT qui a secoué le monde, reposent sur les épaules du Transformer.
Avant cela, « apprendre aux machines à lire » était un problème académique reconnu. Contrairement à la reconnaissance d’images, lorsque les humains lisent du texte, ils prêtent non seulement attention aux mots et aux phrases qu’ils sont en train de voir, mais les comprennent également dans leur contexte.
Par exemple, le mot « Transformer » peut en fait être traduit par « Transformer », mais les lecteurs de cet article ne le comprendront certainement pas de cette façon, car tout le monde sait qu’il ne s’agit pas d’un article sur les films hollywoodiens. **
Cependant, dans les premières années, les entrées des réseaux neuronaux étaient indépendantes les unes des autres, et ils n’avaient pas la capacité de comprendre un grand paragraphe de texte ou même l’article entier, de sorte que le problème de la traduction de « salle d’eau bouillante » en « salle d’eau libre » s’est posé.
Ce n’est qu’en 2014 qu’Ilya Sutskever, un informaticien qui a travaillé chez Google et qui est ensuite passé à OpenAI, a été le premier à produire des résultats. Il a utilisé des réseaux neuronaux récurrents (RNN) pour traiter le langage naturel, ce qui a rapidement permis à Google Translate de se démarquer de la concurrence.
RNN propose un « design de boucle », de sorte que chaque neurone accepte à la fois l’information d’entrée du moment actuel et l’information d’entrée du moment précédent, de sorte que le réseau de neurones ait la capacité de « combiner le contexte ».
L’émergence des RNN a déclenché une passion pour la recherche dans les cercles universitaires, et Noam Shazeer, l’auteur de l’article de Transformer, en était également accro. Cependant, les développeurs se sont rapidement rendu compte que les RNN avaient un sérieux défaut :
**L’algorithme utilise des calculs séquentiels, ce qui peut résoudre le problème du contexte, mais il n’est pas efficace et difficile de gérer un grand nombre de paramètres. **
La conception encombrante de la RNN a rapidement ennuyé Shazel. Ainsi, depuis 2015, Shazel et 7 amis développent des alternatives aux RNN, et le résultat est Transformer[8] 。
Par rapport aux RNN, la transformation de Transformer a deux points :
Tout d’abord, la conception en boucle des RNN est remplacée par un codage positionnel, réalisant ainsi le calcul parallèle - ce changement améliore considérablement l’efficacité de l’entraînement de Transformer, devenant ainsi capable de traiter des données volumineuses, poussant l’IA à l’ère des grands modèles ; Deuxièmement, la capacité de renforcer davantage le contexte a été encore renforcée.
Comme Transformer a résolu de nombreux défauts en une seule fois, il est progressivement devenu la seule solution au NLP (traitement du langage naturel), qui a un sens de « Transformer n’est pas né dans la nature, le NLP est comme une longue nuit ». Même Ilya abandonna le RNN, qui tenait l’autel de ses propres mains, et passa au Transformer.
En d’autres termes, Transformer est le grand-père de tous les grands modèles d’aujourd’hui, parce qu’il a transformé le grand modèle d’un problème de recherche théorique en un problème purement technique. **
En 2019, OpenAI a développé GPT-2 basé sur Transformer, ce qui a déjà surpris le milieu universitaire. En réponse, Google a rapidement déployé une IA plus puissante appelée Meena.
Par rapport à GPT-2, Meena n’a pas d’innovation algorithmique sous-jacente, mais 8,5 fois plus de paramètres d’apprentissage et 14 fois plus de puissance de calcul que GPT-2. Shazel, l’auteur de l’article de Transformer, a été tellement choqué par la « pile violente » qu’il a écrit un mémo sur place « Meena dévore le monde ».
L’avènement de Transformer a considérablement ralenti l’innovation des algorithmes sous-jacents dans le milieu universitaire. Les éléments d’ingénierie tels que l’ingénierie des données, l’échelle de puissance de calcul et l’architecture du modèle sont devenus de plus en plus des gagnants et des perdants importants dans la compétition de l’IA, et tant que les entreprises technologiques disposant de certaines capacités techniques peuvent éliminer un grand modèle à la main.
Par conséquent, lorsque l’informaticien Andrew Ng a prononcé un discours à l’Université de Stanford, il a mentionné un point : « L’IA est un ensemble d’outils, y compris l’apprentissage supervisé, l’apprentissage non supervisé, l’apprentissage par renforcement et maintenant l’intelligence artificielle générative. » Toutes ces technologies sont à usage général, similaires à d’autres technologies à usage général telles que l’électricité et Internet.[10] "
OpenAI est toujours le baromètre de LLM, mais le cabinet d’analyse des semi-conducteurs Semi Analysis estime que la compétitivité de GPT-4 provient des solutions d’ingénierie – si elles sont open source, n’importe quel concurrent peut rapidement répliquer.
L’analyste prédit qu’il ne faudra peut-être pas longtemps avant que d’autres grandes entreprises technologiques puissent créer de grands modèles avec les mêmes performances que GPT-4[11] 。
Douves construites sur verre
À l’heure actuelle, la « guerre des cent modèles » n’est plus un artifice rhétorique, mais une réalité objective.
Des rapports pertinents montrent qu’en juillet de cette année, le nombre de grands modèles nationaux a atteint 130, soit plus que les 114 aux États-Unis, réussissant des dépassements dans les virages, et divers mythes et légendes ne suffisent presque pas pour que les entreprises technologiques nationales prennent des noms[12] 。
En plus de la Chine et des États-Unis, un certain nombre de pays plus riches ont également atteint initialement le principe « un pays, un modèle :* * En plus du Japon et des Émirats arabes unis, il y a aussi le grand modèle Bhashini, dirigé par le gouvernement indien, la société Internet sud-coréenne Naver’s HyperClova X et ainsi de suite. **
La bataille qui nous attend semble être revenue à l’ère des pionniers d’Internet, où les bulles et les « capacités des billets de banque » étaient bombardées.
Comme mentionné précédemment, Transformer transforme les grands modèles en problèmes purement techniques, tant que quelqu’un a de l’argent et des cartes graphiques, le reste est perdu pour les paramètres. Cependant, bien que le billet d’entrée ne soit pas difficile à obtenir, cela ne signifie pas que tout le monde a la possibilité de devenir un BAT à l’ère de l’IA.
La « guerre des animaux » mentionnée au début est un cas typique : bien que Falcon ait battu le lama dans le classement, il est difficile de dire quel impact elle a eu sur Meta. **
Comme nous le savons tous, les entreprises publient leurs propres résultats de recherche scientifique, non seulement pour partager le bien-être de la science et de la technologie avec le public, mais aussi pour mobiliser la sagesse de la population. Alors que les professeurs d’université, les instituts de recherche et les petites et moyennes entreprises continuent d’utiliser et d’améliorer Llama, Meta peut appliquer ces résultats à ses propres produits.
**Pour le modèle open source, une communauté de développeurs active est sa compétence principale. **
Dès 2015, lors de la création de l’AI Lab, Meta avait donné le ton principal de l’open source ; Zuckerberg a également fait fortune dans le secteur des médias sociaux, et il connaît bien la question de « faire du bon travail dans les relations publiques ».
Par exemple, en octobre, Meta a lancé une campagne « AI Creator Incentive » : les développeurs qui utilisent Llama 2 pour résoudre des problèmes sociaux tels que l’éducation et l’environnement auront la possibilité de recevoir un financement de 500 000 dollars.
Aujourd’hui, la série Llama de Meta est la plume du LLM open source.
Au début du mois d’octobre, un total de 8 des 10 meilleures listes de LLM open source de Hugging face sont basées sur Llama 2 et utilisent sa licence open source. Rien que sur Hugging face, il y a plus de 1 500 LLM utilisant le protocole open source Llama 2[13] 。
Bien sûr, il est normal d’améliorer les performances comme Falcon, mais à ce jour, la plupart des LLM sur le marché ont encore un écart de performance visible avec GPT-4.
Par exemple, l’autre jour, GPT-4 a dominé le test AgentBench avec un score de 4,41. La norme AgentBench est lancée conjointement par l’Université Tsinghua, l’Université d’État de l’Ohio et l’Université de Californie à Berkeley, afin d’évaluer la capacité de raisonnement et de prise de décision du LLM dans un environnement multidimensionnel de génération ouverte, y compris des tâches dans 8 environnements différents tels que le système d’exploitation, la base de données, le graphe de connaissances et la bataille de cartes.
Les résultats des tests ont montré que Claude, qui a terminé deuxième, n’avait que 2,77 points, et l’écart était toujours évident. En ce qui concerne ces énormes LLM open source, leurs résultats aux tests oscillent autour de 1 point, soit moins de 1/4 de GPT-4[14] 。
Vous savez, GPT-4 a été publié en mars de cette année, ce qui est toujours le résultat après que les pairs mondiaux aient rattrapé leur retard pendant plus de six mois. Ce qui cause cet écart, c’est l’expérience accumulée par l’équipe de scientifiques d’OpenAI avec une « densité de QI » élevée et un LLM de recherche à long terme, de sorte qu’elle peut toujours être loin devant.
En d’autres termes, la capacité de base du grand modèle n’est pas un paramètre, mais la construction de l’écologie (open source) ou de la capacité de raisonnement pur (source fermée). **
Au fur et à mesure que la communauté open source devient plus active, les performances des LLM peuvent converger, car ils utilisent tous des architectures de modèles similaires et des ensembles de données similaires.
Autre énigme plus intuitive : à part Midjourney, aucun grand modèle ne semble gagner de l’argent.
Ancre de valeur
En août de cette année, un article curieux intitulé « OpenAI pourrait faire faillite d’ici la fin de 2024 » a attiré beaucoup d’attention[16] 。 L’idée maîtresse de l’article peut se résumer presque en une phrase : la combustion de l’argent par OpenAI est trop rapide. **
L’article mentionne que depuis le développement de ChatGPT, les pertes d’OpenAI augmentent rapidement, perdant environ 540 millions de dollars rien qu’en 2022, et ne peut qu’attendre que les investisseurs de Microsoft paient.
Bien que le titre de l’article soit sensationnel, il raconte également la situation actuelle de nombreux grands fournisseurs de modèles : ** Il existe un grave déséquilibre entre les coûts et les revenus. **
Le coût est trop élevé, ce qui entraîne la dépendance actuelle à l’intelligence artificielle pour gagner beaucoup d’argent uniquement NVIDIA, tout au plus ajouter un Broadcom.
Selon le cabinet de conseil Omdia, Nvidia a vendu plus de 300 000 unités H100 au deuxième trimestre de cette année. Il s’agit d’une puce d’IA, l’efficacité de la formation de l’IA est extrêmement élevée, et les entreprises technologiques et les instituts de recherche scientifique du monde entier s’arrachent. Si les 300 000 H100 vendus étaient empilés les uns sur les autres, ils pèseraient l’équivalent de 4,5 Boeing 747[18] 。
La performance de Nvidia a également décollé, avec un chiffre d’affaires de 854 % en glissement annuel, ce qui a déjà choqué Wall Street. Soit dit en passant, le prix actuel du H100 sur le marché de l’occasion a été spéculé entre 40 000 et 50 000 dollars, mais son coût en matériaux n’est que d’environ 3 000 dollars.
Le coût élevé de la puissance de calcul est devenu une résistance au développement de l’industrie dans une certaine mesure. Sequoia Capital a fait un calcul : ** les entreprises technologiques mondiales devraient dépenser 200 milliards de dollars par an pour la construction d’infrastructures de grande envergure ; En revanche, les grands modèles ne peuvent générer que jusqu’à 75 milliards de dollars par an, avec un écart d’au moins 125 milliards de dollars[17] 。 **
De plus, à quelques exceptions près comme Midjourney, la plupart des éditeurs de logiciels n’ont pas encore compris comment gagner de l’argent après avoir payé des coûts énormes. En particulier, les deux grands frères leaders de l’industrie, Microsoft et Adobe, ont un peu trébuché.
Microsoft et OpenAI ont collaboré pour développer un outil de génération de code d’IA, GitHub Copilot, qui facture 10 dollars par mois, mais en raison du coût des installations, Microsoft perd 20 dollars, et les gros utilisateurs peuvent même faire payer 80 dollars par mois à Microsoft. Sur la base de cette spéculation, le Microsoft 365 Copilot à 30 $ n’est pas une perte.
Par coïncidence, Adobe, qui vient de lancer l’outil Firefly AI, a également rapidement lancé un système de points de support pour empêcher les utilisateurs de l’utiliser massivement et de faire perdre de l’argent à l’entreprise. Une fois qu’un utilisateur utilise plus que les crédits alloués chaque mois, Adobe ralentit le service.
Vous devez savoir que Microsoft et Adobe sont déjà des géants du logiciel avec des scénarios commerciaux clairs et un grand nombre d’utilisateurs payants prêts à l’emploi. La plupart des paramètres sont empilés dans le ciel, et le plus grand scénario d’application est le chat.
Il est indéniable que sans l’émergence d’OpenAI et de ChatGPT, cette révolution de l’IA n’aurait peut-être pas eu lieu du tout ; Mais à l’heure actuelle, l’intérêt de l’entraînement de grands modèles peut être un point d’interrogation.
De plus, à mesure que la concurrence pour l’homogénéisation s’intensifie et qu’il y a de plus en plus de modèles open source sur le marché, il peut y avoir moins de place pour les simples fournisseurs de grands modèles.
La popularité de l’iPhone 4 n’est pas due au processeur A4 de 45 nm, mais au fait qu’il peut jouer à Plants vs. Zombies et Angry Birds.