Certaines personnes ont rejoint OpenAI, certaines ont fondé des startups et d'autres sont restées fidèles à Google AI. Ce sont eux qui ont lancé ensemble l'ère actuelle du développement de l'IA.
De ChatGPT à la technologie de dessin AI, la récente vague de percées dans le domaine de l'intelligence artificielle peut être due à Transformer.
Aujourd'hui marque le sixième anniversaire de la présentation du célèbre document Transformer.
Lien papier :
Il y a six ans, un article au nom exagéré a été téléchargé sur la plate-forme de papier préimprimé arXiv. La phrase "xx est tout ce dont vous avez besoin" a été répétée par les développeurs dans le domaine de l'IA, et elle est même devenue une tendance dans le titre du paper. , et Transformer n'est plus le sens de Transformers, il représente désormais la technologie la plus avancée dans le domaine de l'IA.
Six ans plus tard, en regardant cet article cette année-là, nous pouvons trouver de nombreux endroits intéressants ou peu connus, comme le résume Jim Fan, un scientifique en intelligence artificielle chez Nvidia.
## ** "Mécanisme d'Attention" n'est pas proposé par l'auteur de Transformer**
Le modèle Transformer abandonne les unités CNN et RNN traditionnelles, et toute la structure du réseau est entièrement composée de mécanismes d'attention.
Bien que le nom de l'article de Transformer soit « L'attention est tout ce dont vous avez besoin », nous continuons à promouvoir le mécanisme de l'attention à cause de cela, mais veuillez noter un fait intéressant : ce ne sont pas les chercheurs de Transformer qui ont inventé l'attention, mais ils ont mis ceci mécanisme est poussé à l'extrême.
Le mécanisme d'attention a été proposé par une équipe dirigée par le pionnier de l'apprentissage en profondeur Yoshua Bengio en 2014 :
* "Neural Machine Translation by Jointly Learning to Align and Translate", le titre est relativement simple. *
Dans cet article ICLR 2015, Bengio et al ont proposé une combinaison de RNN + "vecteur de contexte" (c'est-à-dire l'attention). Bien qu'il s'agisse de l'un des plus grands jalons de la PNL, il est beaucoup moins connu que Transformer, l'article de l'équipe de Bengio ayant été cité 29 000 fois à ce jour et celui de Transformer 77 000.
Le mécanisme d'attention de l'IA est naturellement calqué sur l'attention visuelle humaine. Il existe une capacité innée dans le cerveau humain : lorsque nous regardons une image, nous balayons d'abord rapidement l'image, puis verrouillons la zone cible sur laquelle nous devons nous concentrer.
Si vous ne lâchez aucune information locale, vous ferez inévitablement beaucoup de travail inutile, qui n'est pas propice à la survie. De même, l'introduction de mécanismes similaires dans les réseaux d'apprentissage en profondeur peut simplifier les modèles et accélérer le calcul. Essentiellement, l'attention consiste à filtrer une petite quantité d'informations importantes à partir d'une grande quantité d'informations et à se concentrer sur ces informations importantes, en ignorant la plupart des informations sans importance.
Ces dernières années, le mécanisme d'attention a été largement utilisé dans divers domaines de l'apprentissage en profondeur, comme la vision par ordinateur pour capturer des champs réceptifs sur des images, ou la PNL pour localiser des jetons ou des caractéristiques clés. Un grand nombre d'expériences ont prouvé que le modèle avec le mécanisme d'attention a permis d'améliorer considérablement les performances dans des tâches telles que la classification, la segmentation, le suivi, l'amélioration et la reconnaissance du langage naturel, la compréhension, la réponse aux questions et la traduction.
Le modèle Transformer qui introduit le mécanisme d'attention peut être considéré comme un ordinateur de séquence à usage général. Le mécanisme d'attention permet au modèle d'attribuer différents poids d'attention en fonction de la corrélation des différentes positions dans la séquence lors du traitement de la séquence d'entrée. Il permet à Transformer de capturer les dépendances à longue distance et les informations de contexte, améliorant ainsi l'effet du traitement de séquence.
Mais cette année-là, ni le Transformer ni le document d'attention original ne parlaient d'un ordinateur séquentiel à usage général. Au lieu de cela, les auteurs le voient comme un mécanisme pour résoudre un problème étroit et spécifique - la traduction automatique. Ainsi, lorsque nous retracerons l'origine d'AGI à l'avenir, nous pourrons peut-être remonter jusqu'au Google Translate "discret".
Bien qu'il ait été accepté par NeurIPS 2017, il n'a même pas obtenu d'oral
Bien que l'article de Transformer soit très influent maintenant, il n'a même pas obtenu d'oral, et encore moins de prix, lors de la plus grande conférence mondiale sur l'IA, NeurIPS 2017. La conférence a reçu un total de 3 240 soumissions d'articles cette année-là, dont 678 ont été sélectionnés comme articles de conférence. L'article Transformer était l'un des articles acceptés. Parmi ces articles, 40 étaient des articles oraux, 112 étaient des articles Spotlight et 3 étaient les meilleurs. Papers, un prix Test of Time, Transformer a raté le prix.
Bien qu'il ait raté le prix du papier NeurIPS 2017, l'influence de Transformer est évidente pour tous.
Jim Fan a commenté : Ce n'est pas la faute des juges s'il est difficile pour les gens de réaliser l'importance d'une étude influente avant qu'elle ne devienne influente. Cependant, il y a aussi des articles qui ont la chance d'être découverts en premier lieu. Par exemple, ResNet proposé par He Kaiming et d'autres a remporté le meilleur article du CVPR 2016. Cette recherche est bien méritée et a été correctement reconnue par le sommet de l'IA. Mais à l'heure actuelle, en 2017, des chercheurs très intelligents ne sont peut-être pas en mesure de prédire les changements apportés par le LLM. Tout comme dans les années 1980, peu de gens pouvaient prévoir le tsunami provoqué par l'apprentissage en profondeur depuis 2012.
## Huit auteurs, leur vie est merveilleuse
A cette époque, il y avait 8 auteurs de cet article, ils étaient de Google et de l'Université de Toronto.Cinq ans plus tard, la plupart des auteurs de l'article ont quitté l'institution d'origine.
Le 26 avril 2022, une société appelée "Adept" a été officiellement créée, avec 9 co-fondateurs, dont les deux auteurs de l'article Transformer, Ashish Vaswani et Niki Parmar.
Ashish Vaswani a obtenu un doctorat de l'Université de Californie du Sud, sous la tutelle des universitaires chinois David Chiang et Liang Huang, et a principalement recherché l'application précoce de l'apprentissage profond moderne dans la modélisation du langage. En 2016, il a rejoint Google Brain et a dirigé la recherche Transformer, quittant Google en 2021.
Niki Parmar est diplômée de l'Université de Californie du Sud avec une maîtrise et a rejoint Google en 2016. Au cours de son travail, elle a développé des modèles réussis de réponse aux questions et de similarité de texte pour la recherche et la publicité Google. Elle a dirigé les premiers travaux sur l'extension du modèle Transformer à la génération d'images, à la vision par ordinateur, etc. En 2021, elle quittera également Google.
Après leur départ, les deux ont cofondé Adept et ont respectivement occupé les postes de scientifique en chef (Ashish Vaswani) et de directeur de la technologie (Niki Parmar). La vision d'Adept est de créer une IA appelée "coéquipier d'intelligence artificielle" qui est formée pour utiliser une variété d'outils logiciels et d'API différents.
En mars 2023, Adept a annoncé la clôture d'un tour de table de financement de série B de 350 millions de dollars américains.La valorisation de la société a dépassé 1 milliard de dollars américains et elle a été promue au rang de licorne. Cependant, au moment où Adept a levé son financement public, Niki Parmar et Ashish Vaswani avaient quitté Adept pour démarrer leur propre nouvelle startup d'IA. Cependant, la nouvelle société est actuellement secrète et nous n'avons pas accès aux détails de la société.
Un autre auteur de l'article, Noam Shazeer, était l'un des premiers employés les plus importants de Google. Il rejoint Google fin 2000, jusqu'à son départ définitif en 2021, puis devient le PDG d'une start-up appelée "Character.AI".
En plus de Noam Shazeer, le fondateur de Character.AI est Daniel De Freitas, tous deux de l'équipe LaMDA de Google. Auparavant, ils ont construit LaMDA, un modèle de langage qui prend en charge les programmes conversationnels, chez Google.
En mars de cette année, Character.AI a annoncé la finalisation d'un financement de 150 millions de dollars américains, avec une valorisation de 1 milliard de dollars américains. C'est l'une des rares start-up qui ont le potentiel de concurrencer OpenAI, l'agence de ChatGPT, et il est également rare de croître en seulement 16 mois.Pour les entreprises licornes. Son application, Character.AI, est un chatbot de modèle de langage neuronal qui peut générer des réponses textuelles de type humain et engager des conversations contextuelles.
Character.AI a été lancé sur l'App Store d'Apple et le Google Play Store le 23 mai 2023, avec plus de 1,7 million de téléchargements au cours de sa première semaine. En mai 2023, le service a ajouté un abonnement payant de 9,99 $ par mois appelé c.ai+, qui permet aux utilisateurs un accès prioritaire au chat, des temps de réponse plus rapides et un accès anticipé aux nouvelles fonctionnalités, entre autres avantages.
Aidan N. Gomez a quitté Google dès 2019, puis a travaillé comme chercheur chez FOR.ai, et est maintenant le co-fondateur et PDG de Cohere.
Cohere est une startup d'IA générative fondée en 2019. Son activité principale consiste à fournir des modèles NLP et à aider les entreprises à améliorer l'interaction homme-ordinateur. Les trois fondateurs sont Ivan Zhang, Nick Frosst et Aidan Gomez, où Gomez et Frosst sont d'anciens membres de l'équipe Google Brain. En novembre 2021, Google Cloud a annoncé qu'il coopérerait avec Cohere, Google Cloud utilisera sa puissante infrastructure pour alimenter la plate-forme Cohere, et Cohere utilisera le TPU de Cloud pour développer et déployer ses produits.
Notamment, Cohere vient de lever 270 millions de dollars en financement de série C, ce qui en fait une licorne de 2,2 milliards de dollars.
Łukasz Kaiser a quitté Google en 2021, a travaillé chez Google pendant 7 ans et 9 mois et est maintenant chercheur chez OpenAI. Pendant son temps en tant que chercheur scientifique chez Google, il a participé à la conception de modèles neuronaux SOTA pour la traduction automatique, l'analyse syntaxique et d'autres tâches algorithmiques et génératives, et a été co-auteur du système TensorFlow, bibliothèque Tensor2Tensor.
Jakob Uszkoreit a quitté Google en 2021 et a travaillé chez Google pendant 13 ans avant de rejoindre Inceptive en tant que co-fondateur. Inceptive est une société pharmaceutique d'IA dédiée à l'utilisation de l'apprentissage en profondeur pour concevoir des médicaments à base d'ARN.
Chez Google, Jakob Uszkoreit a contribué à la constitution de l'équipe de compréhension linguistique de Google Assistant et a travaillé très tôt sur Google Translate.
Illia Polosukhin a quitté Google en 2017 et est maintenant co-fondatrice et CTO de NEAR.AI (une société de technologie sous-jacente à la blockchain).
Le seul encore chez Google est Llion Jones, cette année est sa 9e année de travail chez Google.
Maintenant, 6 ans se sont écoulés depuis la publication de l'article "Attention Is All You Need". Certains des auteurs originaux ont choisi de partir, et certains ont choisi de rester chez Google. En tout cas, l'influence de Transformer continue.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Le sixième anniversaire de Transformer : Même le NeurIPS Oral n'a pas été obtenu, et 8 auteurs ont fondé plusieurs licornes d'IA
Aujourd'hui marque le sixième anniversaire de la présentation du célèbre document Transformer.
Il y a six ans, un article au nom exagéré a été téléchargé sur la plate-forme de papier préimprimé arXiv. La phrase "xx est tout ce dont vous avez besoin" a été répétée par les développeurs dans le domaine de l'IA, et elle est même devenue une tendance dans le titre du paper. , et Transformer n'est plus le sens de Transformers, il représente désormais la technologie la plus avancée dans le domaine de l'IA.
Six ans plus tard, en regardant cet article cette année-là, nous pouvons trouver de nombreux endroits intéressants ou peu connus, comme le résume Jim Fan, un scientifique en intelligence artificielle chez Nvidia.
Le modèle Transformer abandonne les unités CNN et RNN traditionnelles, et toute la structure du réseau est entièrement composée de mécanismes d'attention.
Bien que le nom de l'article de Transformer soit « L'attention est tout ce dont vous avez besoin », nous continuons à promouvoir le mécanisme de l'attention à cause de cela, mais veuillez noter un fait intéressant : ce ne sont pas les chercheurs de Transformer qui ont inventé l'attention, mais ils ont mis ceci mécanisme est poussé à l'extrême.
Le mécanisme d'attention a été proposé par une équipe dirigée par le pionnier de l'apprentissage en profondeur Yoshua Bengio en 2014 :
Dans cet article ICLR 2015, Bengio et al ont proposé une combinaison de RNN + "vecteur de contexte" (c'est-à-dire l'attention). Bien qu'il s'agisse de l'un des plus grands jalons de la PNL, il est beaucoup moins connu que Transformer, l'article de l'équipe de Bengio ayant été cité 29 000 fois à ce jour et celui de Transformer 77 000.
Si vous ne lâchez aucune information locale, vous ferez inévitablement beaucoup de travail inutile, qui n'est pas propice à la survie. De même, l'introduction de mécanismes similaires dans les réseaux d'apprentissage en profondeur peut simplifier les modèles et accélérer le calcul. Essentiellement, l'attention consiste à filtrer une petite quantité d'informations importantes à partir d'une grande quantité d'informations et à se concentrer sur ces informations importantes, en ignorant la plupart des informations sans importance.
Ces dernières années, le mécanisme d'attention a été largement utilisé dans divers domaines de l'apprentissage en profondeur, comme la vision par ordinateur pour capturer des champs réceptifs sur des images, ou la PNL pour localiser des jetons ou des caractéristiques clés. Un grand nombre d'expériences ont prouvé que le modèle avec le mécanisme d'attention a permis d'améliorer considérablement les performances dans des tâches telles que la classification, la segmentation, le suivi, l'amélioration et la reconnaissance du langage naturel, la compréhension, la réponse aux questions et la traduction.
Le modèle Transformer qui introduit le mécanisme d'attention peut être considéré comme un ordinateur de séquence à usage général. Le mécanisme d'attention permet au modèle d'attribuer différents poids d'attention en fonction de la corrélation des différentes positions dans la séquence lors du traitement de la séquence d'entrée. Il permet à Transformer de capturer les dépendances à longue distance et les informations de contexte, améliorant ainsi l'effet du traitement de séquence.
Mais cette année-là, ni le Transformer ni le document d'attention original ne parlaient d'un ordinateur séquentiel à usage général. Au lieu de cela, les auteurs le voient comme un mécanisme pour résoudre un problème étroit et spécifique - la traduction automatique. Ainsi, lorsque nous retracerons l'origine d'AGI à l'avenir, nous pourrons peut-être remonter jusqu'au Google Translate "discret".
Bien qu'il ait été accepté par NeurIPS 2017, il n'a même pas obtenu d'oral
Bien que l'article de Transformer soit très influent maintenant, il n'a même pas obtenu d'oral, et encore moins de prix, lors de la plus grande conférence mondiale sur l'IA, NeurIPS 2017. La conférence a reçu un total de 3 240 soumissions d'articles cette année-là, dont 678 ont été sélectionnés comme articles de conférence. L'article Transformer était l'un des articles acceptés. Parmi ces articles, 40 étaient des articles oraux, 112 étaient des articles Spotlight et 3 étaient les meilleurs. Papers, un prix Test of Time, Transformer a raté le prix.
Bien qu'il ait raté le prix du papier NeurIPS 2017, l'influence de Transformer est évidente pour tous.
Jim Fan a commenté : Ce n'est pas la faute des juges s'il est difficile pour les gens de réaliser l'importance d'une étude influente avant qu'elle ne devienne influente. Cependant, il y a aussi des articles qui ont la chance d'être découverts en premier lieu. Par exemple, ResNet proposé par He Kaiming et d'autres a remporté le meilleur article du CVPR 2016. Cette recherche est bien méritée et a été correctement reconnue par le sommet de l'IA. Mais à l'heure actuelle, en 2017, des chercheurs très intelligents ne sont peut-être pas en mesure de prédire les changements apportés par le LLM. Tout comme dans les années 1980, peu de gens pouvaient prévoir le tsunami provoqué par l'apprentissage en profondeur depuis 2012.
A cette époque, il y avait 8 auteurs de cet article, ils étaient de Google et de l'Université de Toronto.Cinq ans plus tard, la plupart des auteurs de l'article ont quitté l'institution d'origine.
Le 26 avril 2022, une société appelée "Adept" a été officiellement créée, avec 9 co-fondateurs, dont les deux auteurs de l'article Transformer, Ashish Vaswani et Niki Parmar.
Niki Parmar est diplômée de l'Université de Californie du Sud avec une maîtrise et a rejoint Google en 2016. Au cours de son travail, elle a développé des modèles réussis de réponse aux questions et de similarité de texte pour la recherche et la publicité Google. Elle a dirigé les premiers travaux sur l'extension du modèle Transformer à la génération d'images, à la vision par ordinateur, etc. En 2021, elle quittera également Google.
Après leur départ, les deux ont cofondé Adept et ont respectivement occupé les postes de scientifique en chef (Ashish Vaswani) et de directeur de la technologie (Niki Parmar). La vision d'Adept est de créer une IA appelée "coéquipier d'intelligence artificielle" qui est formée pour utiliser une variété d'outils logiciels et d'API différents.
En mars 2023, Adept a annoncé la clôture d'un tour de table de financement de série B de 350 millions de dollars américains.La valorisation de la société a dépassé 1 milliard de dollars américains et elle a été promue au rang de licorne. Cependant, au moment où Adept a levé son financement public, Niki Parmar et Ashish Vaswani avaient quitté Adept pour démarrer leur propre nouvelle startup d'IA. Cependant, la nouvelle société est actuellement secrète et nous n'avons pas accès aux détails de la société.
Un autre auteur de l'article, Noam Shazeer, était l'un des premiers employés les plus importants de Google. Il rejoint Google fin 2000, jusqu'à son départ définitif en 2021, puis devient le PDG d'une start-up appelée "Character.AI".
En plus de Noam Shazeer, le fondateur de Character.AI est Daniel De Freitas, tous deux de l'équipe LaMDA de Google. Auparavant, ils ont construit LaMDA, un modèle de langage qui prend en charge les programmes conversationnels, chez Google.
En mars de cette année, Character.AI a annoncé la finalisation d'un financement de 150 millions de dollars américains, avec une valorisation de 1 milliard de dollars américains. C'est l'une des rares start-up qui ont le potentiel de concurrencer OpenAI, l'agence de ChatGPT, et il est également rare de croître en seulement 16 mois.Pour les entreprises licornes. Son application, Character.AI, est un chatbot de modèle de langage neuronal qui peut générer des réponses textuelles de type humain et engager des conversations contextuelles.
Character.AI a été lancé sur l'App Store d'Apple et le Google Play Store le 23 mai 2023, avec plus de 1,7 million de téléchargements au cours de sa première semaine. En mai 2023, le service a ajouté un abonnement payant de 9,99 $ par mois appelé c.ai+, qui permet aux utilisateurs un accès prioritaire au chat, des temps de réponse plus rapides et un accès anticipé aux nouvelles fonctionnalités, entre autres avantages.
Cohere est une startup d'IA générative fondée en 2019. Son activité principale consiste à fournir des modèles NLP et à aider les entreprises à améliorer l'interaction homme-ordinateur. Les trois fondateurs sont Ivan Zhang, Nick Frosst et Aidan Gomez, où Gomez et Frosst sont d'anciens membres de l'équipe Google Brain. En novembre 2021, Google Cloud a annoncé qu'il coopérerait avec Cohere, Google Cloud utilisera sa puissante infrastructure pour alimenter la plate-forme Cohere, et Cohere utilisera le TPU de Cloud pour développer et déployer ses produits.
Notamment, Cohere vient de lever 270 millions de dollars en financement de série C, ce qui en fait une licorne de 2,2 milliards de dollars.
Chez Google, Jakob Uszkoreit a contribué à la constitution de l'équipe de compréhension linguistique de Google Assistant et a travaillé très tôt sur Google Translate.