Selon des statistiques incomplètes, à l'heure actuelle, 79 modèles à grande échelle avec une échelle de plus d'un milliard de paramètres ont été publiés en Chine, et 14 provinces/régions mènent des recherches et le développement de modèles à grande échelle, principalement concentrés à Pékin et Guangdong, dont 38 modèles à grande échelle à Pékin et 20 à Guangdong grand modèle. Parmi les grands modèles en Chine, plus de la moitié des grands modèles ont été open source, et les universités/instituts de recherche scientifique sont la principale force de l'open source.
·Pékin, Jiangsu, Guangdong, Shanghai, etc. sont des régions avec des talents de modèles à grande échelle relativement importants, fournissant un soutien intellectuel clé pour la recherche et le développement de modèles à grande échelle. Cependant, le nombre total de talents est encore rare. Les modèles à grande échelle ont un seuil élevé et nécessitent des talents d'IA de haute qualité. À l'heure actuelle, le nombre de talents de modèle à grande échelle dans divers endroits est insuffisant.
Source de l'image : générée par l'outil d'IA illimitée
Il existe 79 modèles à grande échelle avec plus d'un milliard de paramètres en Chine, principalement concentrés à Pékin et Guangdong.
Le 28 mai, lors du Forum de développement de grands modèles d'intelligence artificielle, l'un des forums parallèles du Forum de Zhongguancun 2023, Zhao Zhiyun, directeur de l'Institut chinois de l'information scientifique et technologique, a publié le "Rapport de recherche sur la carte des grands modèles d'intelligence artificielle de la Chine". ". À l'heure actuelle, à l'échelle chinoise de plus d'un milliard de paramètres, 79 modèles à grande échelle ont été publiés, principalement à Pékin et dans le Guangdong, dont 38 modèles à grande échelle à Pékin et 20 modèles à grande échelle dans le Guangdong. Parmi les grands modèles en Chine, plus de la moitié des grands modèles ont été open source, et les universités/instituts de recherche scientifique sont la principale force de l'open source.
La structure de réseau Transformer publiée par Google en 2017 est la technologie source pour le développement de grands modèles. Depuis lors, la technologie des grands modèles a réalisé des percées technologiques emblématiques dans la compréhension du langage naturel, la vision par ordinateur et la parole intelligente. La capacité de généralisation et d'autres aspects ont atteint développement par saute-mouton. ChatGPT a encore stimulé l'émergence explosive de grands modèles de langage, et a également attiré un grand nombre d'équipes de R&D à investir dans le développement de modèles plus grands tels que la vision générale et la multimodalité. Zhao Zhiyun a déclaré qu'en un peu plus de cinq ans, la technologie des modèles à grande échelle a formé un énorme groupe technologique et a dérivé une famille de modèles à grande échelle couvrant diverses échelles de paramètres, diverses architectures techniques, divers modes et divers scénarios.
À en juger par la tendance de développement des modèles mondiaux à grande échelle, des organisations telles que Google et OpenAI aux États-Unis continuent d'être à l'avant-garde de la technologie des modèles à grande échelle, et de plus en plus d'équipes de R&D en Europe, en Russie, en Israël, etc. investir également dans la recherche et le développement de modèles à grande échelle. À en juger par la répartition des modèles à grande échelle publiés dans le monde, la Chine et les États-Unis sont largement en tête, représentant plus de 80 % du total mondial. Les États-Unis se sont toujours classés au premier rang mondial en termes de le nombre de modèles à grande échelle Tendance à la croissance simultanée.
Dans la tendance de développement des grands modèles en Chine, Zhao Zhiyun a déclaré que selon des statistiques incomplètes, 79 grands modèles avec une échelle de plus d'un milliard de paramètres ont été publiés en Chine jusqu'à présent, et 14 provinces/régions mènent des recherches et développement. de grands modèles, principalement à Pékin et Guangdong, dont 38 grands modèles à Pékin et 20 grands modèles à Guangdong. En termes de distribution de domaines de modèles, le traitement du langage naturel reste le domaine d'intérêt le plus actif pour la recherche et le développement de modèles à grande échelle, suivi des domaines multimodaux, et il existe encore moins de modèles à grande échelle dans les domaines de la vision par ordinateur et de la voix intelligente. En termes de répartition des sujets de recherche et développement, différents sujets d'innovation tels que les universités, les instituts de recherche scientifique et les entreprises participent tous à la recherche et au développement de grands modèles, et la recherche et le développement conjoints entre le monde universitaire et l'industrie sont encore insuffisants. "Les grands modèles se développent rapidement depuis le début de cette année, mais nous avons également observé une tendance à la réduction de la coopération, et nous devons ensuite faire attention."
Dans le même temps, le degré d'adéquation du modèle de puissance de calcul est élevé et la puissance de calcul publique se développe rapidement. Pékin, Guangdong, Zhejiang, Shanghai et d'autres endroits ont le plus grand nombre de grands modèles, et ces quatre endroits sont également les zones avec les achats les plus élevés de serveurs d'intelligence artificielle au cours des trois dernières années. Les localités complètent également la demande croissante de puissance de calcul de l'intelligence artificielle en fournissant une puissance de calcul publique et en fournissant davantage de puissance de calcul pour la recherche et le développement de modèles à grande échelle.
Le talent est également un pilier important de l'intelligence artificielle. Pékin, Jiangsu, Guangdong, Shanghai, etc. sont des régions avec un nombre relativement important de talents de modélisme à grande échelle, fournissant un soutien intellectuel clé pour la recherche et le développement de modèles à grande échelle. Cependant, le nombre total de talents est encore rare. Les modèles à grande échelle ont un seuil élevé et nécessitent des talents d'IA de haute qualité. À l'heure actuelle, le nombre de talents de modèle à grande échelle dans divers endroits est insuffisant.
"Grâce à la publication de grands articles modèles, nous pouvons voir que l'influence académique du grand modèle chinois se forme progressivement. Du point de vue de l'influence régionale, Pékin, Guangdong et Shanghai sont les plus élevés du pays en termes de nombre d'articles. et le nombre de citations d'articles. "Zhao Zhiyun a déclaré que l'article modèle CogView développé conjointement par l'Université Tsinghua, Ali et Baidu a le plus grand nombre de citations. Cependant, par rapport à l'influence académique des grands modèles étrangers de premier plan, il y a encore un grand écart.
Du point de vue de l'écologie de l'innovation open source, plus de la moitié des grands modèles en Chine sont open source, et Pékin, Guangdong et Shanghai sont parmi les trois premiers du pays en termes de nombre et d'influence de l'open source. Les universités/instituts de recherche scientifique sont les principales forces de l'open source. "ChatGLM-6B de l'université Tsinghua, MOSS de l'université Fudan et la série de modèles à grande échelle Wenxin de Baidu ont la plus grande influence sur l'open source", a déclaré Zhao Zhiyun.
L'application industrielle des modèles à grande échelle chinois se développe selon deux voies. La première est l'expansion continue du champ d'application des modèles à grande échelle à usage général. Le modèle à grande échelle se développe rapidement pour créer une intelligence artificielle générale intersectorielle. plateforme de capacités, et son industrie d'application accélère sa pénétration du bureau, de la vie et du divertissement aux soins médicaux, à l'industrie et à l'éducation. Le second est l'approfondissement continu des modèles professionnels à grande échelle dans les domaines verticaux. Un groupe de modèles professionnels à grande échelle pour les domaines verticaux tels que la biomédecine et la météorologie de télédétection font jouer pleinement leurs avantages profonds dans le domaine et fournissent des professionnels de haute qualité. des solutions pour des scénarios commerciaux spécifiques.
Plaider pour renforcer la planification globale des ressources et des forces de recherche et développement, et promouvoir le développement ordonné de grands modèles.
Au vu du manque de développement des grands modèles, Zhao Zhiyun a avancé 4 suggestions et perspectives :
L'une consiste à renforcer la planification globale des ressources et des forces de recherche et développement afin de promouvoir le développement ordonné de grands modèles. En renforçant la planification globale des ressources informatiques telles que les centres de calcul intelligents, les centres de supercalcul et les centres de cloud computing, formuler des catalogues publics de partage de données et des règles de partage, et promouvoir l'ouverture ordonnée de la classification et de la classification des données.
Le second est d'accélérer la recherche fondamentale et l'innovation technologique, et de renforcer l'influence académique et open source. La technologie des modèles à grande échelle en est encore aux premiers stades de développement et il existe un énorme potentiel pour la théorie de base et l'innovation technologique. Grâce à des techniques de miniaturisation telles que la distillation et la quantification, le modèle est "allégé", fournissant un support technique pour la miniaturisation et le développement vert de grands modèles. Renforcer davantage la coopération industrie-université-recherche et encourager l'open source des grands modèles accélérera également le progrès technologique des grands modèles.
Le troisième est de renforcer le rôle moteur de la scène dans le développement des grands modèles, et de créer un projet de référence pour les grands modèles. Sur la base d'ensembles de données de formation spécifiques à l'industrie, créez de grands modèles professionnels dans les domaines de la finance, des soins médicaux et de l'énergie électrique, et réalisez des percées d'applications de haute qualité dans des scénarios commerciaux spécifiques. technologie à travers des scénarios d'application et des données d'application.
Le quatrième est de renforcer la coopération internationale et de participer activement à la gouvernance mondiale de l'intelligence artificielle. Promouvoir ensemble la gouvernance des grands modèles avec une attitude responsable, et espérer que les principes de gouvernance et les normes éthiques de l'intelligence artificielle pourront s'enraciner davantage dans toute la chaîne des grands modèles. Dans le même temps, renforcer la coopération mondiale sur la gouvernance de l'intelligence artificielle sur la base d'un consensus croissant.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
79 modèles à grande échelle avec plus d'un milliard de paramètres ont été publiés en Chine, concentrés à Pékin et Guangdong
Source: Le papier
Le journaliste Zhang Jing
Selon des statistiques incomplètes, à l'heure actuelle, 79 modèles à grande échelle avec une échelle de plus d'un milliard de paramètres ont été publiés en Chine, et 14 provinces/régions mènent des recherches et le développement de modèles à grande échelle, principalement concentrés à Pékin et Guangdong, dont 38 modèles à grande échelle à Pékin et 20 à Guangdong grand modèle. Parmi les grands modèles en Chine, plus de la moitié des grands modèles ont été open source, et les universités/instituts de recherche scientifique sont la principale force de l'open source.
·Pékin, Jiangsu, Guangdong, Shanghai, etc. sont des régions avec des talents de modèles à grande échelle relativement importants, fournissant un soutien intellectuel clé pour la recherche et le développement de modèles à grande échelle. Cependant, le nombre total de talents est encore rare. Les modèles à grande échelle ont un seuil élevé et nécessitent des talents d'IA de haute qualité. À l'heure actuelle, le nombre de talents de modèle à grande échelle dans divers endroits est insuffisant.
Il existe 79 modèles à grande échelle avec plus d'un milliard de paramètres en Chine, principalement concentrés à Pékin et Guangdong.
Le 28 mai, lors du Forum de développement de grands modèles d'intelligence artificielle, l'un des forums parallèles du Forum de Zhongguancun 2023, Zhao Zhiyun, directeur de l'Institut chinois de l'information scientifique et technologique, a publié le "Rapport de recherche sur la carte des grands modèles d'intelligence artificielle de la Chine". ". À l'heure actuelle, à l'échelle chinoise de plus d'un milliard de paramètres, 79 modèles à grande échelle ont été publiés, principalement à Pékin et dans le Guangdong, dont 38 modèles à grande échelle à Pékin et 20 modèles à grande échelle dans le Guangdong. Parmi les grands modèles en Chine, plus de la moitié des grands modèles ont été open source, et les universités/instituts de recherche scientifique sont la principale force de l'open source.
La structure de réseau Transformer publiée par Google en 2017 est la technologie source pour le développement de grands modèles. Depuis lors, la technologie des grands modèles a réalisé des percées technologiques emblématiques dans la compréhension du langage naturel, la vision par ordinateur et la parole intelligente. La capacité de généralisation et d'autres aspects ont atteint développement par saute-mouton. ChatGPT a encore stimulé l'émergence explosive de grands modèles de langage, et a également attiré un grand nombre d'équipes de R&D à investir dans le développement de modèles plus grands tels que la vision générale et la multimodalité. Zhao Zhiyun a déclaré qu'en un peu plus de cinq ans, la technologie des modèles à grande échelle a formé un énorme groupe technologique et a dérivé une famille de modèles à grande échelle couvrant diverses échelles de paramètres, diverses architectures techniques, divers modes et divers scénarios.
À en juger par la tendance de développement des modèles mondiaux à grande échelle, des organisations telles que Google et OpenAI aux États-Unis continuent d'être à l'avant-garde de la technologie des modèles à grande échelle, et de plus en plus d'équipes de R&D en Europe, en Russie, en Israël, etc. investir également dans la recherche et le développement de modèles à grande échelle. À en juger par la répartition des modèles à grande échelle publiés dans le monde, la Chine et les États-Unis sont largement en tête, représentant plus de 80 % du total mondial. Les États-Unis se sont toujours classés au premier rang mondial en termes de le nombre de modèles à grande échelle Tendance à la croissance simultanée.
Dans la tendance de développement des grands modèles en Chine, Zhao Zhiyun a déclaré que selon des statistiques incomplètes, 79 grands modèles avec une échelle de plus d'un milliard de paramètres ont été publiés en Chine jusqu'à présent, et 14 provinces/régions mènent des recherches et développement. de grands modèles, principalement à Pékin et Guangdong, dont 38 grands modèles à Pékin et 20 grands modèles à Guangdong. En termes de distribution de domaines de modèles, le traitement du langage naturel reste le domaine d'intérêt le plus actif pour la recherche et le développement de modèles à grande échelle, suivi des domaines multimodaux, et il existe encore moins de modèles à grande échelle dans les domaines de la vision par ordinateur et de la voix intelligente. En termes de répartition des sujets de recherche et développement, différents sujets d'innovation tels que les universités, les instituts de recherche scientifique et les entreprises participent tous à la recherche et au développement de grands modèles, et la recherche et le développement conjoints entre le monde universitaire et l'industrie sont encore insuffisants. "Les grands modèles se développent rapidement depuis le début de cette année, mais nous avons également observé une tendance à la réduction de la coopération, et nous devons ensuite faire attention."
Dans le même temps, le degré d'adéquation du modèle de puissance de calcul est élevé et la puissance de calcul publique se développe rapidement. Pékin, Guangdong, Zhejiang, Shanghai et d'autres endroits ont le plus grand nombre de grands modèles, et ces quatre endroits sont également les zones avec les achats les plus élevés de serveurs d'intelligence artificielle au cours des trois dernières années. Les localités complètent également la demande croissante de puissance de calcul de l'intelligence artificielle en fournissant une puissance de calcul publique et en fournissant davantage de puissance de calcul pour la recherche et le développement de modèles à grande échelle.
Le talent est également un pilier important de l'intelligence artificielle. Pékin, Jiangsu, Guangdong, Shanghai, etc. sont des régions avec un nombre relativement important de talents de modélisme à grande échelle, fournissant un soutien intellectuel clé pour la recherche et le développement de modèles à grande échelle. Cependant, le nombre total de talents est encore rare. Les modèles à grande échelle ont un seuil élevé et nécessitent des talents d'IA de haute qualité. À l'heure actuelle, le nombre de talents de modèle à grande échelle dans divers endroits est insuffisant.
"Grâce à la publication de grands articles modèles, nous pouvons voir que l'influence académique du grand modèle chinois se forme progressivement. Du point de vue de l'influence régionale, Pékin, Guangdong et Shanghai sont les plus élevés du pays en termes de nombre d'articles. et le nombre de citations d'articles. "Zhao Zhiyun a déclaré que l'article modèle CogView développé conjointement par l'Université Tsinghua, Ali et Baidu a le plus grand nombre de citations. Cependant, par rapport à l'influence académique des grands modèles étrangers de premier plan, il y a encore un grand écart.
Du point de vue de l'écologie de l'innovation open source, plus de la moitié des grands modèles en Chine sont open source, et Pékin, Guangdong et Shanghai sont parmi les trois premiers du pays en termes de nombre et d'influence de l'open source. Les universités/instituts de recherche scientifique sont les principales forces de l'open source. "ChatGLM-6B de l'université Tsinghua, MOSS de l'université Fudan et la série de modèles à grande échelle Wenxin de Baidu ont la plus grande influence sur l'open source", a déclaré Zhao Zhiyun.
L'application industrielle des modèles à grande échelle chinois se développe selon deux voies. La première est l'expansion continue du champ d'application des modèles à grande échelle à usage général. Le modèle à grande échelle se développe rapidement pour créer une intelligence artificielle générale intersectorielle. plateforme de capacités, et son industrie d'application accélère sa pénétration du bureau, de la vie et du divertissement aux soins médicaux, à l'industrie et à l'éducation. Le second est l'approfondissement continu des modèles professionnels à grande échelle dans les domaines verticaux. Un groupe de modèles professionnels à grande échelle pour les domaines verticaux tels que la biomédecine et la météorologie de télédétection font jouer pleinement leurs avantages profonds dans le domaine et fournissent des professionnels de haute qualité. des solutions pour des scénarios commerciaux spécifiques.
Plaider pour renforcer la planification globale des ressources et des forces de recherche et développement, et promouvoir le développement ordonné de grands modèles.
Au vu du manque de développement des grands modèles, Zhao Zhiyun a avancé 4 suggestions et perspectives :
L'une consiste à renforcer la planification globale des ressources et des forces de recherche et développement afin de promouvoir le développement ordonné de grands modèles. En renforçant la planification globale des ressources informatiques telles que les centres de calcul intelligents, les centres de supercalcul et les centres de cloud computing, formuler des catalogues publics de partage de données et des règles de partage, et promouvoir l'ouverture ordonnée de la classification et de la classification des données.
Le second est d'accélérer la recherche fondamentale et l'innovation technologique, et de renforcer l'influence académique et open source. La technologie des modèles à grande échelle en est encore aux premiers stades de développement et il existe un énorme potentiel pour la théorie de base et l'innovation technologique. Grâce à des techniques de miniaturisation telles que la distillation et la quantification, le modèle est "allégé", fournissant un support technique pour la miniaturisation et le développement vert de grands modèles. Renforcer davantage la coopération industrie-université-recherche et encourager l'open source des grands modèles accélérera également le progrès technologique des grands modèles.
Le troisième est de renforcer le rôle moteur de la scène dans le développement des grands modèles, et de créer un projet de référence pour les grands modèles. Sur la base d'ensembles de données de formation spécifiques à l'industrie, créez de grands modèles professionnels dans les domaines de la finance, des soins médicaux et de l'énergie électrique, et réalisez des percées d'applications de haute qualité dans des scénarios commerciaux spécifiques. technologie à travers des scénarios d'application et des données d'application.
Le quatrième est de renforcer la coopération internationale et de participer activement à la gouvernance mondiale de l'intelligence artificielle. Promouvoir ensemble la gouvernance des grands modèles avec une attitude responsable, et espérer que les principes de gouvernance et les normes éthiques de l'intelligence artificielle pourront s'enraciner davantage dans toute la chaîne des grands modèles. Dans le même temps, renforcer la coopération mondiale sur la gouvernance de l'intelligence artificielle sur la base d'un consensus croissant.